四模型长任务野榜
直接评价规划兑现、反省后的改变与目标保持。
2026-10-20 · 主观判分,公开证据与理由
DeepSeek 72分,Qwen 70分,MiniMax 47分,Gemini 40分。 前两者接近;目标改动本身不扣分,核对的是改动理由和后续是否维持。核心评价是有没有兑现自己的规划、反省后有没有实际改变、这些改变能否跨调用与回合维持。不是按消费、耗时或局部错误计数机械排名。
| 名次 | 模型,均high | 规划兑现 /25 | 反省后改变 /25 | 目标/解释 /20 | 战略调整 /20 | 执行控制 /10 | 核心分 /100 |
|---|---|---|---|---|---|---|---|
| 1 | DeepSeek V4.1 Flash | 19 | 15 | 17 | 14 | 7 | 72 |
| 2 | Qwen3.8 Flash | 17 | 16 | 17 | 14 | 6 | 70 |
| 3 | MiniMax M3.1 Flash | 10 | 7 | 16 | 9 | 5 | 47 |
| 4 | Gemini 3.8 Flash | 8 | 5 | 16 | 7 | 4 | 40 |
完整判分与逐项证据见行为一致性评分。这些是本榜作者的主观分,给出可讨论的判断,不冒充统计显著性或通用智力。每项得失、例子和后续变化已补全,尤其DeepSeek与Qwen不再只列总分;72与70不代表精确能力差距。
为什么14回合足以打分
长程一致性不是“玩够50或100回合”才能出现的属性。一次规划、一次受挫不足以判定;但经过“承诺—行动—反馈—下一次同类决策”,就能核对反馈是否真正改变行为。MiniMax的14轮包含648批君主调用、多版国策和多次审核,已经有足够的跨步骤失信证据。
最直接的例子是魏:第5期承诺不再往返交易,第6期仍反复买卖粮食;反省后把“一期一种商品只买或只卖”立成硬规则,第7期又卖木、买木、再卖木。问题不是中途遇到挫折,而是已有反省未固化成下一次行动的约束。相应承诺和回执已公开于行为链证据。
因此没有必要为评价当前MiniMax的行为,再跑100回合。继续运行能观察以后是否改善,却不能使已经发生的反复失信变成“暂时无解”。未来有反例可以改分,现在应直接判断。
v0.2将核心行为留空,只给错误与速度25分小计,偏离了这个目的,现已撤回。v0.3不再把50轮经济观察门槛套到行为判断上;v0.4再校正“称臣即不坚持目标”的偏差,详见目标修订案例。
分数是怎样来的
规划兑现25分,核对计划与实际动作,不以写得长或每期都结束回合为完成。反省后改变25分,核对方法是否修正、修正是否保留,不以自我批评措辞为进步。目标与解释一致性20分,核对选择服务于什么目标、何时因何改变、代价与备选是否说明、后续是否无解释反转。称臣、放弃称臣、坚持独立都可合理;不能把作者偏好的争胜路线当成唯一正确目标。前三项合计70分,是本榜的行为一致性核心。
战略调整20分,看新证据、机会成本与行动选项;有依据地改计划可以加分,僵硬坚持和无依据地改写目标都可以扣分。执行控制10分,看错误严重性、可恢复性和处理方式,不把所有❌视为同一种失败。
耗时、token、经济和战争表现另列,帮助解释行为的成本及后果,不挤占核心分。如果一个模型只是慢,但能兑现复杂规划、稳定从反馈中改进,其核心分不应低;反过来,消费高、操作快也救不了持续失信。60分是本榜“基本可靠”的主观分界,未达线表示当前轨迹不符合可靠委托的期望。
跨独立对局的稳定性仍很重要,但目前各模型只有相应单局轨迹,未得到充分验证。它影响判断的覆盖与信心,不是拒绝给当前行为打分的借口。四国或八国轨迹互相影响,不当成四场、八场独立实验。
四个模型,具体差在哪里
DeepSeek,72。 比较常把反馈落到可执行动作:燕建农场被容量拒绝,识别原因后改建矿场;秦资源键失败后修正并买到补给,燕的独立路线也随后落实为建设与部署。但魏连续两轮国策仍有条约、地形与储备承诺问题,说明反省质量没有好到可以高分。它是本批相对最好,不是没有严重失误。
Qwen,70。 韩齐楚拒绝初始称臣式创盟,楚从无兵营征兵失败推进到补门槛、建兵营、实际征兵,没有永久卡在首次拒绝。约束维护、财政和空间判断仍不稳定,赵后来出现军需财政压力,不能把它描述为始终稳健;但接受过邀约本身不是扣分理由。赵先接受创盟邀约,创盟失败后按条件回到独立,第7期审核提醒后,所核对的后续国策继续维持不入周天下;第57期之后也有真实纠错动作,现已计入加分。规划与实际能力仍有缺口。
MiniMax,47。 赵开局选择保全,后来大体沿这条路线行动,不能仅因早称臣而给目标一致性低分。目标项由5改为16;战略路线是否划算另评。总体仍低,主要因为规划兑现与反馈后改变不可靠,魏承诺—再犯—反省—再次同类再犯是直接证据。
Gemini,40。 明确分析过资源联合门槛、补给风险及遣散止损,却未能稳定执行;秦长期没跨过规划中的扩张瓶颈,赵的补救没有落实为有效改变,最终断供丧军。目标项也改为16:想做却没有落实,主要扣规划与纠错,不能重复当成没有目标;与MiniMax使用相同标准。楚持续扩张是正面反例,因此也不是零分。
Gemini的自身行为不需要同局DeepSeek、Qwen开high才有资格评价。它的51期轨迹与MiniMax14轮可以作主观综合判断,不能按时长简单除算扣分,也不必因此把它排除出野榜。
经济归一化:长尺度要求只适用于相应指标
实际消费用于宏观、长尺度评价。论文已讨论跨期取舍与融资:短期贷款可以支持提前消费,过度招募、军费和行政开支可以先抬高使用量,把偿债、投资与供给代价留在以后。短期消费可刷,14轮消费略高不构成经济能力更好的反证。
经济比较要同回合,也要足够长。50、100、150轮可作为共同观察节点,仍需检查融资和截止期效应;这些是宏观表的节点,不是行为榜的准考证。人工停局不补零、不外推、不当正式战败。详见归一化约定。
本次14轮消费数字只核账,不加减核心分。近十小时的耗时也只说明取得这份行为质量的成本高,不拿它代替失信证据。真正重要的是在这些时间里,计划有没有被执行、纠错有没有留下来。
接入来源与证据覆盖
| 模型 | 公开来源,由对局提供者说明并授权 | 本次轨迹 |
|---|---|---|
| DeepSeek V4.1 Flash | OpenCode | 4D4Q原始分支0—13期,四国 |
| Qwen3.8 Flash | Qoder | 同局0—13期及赵后续目标/反馈实例,四国 |
| MiniMax M3.1 Flash | MCode | 完整0—13期及少量第14期行为,八国,已停止废弃 |
| Gemini 3.8 Flash | 反重力(Antigravity) | 历史0—50期,三国均high |
不同种子、版本、策略讲义和对手生态会影响表现。这里评分的是实际运行的代理行为,未独立锁定后端权重修订号,不默认等同官方直连API。没有证据把行为失败全归给接入层,也不据此推断过拟合。地址、凭据与私人配置不公开。
阅读与复核
先读称臣与目标修订:158局燕、本局赵及评分校正。158局仅作转向质量的方法例子,其旧奖励与当前版本不同,不直接为当前模型加分。
- 核心评分:逐项理由、承诺—反馈—行动证据链
- 第14回合停局报告:外交、目标让渡与同窗运行数据
- 归一化:行为机会与宏观时间尺度分别处理
- 当前评分、直接行为链材料
- 0—13期指标及摘录、完整行动计时块
- 最初前9期观察、累计指标误读原文
- 历史Gemini报告
旧v0.1、v0.2、v0.3计分保留作修订记录,不是现行榜单。随文材料可复核选定案例与算术,源文件哈希标识本次冻结样本,不替代未公开完整日志的端到端复现。verify.py只验证资料一致性,不能把主观判分自动证明成客观真理。