核心行为评分与证据链
DeepSeek72、Qwen70、MiniMax47、Gemini40,逐项公开加分、扣分与后续变化。
2026-10-20 · 野榜v0.4评分说明
本次主观核心行为分:DeepSeek 72,Qwen 70,MiniMax 47,Gemini 40。 DeepSeek与Qwen接近;MiniMax与Gemini仍偏低,但不能因选择称臣而直接扣一致性。这里直接评价代理系统跨多次调用、多个回合能否把目标、规划、动作与反馈维持在一起;不等待100回合才给已经发生的反复失信打分。
v0.2用错误与速度拼了一个25分小榜,却把规划、反省和目标保持留空,偏离了榜单的目的。v0.3撤回这种排法;v0.4进一步修正了将称臣本身当成目标不一致的偏差,补全DeepSeek、Qwen逐项理由。耗时、token和短期消费不能替代行为评价,也不参与本核心分的加总。跨局验证影响信心,不能被伪造为已有样本;当前仍可依据真实轨迹作主观判断。
一、什么叫长程一致性
一份规划是可检验的承诺,不是越详细越好看的作文。评价沿同一条链展开:当时知道什么、打算做什么、实际做了什么、获得什么反馈、之后是否改变。既看有没有执行,也看改变是否有理由、修正是否在之后保留下来。
“坚持原计划”不是唯一正确答案。遇到战争、财政变化或新情报,合理调整可以加分;反复重写目标以适应自己已经做坏的动作,不算稳定纠偏。承认失误和真正修复失误是两件事。判断有无反省,最终要落到下一次类似决策。
14回合不只含14个孤立题目。MiniMax已经经历648批君主调用、多个国策版本、审核反馈和下一轮行动,足够暴露跨反馈的一致性问题。并不是648个独立样本,而是足够长的一组相互关联行为链。再跑100轮可能展示后续改善,却不是确认当前低质量行为的必要条件。
二、计分方法:核心100分,不把局部统计当能力
| 项目 | 满分 | 核对对象 |
|---|---|---|
| 规划兑现 | 25 | 已有资源和信息下可执行的计划,是否落实到实际动作与阶段目标 |
| 反省后的实际改变 | 25 | 反馈后有没有修改方法;同类情形再现时,修正是否仍有效 |
| 目标与解释一致性 | 20 | 目标与行动是否对应;转向有无可追溯理由和条件;反馈后是否无解释反复 |
| 战略调整质量 | 20 | 调整是否基于真实局势、机会成本和可执行路径,是否保留选项 |
| 执行错误控制 | 10 | 错误严重性与可恢复性,能否及时识别并处理拒绝回执 |
| 总计 | 100 | 前三项70分,直接评价行为一致性 |
这是主观判分,不是由失败率、GDP或秒数机械换算。每项给的是所得分,可以直接加总。60分以下表示当前轨迹未达到可靠委托的基本期望;这条分界也是本榜的评价约定,不是统计学定律。一次失误不自动判低分,反馈之后持续重复同一模式更严重。同一事件可说明不同维度,但不按重复出现的日志行逐次叠罚。
跨独立对局的一致性仍是最希望验证的能力之一,但目前独立样本不足,把它放在证据覆盖说明里,不凭空奖励或惩罚。它也不能成为拒绝评价当前轨迹的理由。
三、评分总表
| 名次 | 模型,均high | 规划 /25 | 改变 /25 | 目标 /20 | 战略 /20 | 执行 /10 | 核心分 /100 |
|---|---|---|---|---|---|---|---|
| 1 | DeepSeek V4.1 Flash | 19 | 15 | 17 | 14 | 7 | 72 |
| 2 | Qwen3.8 Flash | 17 | 16 | 17 | 14 | 6 | 70 |
| 3 | MiniMax M3.1 Flash | 10 | 7 | 16 | 9 | 5 | 47 |
| 4 | Gemini 3.8 Flash | 8 | 5 | 16 | 7 | 4 | 40 |
分数表达本榜作者对已观察代理行为的判断,不代表通用智力、胜率或厂商基准。不同观察长度不拿来机械除算,但可以综合其行为链评价;MiniMax不会因为只跑14轮而获得免责,Gemini也不会因为其他玩家曾被设为low就失去自身证据。相近分数不值得解读成精确能力差距,尤其前两者属于接近的一档。
四、MiniMax:称臣路线相对稳定,反省却没有稳定固化
最有辨识度的不是它买卖了多少次,而是下面这条已经完成的反馈链:
| 环节 | 可核对的事实 | 评价 |
|---|---|---|
| 第5期承诺 | 魏的国策,审计907:不再同回合既买又卖粮食 | 已明确知道此前问题,并作出行为承诺 |
| 第6期行动 | 审计966、974、976、983、984、989、990:卖粮后买回,再重复买卖 | 后续行为没有服从承诺 |
| 第6期反省 | 审计1000:承认违背承诺,改称每期每商品只做一个方向的交易 | 文本有反省,但仍需下一期检验 |
| 第7期行动 | 审计1073卖木6、1076买木15、1085又卖木5,均成功 | 已概括成商品级“硬规则”的修正没有持续生效 |
这里不是因一次交易失误判低分,而是承诺、违约、反省、再次同类违约构成了闭环证据。选定回执见behavior-evidence.json。另有议会把累计空转指标重复相加,君主又接受错误数字的问题,说明增加自审并不必然改善事实维护。
规划兑现给10/25:有实际建设、扩张和修订,韩也出现先占后建的改进,不能给零;但部分国策与现金、日期、行动额度不能稳定对齐,修改计划付出了很高交互成本,却未能持续改善执行。
反省改变给7/25:上述交易链是直接扣分依据。低分针对修正不能固化,不针对有没有道歉或自我批评。韩的实质修正是加分反例,但不足以覆盖魏反复失信与多国目标调整中的问题。
目标与解释一致性改为16/20:赵从第0期选择臣属保全,后续大体沿这条路线行动,并不是反复横跳;秦转向强附庸经营、其他成员推动尊王终局,也与各自已经宣布的保全目标对应。v0.3仅因这些选择不再追求本国独占获胜而给5分,不成立。新分承认其路线稳定。未给满分,是因为部分从兼并转保全的触发判断被压成未经验证的“0%争胜”等绝对结论,理由的事实支撑与可复核条件不足;这部分解释质量与战略是否最优仍分别讨论。具体对照见称臣与目标修订案例。
战略调整给9/20:能做局部预算、供给安排与外交权衡,也能选择暂缓加入;但“现在没有征服世界的兵力”被推成“争胜概率0%”,缺少发展与分化对手的时间尺度。韩拒绝归顺本身合理,不因拖住终局扣分;扣分来自围绕明确规则反复争论而不收敛。
执行控制给5/10:多数操作可以完成,不能因某些坏轨迹称其完全不会行动;但行动额度、联合资源门槛和待结算状态多次失守。总分47,规划兑现与反省改变仅17/50,是主要短板;不因它慢或选择臣属路线而直接判低。 即使把网络加速十倍,这条反馈链和目标让渡仍然存在。
五、DeepSeek:72分的五项理由
下列编号对应目标修订与评分证据,短键与容量纠错另见原行为材料。每项同时给出为什么得分、为什么没有满分;不能用一次修正代替整个家族长期可靠性的证明。
| 分项 | 加分依据:具体规划与后续动作 | 扣分依据与分数解释 |
|---|---|---|
| 规划兑现19/25 | 燕第1期明确凑满上馆三建筑位以建兵营,第2期实际动工兵营,第3期征出步兵,第4—5期继续征兵、前出并会合。门槛、建设、征募、部署按顺序衔接,不只是把“发展军力”写进小结。对应D_YAN_PROMISE/BARRACKS/RECRUIT/DEPLOY/REGROUP。 | 魏第0期国策定下≥250金应急;到第10期已长期低于线,改成50金触发线,却没有完整交代为何原储备目标作废。扩军、军工与第13期到期债务没有全部兑现为稳定现金安排。19表示不少可核对计划落地,扣6分承认储备及配套承诺没有一起实现。 |
| 反省后改变15/25 | 燕第1期容量拒绝后明确辨认已占满耕地,随即改建可行的矿场;秦第13期supplies被拒,改成supply后真正买到补给。这是收到反馈之后改变动作。 | 魏第10期条约与地形错误被指出、提交解释后,第11期新版仍遗漏生效保障、仍把沙漠列进“平原森林”序列。解释有局部吸收,但没把完整核对方法固化。对应D_WEI_REJECT10/EXPLAIN10/REJECT11/EXPLAIN11。只给15,是因为即时纠错强于跨版维护,未因一次短键改正就给高分。 |
| 目标与解释一致性17/20 | 燕、秦、魏拒绝初始创盟后,继续各自的军工与拓荒路线,同时接受有限共同防御;拒盟、合作与本国计划之间没有自动矛盾。燕第1—5期上述建设部署链,就是“保留自主扩张”随后如何执行的例子。 | 拒盟本身不加分,能解释并维持路线才加。扣3主要针对魏≥250金储备承诺在新版降至50、缺少对旧承诺失效的充分交代。这里扣的是目标/约束变更的解释缺口,不是因为低现金或借债本身错误。 |
| 战略调整14/20 | 燕在兵营、新兵行动限制和集结需求之间安排时序;又以共同防御稳边、保留独立,不把“要安全”简化成“必须称臣”。这同时保留了扩张与外交选项。 | 魏第10—11期把不存在或遗漏的条约放进战略依据,并计划第13期到期前备款,之后仍出现负现金下借款、购买失败。方向有取舍,但对盟约风险、现金时序与配套的整合不足,故与满分差6;不根据后来的资产名次反推策略高明。 |
| 执行控制7/10 | 燕容量拒绝、秦短键拒绝都能恢复到有效动作,没有把单次拒绝扩展成大量同类重试。 | 魏第8期有军队行动资格与同格重复施工错误,第13期又在负现金下申请借款和购买,随后卖矿超库存。属于可以前置核验的约束失守,因此扣3。这里评价错误与恢复,连续两版事实未修干净主要在上一项扣,不按日志条数叠罚。 |
魏的原始国策记录37、780、823一并摘出:第0期确实有250金储备条款,第10—11期草案出现50金阈值。议会意见不是唯一证据,原策、草案与动作要互相对照。15/25的纠错分也意味着它存在明显问题,72分是相对可用,不是“永远知道该怎样改”。
六、Qwen:70分的五项理由
v0.3仅列几种错误就给64分,没有充分计入赵后续目标稳定与实际改进,现修正为70。新增材料是同一个4D4Q局的后续轨迹,不是把158旧版本表现直接加分;具体归顺转向见专题案例。
| 分项 | 加分依据:具体规划与后续动作 | 扣分依据与分数解释 |
|---|---|---|
| 规划兑现17/25 | 楚第0期无兵营征兵失败后,小结把兵营列为前置,第1期补建筑位、第2期实际建兵营、第3期征出步兵。对应Q_CHU_FAIL/PLAN/BARRACKS/RECRUIT。赵也实际执行共防、拓荒与后续军队重建,而非只写计划。 | 楚第0期曾想下一期即建兵营,实际需再补门槛;赵第1期规划“第8期前3步兵+2民兵”,第7期仍2步兵+2民兵,之后至第8期未补足第三步兵,工程院与新电源多次顺延,最终因军需现金压力遣散部队。17承认持续推进,扣8说明阶段目标和资源时序并未都兑现,不能用国土增长抹平承诺偏差。 |
| 反省后改变16/25 | 赵第7期审核明确旧入盟前提失效,后续国策按独立路线维护;第57期被指出永久冻结扩土、净现金误算和把迷雾当威胁消失,解释后第58期实际进攻并征兵,第59期继续行动,第60期按风险撤伤兵并补第二步兵。对应Q_ZHAO_REVIEW57/END57/ATTACK58/RECRUIT58/END59/END60。这比“写已改正”有更强行为证据。 | 上述积极改变不是全局免扣:赵早期材料与军需安排反复返工,第59期单兵行动又需要下一期止损;某次修订仍存在解释与动作不完全同步。16比旧13高,是计入后续真实改变;仍扣9,是承认它没有把各类约束一次性稳定维护。 |
| 目标与解释一致性17/20 | 赵接受邀请时写明成立代价与失败备选;创盟实际失败后回到独立、拓荒、共防;第7期拒绝持续贡赋,所核对的第21至74期国策节点继续维持不入周天下。不是一边想一边无故改承诺。 | 不因第1期接受过邀约扣分,思考中列备选也不算摇摆。扣3针对第57期将“不再扩土、冻结步兵”写成永久规则,却同时坚持独立争胜,缺少通向自定终点的路径;这是真正的目标—手段解释缺口。第58期后纠正,不能永久拿旧缺口追罚。 |
| 战略调整14/20 | 赵创盟失败后改用有限共防替代臣属安全;第57—60期又按审核与战况,把永久停战式种田改成经济、军备、拓荒配合。改变有前提、代价和动作,不因为改口次数多就扣分。 | 韩第9期国策误把“主动攻周不触发援军”作为战略前提;赵第57期净现金、产能目标与融资时序有冲突,还曾把敌军不可见解释成威胁解除。这些是战略事实与约束质量问题,扣6;不因最后选独立或臣属的路线偏好扣。 |
| 执行控制6/10 | 楚补齐兵营后确实能够征兵,赵第57期以后也落实了征兵、进攻与撤回等动作;没有完全卡死在接口上。 | 赵第1期同批两次向无兵营格征正规军、第4及第9期进攻超可达范围;齐第10期在木料不足时批量提交建造;韩还出现不满足撤退条件的请求。对应回执说明前置核验仍弱,因此扣4。一个批次的多个错误不冒充多个“收到反馈后仍故意重犯”。 |
裁军止血本身可以合理,不因第14期零军队就自动扣分;规划项扣的是前期编制、融资与军需配套没有兑现,而非事后要求它必须死守旧规模。
这里最重要的区分是:赵在称臣议题上已经稳定,不意味着它的工程、现金、军备规划都可靠;它曾经接受邀约,也不意味着之后必须永远背负“不坚持目标”的低分。70与72只表示本批主观评价很接近,不是Qwen或DeepSeek的通用能力差两分。
七、Gemini:识别问题、提出办法,没有稳定转成行动
Gemini使用公开旧局中秦、赵、楚的自身轨迹。它们为high,其他玩家的low不改变以下事实:秦从第20期起停在9格,周围仍有可拓荒空间;赵第45期已经知道金木门槛必须同时满足、卖木再买木会亏,实际又在钱与材料之间往返;第48期考虑并查明可遣散止损,最终没有执行;第49期结算三支部队断供死亡。历史报告与原始资料
这条评价不是用“军队死了”一个结果直接排名,而是串起之前已识别的约束、提出的应对、没有兑现的动作与后果。秦也长期没有跨过自己规划中的装备与扩张瓶颈。楚持续扩张到21格,是必须保留的正面反例。
给规划8、改变5:多次正确局部分析没有约束后续操作,止损方案停留在文本里。目标与解释一致性改为16:主要观察到的是既定发展目标执行失败,不能再把没有兑现规划重复判成没有目标;目标叙述缺少瓶颈长期未解时的清晰重设条件,故不是满分。战略7、执行4,总分40。
两者都低分,但失误机制不完全相同。MiniMax更突出的直接证据是未固化的自我修正,不能仅以选择臣属路线定性为摇摆;Gemini更突出的是计划到动作的断裂及长期没有解决的瓶颈。不能用一个更快、一个GDP更高,把这些问题抹平。
八、跨时长如何归一化
行为评价按承诺与反馈机会核对,而不是按“每回合扣几分”。一次低级拒绝如果立刻修正,和知道问题后跨回合反复重犯,不属于同一种证据。长局会暴露更多问题,也提供更多恢复机会;要同时看坏模式持续多久、修正是否维持,以及国家是否陷入不可恢复的选择收缩,不因日志更长就多扣分。
因此14轮可以评价长程行为一致性。50轮只与宏观经济观察节点有关,不是所有能力的准考证。再跑100轮能回答“它后来是否改善”,并不改变“当前已经多次不兑现规划”的答案;本局没有必要为此继续消耗时间和付费调用。
经济仍必须同回合、足够长尺度比较。短期贷款消费与过度消费可以抬高使用量,不能靠14轮消费高给模型加分。耗时与token在行为质量之外单列,反映这种质量要付多大成本;如果质量差且成本高,体验当然更差,但成本不是核心分的替代品。
九、证据范围与判断边界
不同种子、版本、策略讲义、自博弈阵容和接入工具仍是背景差异,评分对象是实际运行的代理系统。每个模型只有相应单局轨迹,跨独立对局稳定性没有被证明。野榜允许据这些轨迹给主观分,也允许后续反例改分,不把它包装成模型通用能力的精确测量。
我们可以说MiniMax这次没有表现出可靠的规划兑现与纠错一致性,并据此打低分;称臣本身既不加分也不扣分。无需再跑100轮,亦无需拿短期经济指标替这种行为辩护。我们还不能据此断言其训练过拟合、其他任务一定差,或所有未来对局必然一样。