如何评价MaxxBench稍微调整任务，就让大量模型DeepSWE评分降低20分以上？
2026-11-08 阅读 7
如果只调整任务表述或约束，就让 DeepSWE 得分下降 20 多分，最直接的结论是：它对基准的具体设定相当敏感，单一分数不足以代表稳定的软件工程能力。这种变化可能来自任务难度、提示信息、测试与评分规则或工具环境的细微改变；分数下降本身并不能证明模型整体退步，也不能单凭这一结果断定基准被“操纵”。
关键要看改动是否保持了原任务的目标和难度，以及结果能否在多组任务、多个随机种子和一致的运行环境下复现。最好同时公布改动前后的任务、评测脚本和逐题结果，并报告置信区间或通过率分布。若这些条件都严格控制而分数仍大幅波动，那就说明评测鲁棒性有问题，相关排行榜结论应谨慎看待。
更新于 2026年11月08日
