史上最严湿实验预测基准发布,算力翻 5 倍也白搭,暴露出当前 AI 科学推理哪些核心短板?
这类“湿实验预测”基准真正考的,不只是模型能否从已有数据里拟合一个活性分数,而是能否在实验条件、测量噪声和分布变化都存在时,给出可复现、能指导下一步实验的判断。算力增加主要改善搜索与拟合;如果训练数据有偏、标签定义不一致,或评测集与训练集共享了近似序列、结构、文献来源乃至实验批次,模型会更确信地重现偏差,并不会因此获得可靠的科学推理能力。
核心短板大致有几层。第一是分布外泛化:同一分子、蛋白或反应体系换了背景、剂量、温度、细胞系或测定流程,结果可能改变;随机切分往往低估这种落差,按时间、靶点家族、实验室或测定条件切分更能检验迁移能力。第二是因果与机制:相关性预测可以排序候选,却未必能说明改变哪个变量会导致什么结果,也容易把实验流程中的捷径当成生物学规律。第三是校准与不确定性:模型需要知道何时超出适用域,区分“高分”与“高把握”,否则实验资源会被脆弱的排序浪费。第四是闭环能力:能否提出有信息增益的实验、处理失败和阴性结果,并把新数据可靠地纳入下一轮,而不只是对固定题库答题。
所以“算力翻五倍也白搭”更适合作为对单纯堆规模的提醒,而不是说算力毫无价值。若基准覆盖不足、数据泄漏控制不严、实验协议缺少元数据,或评分只看单次命中率,更多算力很难补上这些缺口。要判断进步,最好看严格留出的真实实验、跨实验室复现、不同切分下的性能、校准和失败案例,并与简单基线及专家选实验比较。最终有用的科学模型,不是每题都显得聪明,而是在证据不足时能标出边界,并让有限的湿实验更快排除错误假设。