菲尔兹奖得主邓煜评论 AI 公司「你不能只在你蒸馏全人类的知识时支持蒸馏」,如何看待模型厂的反蒸馏?
2026-11-18 阅读 1
模型厂反对“蒸馏”,不能简单等同于反对知识传播,也不能因为它们曾从公开文本和人类作品中训练,就推导出任何蒸馏都理应被允许。关键要看蒸馏的具体方式、授权关系和造成的损害。
通常所说的蒸馏,是让一个较强的“教师”模型对大量输入生成答案,再用这些输入—输出样本训练较小的“学生”模型。若是模型提供方明确开放的蒸馏接口、双方有授权,或研究者在合规范围内用自己有权使用的数据做实验,这本身是正常的技术路线。它能降低推理成本、让模型在本地运行,也能让能力不再只由少数大模型服务商提供。
争议更大的是:竞争者是否通过批量账号、自动化请求或绕过限制,大规模收集闭源模型输出,复制其特有能力,再以此替代原服务。这里至少有几层问题:是否违反服务条款或技术访问限制;是否给服务商造成可证明的成本和安全风险;生成内容及其训练用途是否涉及版权或其他权利;以及“学生模型”是否只是学会一般知识,还是有意复现某个模型的表达、行为特征或受保护成果。模型输出通常并不意味着所有权利问题自动消失,具体结论仍取决于司法辖区、数据和使用方式,不能一概而论。
“蒸馏全人类知识”这句话有道德上的提醒,但也把不同对象混在了一起。训练语料中的公共知识、创作者作品、模型公司投入形成的系统能力,并非同一种权利客体;公司对训练数据来源的争议,也不会自动使其服务接口变成任何人都可无限采集的公共资源。反过来,服务商把一切模型输出都说成独占资产、用不透明条款封堵互操作和独立研究,也值得质疑。
比较合理的边界应当透明、可执行且与风险相称:提供明确的研究和蒸馏许可;对商业规模采集、绕限制和冒充用户的行为作具体约束;说明哪些数据或输出受到何种限制;并允许用户迁移、评测和进行合法研究。判断某家公司“反蒸馏”是否虚伪,最好看它是否一边要求别人尊重自己的投入,一边也认真处理自己训练数据中创作者和公共知识的权益,而不是只看口号。
更新于 2026年11月18日
赞 0