有趣的事

为什么chatgpt和claude防不住蒸馏?

“防不住蒸馏”并不意味着模型权重被直接破解。蒸馏通常是指用一个强模型(教师)的输出训练较小的学生模型;如果攻击者能反复向 ChatGPT、Claude 这类服务提交问题并获得回答,就可能收集输入—输出样本,让学生模型学习教师的行为、知识表达和解题模式。这个过程更像从大量考试答案中拟合能力,而非复制内部参数。

只要服务允许用户自由提问并返回有信息量的回答,就很难彻底阻止这种行为。攻击者可以改变措辞、语言和上下文,设计覆盖不同能力的提示,也可以把请求分散到多个账号或较长时间内;过滤“请复述系统提示词”之类的明显请求,拦不住普通问题所产生的训练样本。另一方面,蒸馏效果也有边界:学生模型能学到多少,取决于可获取样本的数量与多样性、教师回答质量、学生模型容量,以及训练方法;它不会因此自动获得教师的全部知识、工具、内部状态或持续更新能力。

服务方能做的是提高成本、减少可提取的信息,而不是保证为零:限制异常高频和大规模系统化查询,结合账号、IP、设备与行为信号识别采集;对高价值接口设置配额或更严格的访问条件;避免无必要地暴露隐藏推理、内部提示或专有数据,并监测输出被批量收集的迹象。单纯给回答加水印、拒绝少数敏感提示,通常不能覆盖改写、转述和分布式采样。限制越严也越可能误伤正常用户,因此实际防护是在服务可用性、滥用成本和泄露风险之间权衡。

相关阅读