像codebert等代码大语言模型用于下游任务时，是否存在数据泄露的问题？
2023-12-25 阅读 12
存在风险。像 CodeBERT 这样的预训练模型可能在训练时记住训练集里的敏感代码或密钥，微调或作为检索引擎使用时可能把这些片段输出或被检索到；攻击者还可以通过成员推断、模型反演或模型抽取等手段恢复训练数据或识别是否包含特定样本。常见缓解方法有在数据入库前做清洗和去重、对秘密信息进行掩码或去除、在训练/微调时采用差分隐私技术、限制和审计 API 输出与访问、本地化部署或私有化服务并做输出过滤与日志审计。权衡隐私与模型性能时需要综合考虑这些手段。
更新于 2026年01月02日
