AI 系统的隐私保护和安全性为什么不是一回事?
AI 系统中的隐私保护和安全性彼此相关,但解决的不是同一个问题。
隐私保护关注的是个人或敏感信息如何被收集、使用、保存和披露:系统是否只收集完成任务所需的数据,是否取得适当授权,数据会不会被用于未预期的训练或分析,以及用户能否查询、删除或限制数据。即使没有黑客入侵,产品把聊天记录长期保存、超范围用于模型改进,或在回答中泄露其他用户的内容,也可能构成隐私问题。
安全性关注系统及其数据、服务能否抵御未授权访问、篡改、破坏和滥用,例如账号被盗、模型服务遭攻击、密钥泄漏、数据被加密勒索,或攻击者利用提示注入诱导工具执行越权操作。安全措施通常包括访问控制、加密、隔离、漏洞修补、监控和事件响应。
两者会交叉,但不能互相替代。加密能降低数据被窃取后的暴露风险,却不能阻止有权限的员工或功能把数据用于不当目的;严格的数据最小化和删除机制改善隐私,也不能替代身份认证和漏洞防护。生成式 AI 还带来特有交点:模型可能记忆并复现训练数据,检索增强系统可能把某人的文档送入另一人的上下文,连接外部工具的智能体则可能因权限过宽而读取或发送不该处理的信息。
因此,评估 AI 产品时应分别追问:数据从哪里来、为何使用、保留多久、谁能访问、是否用于训练;以及系统如何认证授权、隔离租户、保护密钥、限制工具权限并发现攻击。有效治理需要把隐私要求落实到数据流程和产品默认设置,同时把安全控制落实到整个系统生命周期。