OpenAICEO 奥尔特曼警示人类或无法夺回 AI 控制权,该如何搭建有效风险管控机制?
有效的 AI 风险管控不能只靠一句“保持人类控制”,而要把控制落实为可验证的权限边界、持续监测和可执行的停机机制。模型能力与部署场景差异很大,因此应按风险分级:普通辅助工具侧重隐私、准确性和用户告知;能调用工具、执行代码或影响关键基础设施的系统,则需要更严格的隔离、审批和独立评估。
首先,限制系统可做的事。对模型采用最小权限:默认只读,写入、付款、发布、删除、访问敏感数据等高影响操作须由有权限的人明确确认;将模型与生产凭证、关键网络和其他代理隔离,限制可调用工具、数据范围、运行时间和资源消耗。对无法充分验证的任务,设计安全失败路径,而不是让模型自行扩大权限。
其次,在上线前后验证风险。对预期用途和滥用情境做威胁分析,测试提示注入、越权调用、敏感信息泄露、错误指令及连续多步操作;评估不仅看平均表现,也要关注低概率但高后果的失败。上线后记录必要的操作日志与版本信息,监测异常调用、权限边界触发和事故信号;安排红队测试、独立审查及变更后的重新评估。日志应有访问控制和保留期限,避免监测本身造成不必要的数据暴露。
第三,预先规定谁能干预以及如何恢复。明确值班责任人、升级流程、暂停部署和撤销凭证的权限;准备可快速切换到人工流程的回退方案,并定期演练。停机按钮只有在能阻止后续操作、权限不会被系统自行恢复、且相关人员知道如何启动时才有意义。事故发生后应保全证据、限制影响、通知相关责任方,并根据根因修正系统和流程。
治理还需覆盖供应链和组织责任:记录模型、数据、工具及配置变更;与供应商约定漏洞通报、事件配合和更新支持;由业务负责人承担风险,不把责任推给模型或单一安全团队。对外部使用者提供清楚的限制说明和申诉渠道。
因此,目标不是假定能完全预测或控制所有智能行为,而是让系统的权限有边界、重要行为可审计、风险可及时发现、损害可被限制,并且在证据不足时能够暂停。具体措施应随能力、访问权限和潜在影响提高而加严。