有趣的事

苹果、腾讯纷纷重兵布局智能体安全,目前行业落地存在哪些现实难点?

智能体安全的难点,不只是模型会不会说错话,而是它开始调用工具、读写数据并跨系统执行操作后,风险从“内容错误”扩展到了真实世界的权限与状态变更。

首先,权限边界很难定义。智能体往往需要浏览网页、访问文件、调用内部 API 才能完成任务,但“能完成任务”不等于“应当拥有全部权限”。如果凭据长期有效、权限过宽,提示注入或工具参数错误就可能造成越权读取、误删或外发数据。更稳妥的做法是按任务授予最小权限、限制可访问资源和操作范围,并让高影响动作经过用户确认;只在提示词里写“不要做危险操作”并不能构成可靠的安全边界。

其次,外部输入会影响后续决策。网页、邮件、文档里的指令可能是恶意或误导性的,模型又难以稳定地区分数据与指令。系统应将不可信内容与系统指令隔离,对工具调用做结构化校验,并在执行前检查目标、参数和数据流;对付款、删除、发信等不可轻易撤回的操作设置独立审批或额度限制。

再次,多步任务会放大不确定性。单次回答看似合理,不代表整条调用链安全:工具返回可能过期,状态可能在执行中改变,重试还可能重复提交。需要幂等设计、超时与重试上限、关键步骤的状态复核,以及可追溯的调用日志。日志也要避免记录密钥和不必要的个人信息。

最后,评测和治理仍在追赶产品迭代。离线红队测试只能覆盖已知场景,模型、工具和权限配置一变,风险面也会变。因此应按具体业务持续做对抗测试与上线监测,并根据影响分级:低风险任务可自动化,高风险任务保留人工复核和明确的回滚路径。现实落地通常不是追求“绝对安全的智能体”,而是把可做之事限制在可验证、可审计、出问题能止损的范围内。

相关阅读