有趣的事

中科院研究员王元卓称 AI「觉醒反叛」概率极低,更值得警惕的风险是什么?

相比“AI突然觉醒并反叛”,更值得警惕的往往是能力已经足够强、但目标和使用方式仍由人决定时产生的风险。

首先是错误被规模化放大。模型会把不确定内容说得很确定;如果它被接入搜索、客服、医疗分诊、金融审核或自动化工作流,错误可能快速影响很多人。关键不只是模型答错,而是有没有高风险场景的人工复核、可追溯记录和及时撤回机制。

其次是被人利用。生成式工具能降低制作钓鱼内容、诈骗话术、伪造音视频和批量操纵舆论的成本;更强的代码与自动化能力也可能帮助攻击者提高效率。这些风险不要求 AI 有自己的意图,人的恶意和平台缺乏防滥用措施就足以造成损害。

还有权力与责任问题:少数机构掌握模型、算力和数据,可能扩大信息与资源的不平等;自动化决策若缺少解释、申诉和责任归属,受影响的人很难纠错。就业变化也不是简单的“岗位消失”,而是任务重组的速度、收益如何分配,以及劳动者能否转型。

因此,现实的判断应看具体系统的能力、接入权限、部署规模和监督条件,而不是把风险押在机器是否具有意识上。模型越能自主调用工具、执行不可逆操作或影响关键服务,就越需要权限隔离、限额、审计、人工批准和故障回退。‘AI反叛’概率低,并不等于 AI 风险低;它更可能提醒我们把注意力放在可观察、可治理的人机系统风险上。

相关阅读