有趣的事

如何看待美国医学会通过决议称医生用ai出事,系统部署者和开发者(程序员)需负责,程序员该怎么负责?

医生使用 AI 出现损害时,程序员是否要负责,不能只看“写了代码”这一点,也不能把责任简单推给医生或医院。通常要结合具体法律、合同、产品用途、各方实际控制能力以及损害与缺陷之间的因果关系判断。医学会的政策决议或伦理立场本身也不等于一项自动判定个人程序员承担赔偿责任的法律规则;个案仍要看适用法和事实。

对开发者来说,核心是把可预见风险纳入产品生命周期,并留下可核查的依据:

  • 把用途和边界说清楚。 明确模型适用的人群、场景、输入条件及已知局限;若产品只用于辅助分诊或提供参考,不应在界面、营销或接口设计上暗示它能独立诊断。高风险用途变更应重新评估,不能只靠免责声明补救。
  • 用代表性数据和临床流程验证。 在部署人群、设备、语言和工作环境中评估性能,并按重要亚组检查错误差异;测试不应只报总体准确率,还要审视漏诊、误报、校准和失败案例。无法覆盖的情形要明确告知并提供人工复核或安全降级。
  • 设计可控的人工监督。 让医生能理解建议的依据和不确定性、查看必要信息、拒绝或覆盖建议;避免自动化偏见和界面把建议包装成确定结论。是否需要强制复核,应按风险和临床流程决定。
  • 上线后持续监测与响应。 记录模型版本、输入输出、关键操作和告警,同时按隐私与安全要求限制访问和保留数据;监测分布漂移、性能退化及异常事件,准备回滚、停用、修复和通知机制。更新模型或改动数据管道后要做相应回归评估。
  • 分清并落实团队责任。 算法、数据、产品、临床安全、部署和运维环节都应有明确负责人。发现严重缺陷时及时升级,不要隐瞒测试失败或绕过审查;保存需求、风险分析、测试结果、变更记录和处置记录,以便说明当时采取了什么合理措施。

个人程序员的责任通常取决于其职责、专业判断、是否知道或应当知道风险,以及是否按组织流程尽到合理注意义务;组织和医疗机构也可能分别承担设计、采购、配置、培训、监督或临床决策方面的责任,具体可能并存。工程师能做的是把安全要求落实到代码、测试、文档和上线治理中,并对明显危险及时提出异议、留痕和升级;至于法律责任如何分配,应由熟悉相关司法辖区医疗器械、产品责任和医疗过失规则的律师结合具体事实判断。

相关阅读