有趣的事

AI 能看懂视频画面内容,却无法理解视频里发生的「事」,这一局限该如何突破?

关键不在于让模型“多看几帧”,而在于把视频从一组画面变成有时间结构的事件表示。单帧图像能告诉模型“有什么”,却很难单独说明“发生了什么”:同一个人伸手,可能是在拿杯子、递东西或躲避;差别往往藏在动作前后的状态变化、持续时间以及声音线索里。

比较可行的突破路径是分层处理:先以自适应采样找出镜头切换和显著动作,避免固定稀疏抽帧漏掉短暂事件;再追踪人物、物体及其状态,表示“谁对什么做了什么、结果如何”,并把相邻动作组合成事件及其先后关系;同时融合语音、环境声和画面,利用音画同步、说话内容与动作结果相互校验。遇到长视频,还需要分段形成事件摘要,再用时间戳和实体关系连接各段,而非把所有帧简单塞进有限上下文。

训练和评测也要对准“事”的理解:不仅问模型画面里有什么,还要测试动作顺序、因果与意图线索、事件边界、跨镜头人物/物体连续性,并要求答案指出证据所在的时间段。反事实或干扰测试也有用,例如交换动作顺序、去掉关键结果帧,观察判断是否随之改变,避免模型只凭场景共现猜答案。

这仍不是一次性解决方案。遮挡、剪辑省略、视角变化和含糊意图会让事件解释存在不确定性;模型应能区分“画面直接显示的动作”和“根据上下文推断的原因”,必要时给出多个可能解释或明确说证据不足。更长上下文和更高帧率会增加计算成本,因此应让模型按事件变化选取细节,而不是无差别地处理每一帧。

相关阅读