视觉模型会比语言模型更简单吗？
2023-05-09 阅读 45
不能一概而论。视觉和语言各有难点：视觉输入是高维连续的像素阵列，需要处理尺度、遮挡和高分辨率，惯用卷积或Transformer加上位置/归一化等结构；语言是离散且高度抽象的符号序列，依赖长程依赖、语义与世界知识，通常对训练数据和上下文理解要求很高。某些视觉任务（分类、目标检测）因为有明确监督看起来“简单”些，但生成、高分辨率重建和理解复杂场景也很难。而语言预训练往往需要更多规模化的语义知识，使模型复杂度和训练成本同样很高。总体上不能说视觉一定比语言简单，取决于具体任务、表示和评价标准。
更新于 2025年12月05日
