感知数据有没有可能对齐自然语言，用到大模型上？
2024-03-13 阅读 90
有可能，而且已经在实践中取得明显进展。常见做法是先用感知编码器把图像、音频或传感器信号映成向量或离散“标记”，然后通过对比学习（如CLIP）、监督式captioning或跨模态预训练把这些表示与自然语言对齐，最终把编码器输出作为大模型的输入、提示或检索键来驱动生成与理解。工程上可选把视觉/音频特征线性投影到LLM的嵌入空间、用VQ-VAE等离散化方法，或用轻量适配器微调大模型。主要挑战是语义鸿沟、标注成本、时序对齐和鲁棒性，但总体路线成熟，已可用于检索、描述生成、VQA、多模态交互等场景。
更新于 2026年01月03日
