首页
大语言模型的 涌现 是什么?
2023-08-23 阅读 12
“涌现”指的是大模型在规模(参数、训练数据、计算)达到某个临界点后,突然表现出在小模型上看不到或很弱的新能力。具体表现为随着规模增长,某些任务的性能出现非线性跃升,甚至出现新的技能(比如更好的少样本学习、复杂推理或长文理解)。学界对其本质还有争议:有的认为是多个微小改进的累积导致阈值效应,有的认为涉及模型内部表征或机制的质变,判断依赖于具体任务、评测方法和数据分布。
更新于 2025年12月24日