首页
大语言模型的 涌现 是什么？
2023-08-23 阅读 18
“涌现”指的是大模型在规模（参数、训练数据、计算）达到某个临界点后，突然表现出在小模型上看不到或很弱的新能力。具体表现为随着规模增长，某些任务的性能出现非线性跃升，甚至出现新的技能（比如更好的少样本学习、复杂推理或长文理解）。学界对其本质还有争议：有的认为是多个微小改进的累积导致阈值效应，有的认为涉及模型内部表征或机制的质变，判断依赖于具体任务、评测方法和数据分布。
更新于 2025年12月24日
