大语言模型gpt的能力是否是来自nlp数据集？
2023-12-01 阅读 17
不能简单地说完全来自“nlp数据集”。GPT类模型的能力主要来自大规模、多样的未标注文本语料（网络抓取、书籍、维基、代码等），通过自监督的语言建模在模型参数里学到统计模式和知识。常规的标注型NLP数据集更多用于评测或在微调/指令微调阶段增强特定任务表现，另外还有人工标注的指令-响应对和基于人类反馈的强化学习（RLHF）用来改善对话和遵从性。总体上是语料规模、质量、模型结构与训练方法共同决定能力。
更新于 2025年12月31日
