能大致讲一下ChatGPT的原理吗？
2023-05-09 阅读 106
ChatGPT 大致原理是基于 Transformer 网络，通过大量文本做自回归预训练来学习语言的统计规律。输入文本先分词并转成向量，加入位置编码，经过多层自注意力和前馈网络形成上下文表示。训练阶段还会用监督微调和人类反馈（如 RLHF）改善回答质量与安全性。生成时把模型输出的 logits 经 softmax 变成概率，再用温度、top‑k/top‑p 等策略采样出词，最后通过过滤和规则控制输出内容。
更新于 2025年12月05日
