首页
能大致讲一下chatGPT的原理吗？
2023-05-06 阅读 16
ChatGPT 大致原理是这样的：它基于 Transformer 架构，用分词把文本切成 token，预训练阶段在大量语料上做自回归学习，学习预测下一个 token 的概率；之后通过监督微调和用人工反馈的强化学习（RLHF）调整模型在回答风格和安全性上的偏好；生成时靠注意力机制结合上下文向量，用温度、top‑p 等采样策略输出连贯文本。缺点包括上下文窗口有限、可能返回不准确或有偏差的内容。
更新于 2025年12月04日
