导师让我搞gpt方向，我该怎么去学？
2023-06-13 阅读 17
可以按下面的路线系统学习：先补好基础——线性代数、概率统计、优化与神经网络和深度学习基础，熟练掌握PyTorch或TensorFlow的基本用法；再重点理解Transformer和自注意力机制，先读《Attention Is All You Need》，然后看GPT系列相关论文并配合阅读实现代码；马上做实践，用Hugging Face Transformers/Tokenizers在小模型上做微调和从头训练，熟悉分词、数据预处理、学习率、AdamW、fp16、梯度累积等训练技巧；学习文本生成与评估方法（采样、束搜索、困惑度等）以及基本的安全和对齐考虑；利用Colab或云GPU逐步放大实验规模，同时多看开源项目和社区讨论，记录复现实验和超参。时间安排上，基础入门1–2个月，边学边做、结合论文和实验证明能在3–6个月内有较好起步。
更新于 2025年12月12日
