我们想使用大语言模型自动生成代码，不知道微调能否达到效果，还是必须进行预训练才行？
2023-05-17 阅读 8
可以用微调实现自动生成代码，前提是基模型已经具备较强的语言/代码能力。完整从头预训练成本极高，通常只有在要自建基础模型或改底层架构时才会做。实务上常见做法是先用已有大模型在代码语料上做领域自适应预训练（继续训练），然后做监督微调或指令调优，必要时用轻量化方法（LoRA/adapter）和 RLHF/策略优化，配合检索增强或提示工程，通常就能达到很好的生成效果。只有当基模型太小或与目标代码域差异极大时，才考虑从头预训练。
更新于 2025年12月10日
