如何看待微软最新论文揭秘ChatGPT参数量只有20B?
2023-10-30 阅读 12
如果论文称 ChatGPT 只有 20B 参数，首先要看它对“参数量”的定义是不是只算了核心密集权重，不包括词嵌入、适配器（如 LoRA）、稀疏专家（MoE）部分或量化后的等效参数，也可能是把服务器端的系统组件、检索增强和指令微调拆开了。参数数量只是衡量模型复杂度的一个维度，性能还受训练数据量与质量、算力投入、架构改进、优化技巧和推理时的系统设计（检索、缓存、并行等）影响。所以单看“20B”不能直接推断能力强弱，关键是看论文具体定义与独立评测结果。
更新于 2025年12月28日
