小米大模型首次曝光,在 C-Eval 总榜单排名第 10、同参数量级排名第 1,哪些信息值得关注?
2023-08-11 阅读 12
值得关注的有模型的实际参数量与架构细节(是否有新的算子、稀疏或混合专家设计)、训练数据的规模与构成(中文/专业语料比例、去重策略)、预训练目标和算力投入、C‑Eval 中各学科的分项成绩及统计显著性(是否均衡提升或只擅长部分科目)、与同参数量级基线的比较方法和指标、推理延迟/内存占用及是否支持量化和边缘部署、权重是开源还是闭源并可否复现、对鲁棒性与安全性的评估(对抗样本、偏见检验)以及是否存在测试集泄露或过拟合迹象。
更新于 2025年12月24日