什么是大模型?超大模型和 Foundation Model 呢?
2023-06-25 阅读 14
“大模型”通常指参数量和表达能力明显大于传统模型、通过大规模数据预训练得到,能在多种任务上表现出更好泛化和迁移能力。 “超大模型”则侧重规模,参数可达数十亿、百亿乃至千亿级,训练和推理的算力与成本显著更高,通常带来更强的性能和更广的能力,但也伴随更高的资源与管理成本。 “Foundation Model”(中文常称“基础模型”)强调在海量、多样数据上预训练,作为通用的模型基础,可以通过微调或提示适配到各种下游任务,很多基础模型属于大模型或超大模型,但其核心是“可被广泛迁移和复用”的预训练基础。
更新于 2025年12月16日