外媒称 ChatGPT 日耗电超过 50 万度，相当于数万家庭日常用电量，耗电量大的原因有哪些？
2024-03-13 阅读 8
主要原因有几方面：第一，Transformer 类大模型本身计算密集，推理和训练都需要大量 GPU/加速器进行矩阵运算，用户多时要部署许多副本以保证低延迟，算力需求很高；第二，数据中心的冷却、网络、存储等基础设施也会消耗大量电力，PUE（电源使用效率）会把计算耗电放大；第三，在线实时服务通常以小批量低延迟方式处理请求，单次计算效率低于训练时的大批量，导致单位响应能耗更高；第四，模型持续更新、微调、索引构建和日志存储等后台任务也在持续消耗电力。顺便说明，不同估算口径差异很大，媒体数字可能汇总了训练、推理和运营全部开销。
更新于 2026年01月03日
