为什么现在手机仍然无法集成大语言模型chatgpt？
2023-11-27 阅读 17
主要原因是算力、能耗和模型规模三方面的限制。像 ChatGPT 这种大模型参数量巨大、推理需要很高的 FLOPs，手机的 CPU/GPU/NPUs 在算力和内存上都不足，实时推理会很慢、发热并且耗电；把模型压缩到能跑的体积会显著降质，工程上还要做量化、蒸馏、加速等复杂工作。另一方面，完整功能通常依赖云端更新、数据与安全审查，还有服务授权和运行成本，所以现在多数厂商选择用云 API 而不是把完整模型直接集成到手机上。新一代轻量化模型和更强的移动芯片在进步，未来可行性会提高。
更新于 2025年12月31日
