手机端可以跑大语言模型吗？
2024-04-10 阅读 16
可以，但受限很大。手机能跑的是经量化、剪枝或蒸馏后的小型模型（常见的 1–7B 参数级别），并且通常要用像 llama.cpp/ggml、Core ML（iOS）、TFLite/NNAPI（Android）这种本地推理框架把权重转换为 int8/int4/float16 格式。旗舰手机跑 3B 模型交互还行，7B 量化后在高端机上可用但速度和上下文长度受限；更大的模型基本需要云推理。优点是延迟和隐私较好，缺点是内存、耗电、响应速度和不能做大规模微调。若追求稳定性和能力，混合云端+本地的方案更常用。
更新于 2026年01月03日
