注意到除了GPT、Claude等，还有很多优秀的llm如llama、羊驼，那些模型应该如何使用呢？
2023-06-15 阅读 2
使用这类开源/第三方大模型的思路比较统一：先根据任务和算力选模型（LLaMA 系列适合高质量离线推理，Alpaca 类示例适合快速微调和实验），然后决定部署方式——需要稳定服务就走云端（Hugging Face 或自建推理服务），想在本地跑就用 llama.cpp、text-generation-webui 等配合 ggml/量化文件。获取模型权重前确认许可证，做下游适配优先用 LoRA/PEFT 等轻量微调而不是从头训练，为了在有限显存运行要做 4/8-bit 量化和分块加载；工程化时注意输入输出格式、缓存、并发、评估指标和安全过滤。
更新于 2025年12月14日
