为什么尽管一些大语言模型已经支持AMD显卡小显存多平台推理，应用却仍然不多？
2023-11-26 阅读 8
主要原因是生态和工程难题。AMD/ROCm 在驱动、库和深度学习框架上的成熟度与兼容性还不如 CUDA，很多低层优化和推理引擎（比如针对张量核和 cuBLAS/TensorRT 的优化）优先面向 NVIDIA；同时 Windows/消费卡的支持、工具链和示例比较分散。小显存推理还需要高效量化、分片与 CPU/磁盘脱页等复杂机制，容易带来性能不稳定和实现难度，社区样例、文档和商业支持都较少，因此大多数开发者更倾向于沿用已验证的 NVIDIA 路径，导致实际应用不多。
更新于 2025年12月31日
