学校新进了一批国产显卡，关于大语言模型方面的测试有什么方法？
2023-09-13 阅读 14
可以按“功能、性能、稳定性、兼容性、精度”几个方向系统测试。先确认驱动/SDK和框架（PyTorch/ONNX/TF）支持情况，再用几个开源模型（GPT-2、LLaMA 小/中等规模）做基线：测单卡/多卡的推理延迟（p50/p99）、吞吐（tokens/s）、显存占用、功耗与温度。做训练微基准测每秒步数和显存峰值，测试混合精度（fp16/bf16/量化）效果与数值精度（困惑度/下游任务准确率）差异。用压力测试（长时间推理/训练、内存逼近）查稳定性与OOM，再用厂商分析器或硬件计数器做算子级剖析，最后与已知硬件基线对比得出结论。
更新于 2025年12月27日
