「 AI 」 五月 04, 2025
昇腾推理引擎性能测试套件 MindIE Benchmark
文章字数 17k 阅读约需 16 mins.
MindIE Benchmark 是 昇腾推理引擎(MindIE,Mind Inference Engine)中推理服务组件 MindIE Service
组件包含的性能测试套件,提供测试大语言模型在不同配置参数下推理性能和精度的能力。
详细信息可参见官方文档 MindIE Benchmark 1.0.0 功能介绍。
MindIE Benchmark 支持 Client 和 Engine 两种不同的推理模式:
- Client 模式调用 MindIE Client 的 .generate() 和 ...