基于多芯片计算设备的模型测试系统、方法及相关设备

本申请提供一种多芯片计算设备的模型测试系统、方法及相关设备。该系统包括输入模块，用于获取命令行参数和配置参数；主控制模块，用于解析所述命令行参数和所述配置参数，向性能压测模块发送推理命令；API服务启动模块，用于基于解析后的命令行参数启动推理服务，性能压测模块，用于基于解析后的配置参数构建多个参数组合，分别基于每个参数组合进行推理测试，将对应的推理结果发送至所述主控制模块；所述输出模块用于输出各参数组合对应的推理结果。在本申请在测试时，用户只需输入命令行参数及配置参数，主控制模块可调度API服务启动模块配置环境变量，加载待检测模型，并分别基于各个参数组合向API推理服务进程发送推理请求并启动推理。