一种模型量化的量化性能评估方法、装置、设备及介质

本发明公开了一种模型量化的量化性能评估方法、装置、设备及介质，涉及模型量化技术领域，该方法包括：获取待评估模型以及对待评估模型的量化请求，将待评估模型的量化请求转化为优化量化网络结构请求；根据优化量化网络结构请求，确定待评估模型在模型量化前后产生的推理延迟和网络计算量，并根据推理延迟和网络计算量构建量化性能评估值；基于优化量化网络结构请求，构建模型的量化网络结构可行域以及用于搜索性能最优的量化网络结构的搜索框架。本发明能够有效解决深度学习模型在边缘设备部署时的量化问题，确保搜索框架获得的量化网络的质量和性能，提高了深度学习模型在边缘设备上的实用性和可靠性。