摘要
本发明公开了基于多尺度解耦的温度归一化知识蒸馏方法及系统，方法如下：S1、将图像同时输入教师模型与学生模型，二者分别输出logit特征图，对教师模型的全局logit输出分解为多个局部logit输出，每个局部logit输出对应输入图像特定区域，从教师模型的特征图中提取该区域的局部logit信息；学生模型将教师模型输出的局部logit作为学习结果，在相同尺度、相同区域上与教师模型的局部logit相对应；S2、将图像分别输入预训练的教师和学生模型，计算标准差，根据自适应温度机制对教师和学生模型的局部logit计算分别得到教师、学生模型概率分布，引入温度缩放因子，控制软化程度；S3、将教师与学生模型概率分布结合归一化蒸馏损失、语义解耦蒸馏损失和交叉熵损失计算总损失。
