基于多维层次语义蒸馏的深度学习模型压缩方法

本发明涉及一种基于多维层次语义蒸馏的深度学习模型压缩方法，属于深度学习模型压缩领域。所述方法，首先从教师模型的深层次特征中提取潜在的高阶语义表征信息；然后，通过引入中间模型以桥接教师模型与学生模型之间的能力差距，逐步传递知识以缓解直接迁移引发的不匹配问题；最后设计一种更为细化的监督机制，不仅关注最终标准化后的类别预测，还强调类间级和类内级关系的知识信息捕获，以减小输出尺度差异带来的影响，同时增强模型对语义结构的感知能力。