基于模态贡献评估的多模态多标签情感识别方法及系统

本发明公开了基于模态贡献评估的多模态多标签情感识别方法及系统，该方法包括：获取文本、视觉和音频三种模态的原始特征序列，使用编码器将原始特征序列映射，得到三种模态的高维特征嵌入；利用三种模态的高维特征嵌入的情感预测值计算每个模态在样本级别对情感预测的边际贡献度；根据各模态的边际贡献度，将各模态的特征融合，形成融合特征，再通过多模态编码器处理融合特征，得到多模态集成特征；通过可训练的标签嵌入序列，学习情感标签之间的依赖关系，将多模态集成特征与标签嵌入输入情感解码器，得到混合情感的多模态情感表征，并输入多标签分类器，得到预测的情感标签。本发明能够提高多模态特征融合的效率和情感识别的准确性。