基于层次特征融合与多任务学习的多模态情感分析方法

本发明属于多模态信息处理技术领域，尤其为基于层次特征融合与多任务学习的多模态情感分析方法，包括以下步骤：S1、建立多模态情感分析模型框架；S2、准备数据集与多模态视听数据预处理；S3、将单模态数据输入单模态层次特征提取融合网络(UFEN)，获取单模态多层次时空注意力融合特征与情感分析子任务结果；S4、将不同单模态情感表征输入多模态交叉融合网络(MCFN)，获取不同模态情感信息互补特征；S5、将情感信息互补特征输入特征重构网络和预测层分别进行情感预测；S6、结合多个子任务结果进行多任务学习，构建多任务动态损失函数训练模型。本发明有效提取多模态数据的时空特征、多模态互补特征交互，提高了多模态情感分析的准确性和泛化性。