一种基于图网络信息交互的多模态目标检测方法

本发明提出一种基于图网络信息交互的多模态目标检测方法，该方法包括：通过摄像头与红外热成像头采集可见光与红外图像，并由特征提取模块提取多尺度特征，多模态特征交互模块对双模态的多尺度特征进行模态间与模态内信息交互，增强特征表示，有门控融合模块融合交互后的特征，生成多模态融合特征，多模态融合特征检测头输出预测结果。本发明本设计了一个基于图网络的多模态特征交互模块，通过图推理来捕获多模态数据之间的互补信息和长程空间依赖，进而提升显著目标检测的性能，整个流程分为两个阶段：模态间图推理和模态内图推理；这两个阶段共同作用，使得模态间的信息能够充分融合，并且模态内部的空间结构得到强化。