面向列车运行环境感知的多模态图像融合检测方法及装置

本发明公开了一种面向列车运行环境感知的多模态图像融合检测方法及装置，涉及图像处理技术领域，该方法包括：获取在各种环境条件下铁路场景的不同模态的图像数据，其中，不同模态的图像数据包括可见光图像数据和红外图像数据，且不同模态的图像数据对应为同一目标且是同一时间所采集；对不同模态的图像数据分别进行特征提取，得到相应的模态特征信息，并且通过交叉融合注意力得到由不同模态的图像数据的特征交互融合后的特征信息；将不同模态的图像数据的特征交互融合后的特征信息分别进行图像融合和目标检测，以得到融合图像以及融合图像上的目标的检测结果。本发明解决了现有技术中处理多模态图像时融合与检测分离、特征交互不足等问题。