一种基于多模态数据的鼠种分类方法及系统

本发明涉及数据处理技术领域，具体涉及一种基于多模态数据的鼠种分类方法及系统，所述的方法包括获取鼠种视频数据、步态视频数据和音频数据，采用针对鼠类特征优化的深度卷积神经网络对视频图像数据和步态视频图像数据处理分别获得视频特征图集和步态特征图集，提取高质量音频数据获得频谱图集，并对上述三个图集进行多模态特征融合，获得特征表示集，结合时序建模及全局信息建模获得最终的多模态特征向量，基于多模态特征向量对视频中的鼠种进行分类，判断鼠种类别。本发明提供的鼠种分类方法能够提供更丰富的特征信息，减少误识和漏识的情况，实现对鼠种的实时监测和分类，对于海关口岸准确高效的识别害鼠具有重要意义。