基于多传感器融合的摄像头异常行为识别方法及系统

本发明涉及智能图像分析领域，且更为具体地，涉及一种基于多传感器融合的摄像头异常行为识别方法及系统，包括数据采集：采集摄像头视区范围内的多传感器数据；数据处理：对采集到的多模态数据进行时钟校准；特征提取：提取图像数据生成第一特征；提取音频数据生成第二特征；提取热成像数据生成第三特征；特征融合：建立跨模态注意力融合网络，对第一特征、第二特征、第三特征分别设置动态调整的权重系数，并进行特征融合；深度学习模型：构建针对异常行为的识别模型；使用融合后的特征作为输入，输出为异常行为的类型；本发明在三个层面对数据进行融合处理，提高识别准确度，降低计算量。