基于智慧安防的图像采集卡多模态识别方法及系统

本申请提供了一种基于智慧安防的图像采集卡多模态识别方法及系统，该方法包括：根据图像采集卡的全局时钟信号采集多模态原始数据流；对多模态原始数据流进行时空校准，生成同步多模态数据队列；通过数据预处理提取同步多模态数据队列的多模态特征张量；对多模态特征张量进行分层注意力融合，生成融合特征矩阵；通过轻量化卷积神经网络对融合特征矩阵进行通道剪枝，构建目标检测模型；根据目标检测模型确定多模态原始数据流对应的检测结果。通过全局时钟信号与动态时空校准算法的协同作用，在多模态数据流中构建了时间同步与空间对齐补偿机制，有效解决了因时空失配导致的多模态信息互补优势衰减问题。