一种基于多模态感知与深度学习的视频-雷达-射频多源数据融合分析系统

一种基于多模态感知与深度学习的视频‑雷达‑射频多源数据融合分析系统，视频流预处理模块采用注意力机制的ACNN对视频流进行关键帧提取并实现目标检测分类；雷达信号处理模块通过VAE与LSTM融合，完成雷达回波信号特征学习及目标轨迹预测；射频信号解析模块基于GNN构建RFID标签关联模型以提取身份信息。通过AFM动态评估视频、雷达、射频传感器的数据质量，自主调节多源特征权重实现高鲁棒性融合，结合三支高斯混合聚类与双动态映射算法完成目标轨迹‑身份的时空匹配。本发明有效解决跨模态特征交互不足导致的目标失配问题，提升复杂场景下目标识别精度与身份绑定连续性，在传感器数据动态劣化时保持跟踪稳定性。