多模态数据的融合处理方法及系统

本发明涉及多模态数据处理技术领域，公开了一种多模态数据的融合处理方法及系统，其中，该方法包括：通过智能养老机器人采集包含老人活动的多模态数据集；基于多模态数据集构建时间戳校准矩阵，并采用三模态数据包络延迟补偿算法对时间戳校准矩阵进行动态权重校正，得到时序同步的三模态数据流；通过嵌套式特征提取器进行分层特征提取，得到三模态跌倒特征向量组；对三模态跌倒特征向量组执行向量融合，得到跌倒融合特征向量；将跌倒融合特征向量输入多模态前向预测模型进行跌倒风险轨迹预测，输出跌倒检测结果，该方法实现了对老人跌倒前关键时间窗口内身体姿态变化的预测分析，提升了对老人缓慢起身动作与真实跌倒行为的区分能力。