基于多模态信息融合的自动化辅助驾驶方法

一种基于多模态信息融合的自动化辅助驾驶方法，通过对采集到的飞行员操作数据、飞行员语音数据和飞行员图像数据进行进行预处理后，提取各模态的特征并生成样本集，用于训练多模态Transformer模型。在在线阶段采用训练后的多模态Transformer模型实时评估飞行员的行为状态，并将评估结果作为输入，进行自动化辅助驾驶系统的模式选择和调整。本发明融合飞行员操作、语音和图像不同传感器的数据，可以提供更全面和准确的飞行员状态信息，弥补单一数据源在特定场景下的不足，提高飞行员行为状态识别的鲁棒性和准确性，并能够根据飞行员状态和操作实时调整自动化辅助驾驶系统的等级模式，为飞行员提供可靠的自动化辅助驾驶支持，从而确保飞行安全。