一种基于端到端与多模态大模型的自动驾驶方法及系统

本申请公开了一种基于端到端与多模态大模型的自动驾驶方法及系统。所述方法包括：确定由目标车辆的多个传感器采集的图像信息、车辆历史信息、导航信息以及文本信息；基于每种信息对应的编码器，分别对图像信息、车辆历史信息、导航信息以及文本信息进行编码，得到多个编码token；将多个编码token分别输入训练好的多模态大语言模型进行预测，得到多个解码token；基于轨迹解码器和文本解码器分别对多个解码token进行解码，并行输出目标车辆的规划轨迹和控制信息；基于规划轨迹和控制信息，控制目标车辆按照规划轨迹自动驾驶，并对当前自动驾驶策略进行文本解释。从而，方案集成度和搭建效率高，泛化性强，迭代性高，适配性强，提高自动驾驶落地与服务效率。