基于轻翼视界大模型的多模态穿戴设备实时交互系统及方法

本发明公开基于轻翼视界大模型的多模态穿戴设备实时交互系统及方法，包括多模态感知模块，用于通过感知部件获取感知数据，数据采集模块采集获取的感知数据；并行处理模块，用于对采集模块采集到的数据进行特征提取，基于预设功能模型对所述数据进行任务分配处理，以得到相应的处理结果；多场景应用模块，将所述处理结果应用于对应的多应用场景应用模块；任务管理模块，用于多场景应用中各功能模块的协同运行。系统由多个核心技术模块构成，包括目标检测模块、语音识别模块和跨模态路径聚合网络；本申请通过跨模态路径聚合网络利用上下文感知技术融合图像与语言信息，显著提升了多模态任务的精度和鲁棒性。