一种多模态数据处理方法和装置

本申请公开了一种多模态数据处理方法和装置，该方法包括：获得待处理的N张图像以及任务指示信息，任务指示信息表征至少基于N张图像之间的关联关系执行目标处理任务，N为大于等于2的整数；通过视觉编码器确定N张图像的细节特征和全局特征；基于细节特征和全局特征的融合特征，通过视觉映射器将融合特征映射为自然语言特征；通过大语言模型处理自然语言特征以及任务指示信息的文本特征，以至少基于N张图像之间的关联关系，执行目标处理任务。