摘要
本申请公开了一种文档快照信息抽取方法、装置、设备及存储介质,涉及多模态学习技术领域,包括:获取预设图文对数据集,对预训练模型进行自回归训练,得到训练成功的预训练模型;提取训练成功的预训练模型的网络结构作为新词表网络结构,对预设多模态大模型的原始词表网络结构进行更新,确定更新后的预设多模态大模型;获取预设视觉问答数据集以及用户输入的第一信息抽取指令,对更新后的预设多模态大模型进行微调,得到微调结束的预设多模态大模型;接收用户输入的目标文档快照以及第二信息抽取指令,得到微调后的预设多模态大模型输出的信息抽取结果。本申请能够提高复杂文档快照中信息抽取的准确性。