一种基于可分离混合低秩适应的持续视觉指令微调方法

本发明公开了一种基于可分离混合低秩适应的持续视觉指令微调方法，涉及模型深度学习和持续学习技术领域；S1、创建预训练模型；S2、将持续视觉指令微调数据集序列输入至预训练模型；S3、根据持续视觉指令微调数据集选择合适的低秩适应矩阵并进行微调；S4、利用可分离路由技术获取S3的视觉理解路由选择和指令跟随路由选择；S5、通过S4的分离路由结果与其相对应的适应性矩阵进行加权运算得到两个相对应的输出；S6、利用自适应融合技术得到该低秩适应模块最终的输出；本发明采用上述一种基于可分离混合低秩适应的持续视觉指令微调方法，确保模型在处理视觉和指令任务时不发生干扰，有效避免了双重灾难性遗忘。