基于双重共享机制的小样本分类方法及系统

本发明公开了基于双重共享机制的小样本分类方法及系统，涉及计算机视觉技术领域。本发明包括：接收文本及图像信息并进行预处理；构建视觉语言模型，使用损失函数对视觉语言模型进行监督训练，直至收敛，得到训练后的视觉语言模型；训练后的视觉语言模型包括文本编码器与视觉编码器，将预处理后的文本与图像信息输入视觉语言模型中得到文本特征和图像特征。本发明引入了模态间共享系数，促进了文本提示符和视觉提示符之间的深度跨模态交互，增强了视觉语言模型中视觉特征与文本特征的对齐，并且提出了模态内共享矩阵，旨在保持参数和计算效率的同时，进一步优化模型性能，保持了准确性和效率之间的权衡。