基于提示学习与自适应Mamba门控选择融合跨模态哈希检索方法
申请号:CN202411459788
申请日期:2024-10-18
公开号:CN119322871A
公开日期:2025-01-17
类型:发明专利
摘要
本发明公开了基于提示学习与自适应Mamba门控选择融合跨模态哈希检索方法,主要涉及深度跨模态哈希检索领域;包括步骤:S1、将图像数据集及图像数据集对应的类别标签信息分别对应分成:训练集和检索集;S2、对图像信息进行预处理;S3、构建基于提示学习与自适应Mamba门控选择融合跨模态哈希检索架构;S4、利用训练集,通过训练得到模型;S5、将检索集图片输入经过训练的模型;S6、取测试集测试最好的模型权重进行保存,并保存在测试集上表现效果最好的哈希码;本发明能够缓解语义截断的发生,补充上下文语义的缺失,能重新选择融合不同模态特征,以提高对检索结果有利的语义特征权重,降低负面语义信息的权重。
技术关键词
跨模态
图文
全局平均池化
融合特征
特征提取模块
加权特征
图像
动态
状态空间模型
特征提取网络
文本编码器
标签
图片
多层感知机
训练集
语义