基于知识蒸馏的多模态风格迁移方法、系统及设备

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于知识蒸馏的多模态风格迁移方法、系统及设备
申请号:CN202411444526
申请日期:2024-10-16
公开号:CN119741187B
公开日期:2025-09-16
类型:发明专利
摘要
本发明提出一种基于知识蒸馏的多模态风格迁移方法、系统及设备,通过引入知识蒸馏技术,设计了一个教师学生模型,并利用CLIP文本图像空间对齐的性质,只需利用图像数据集进行一次训练,便可实现多模态引导的风格迁移,相比于CLIPStyler速度和效率大大提升,且相比于LDAST,本发明不需要大规模文本图像配对数据,节省了人力物力。此外,相比于CLIPStyler以及LDAST均是通过设计固定好的模型进行训练,本发明设计了一个空间拓展映射模块,使得本发明可以插入到所有传统的图像风格迁移网络,使其成为一个多模态风格迁移网络,实现即插即用,具有极佳的适应性。
技术关键词
风格迁移方法 分支 学生 教师 多模态 网络 知识蒸馏技术 模块 文本编码器 图像编码器 解码图像 数据 样本 输出特征