一种甲状腺病理图像多模态检索系统

本发明公开了一种甲状腺病理图像多模态检索系统，包括以下步骤：基于细胞学检查的甲状腺细胞病理学分级报告标准，给出甲状腺病理图像的相似定义，该定义不仅强调了不同分级之间的差异性，同时参考了不同分级之间的相似性，使得视觉编码器在分级图像数据集中完成预训练；基于预训练视觉编码器，通过临床诊断数据和病理书籍中的图文，与文本编码器完成对齐训练，使得不同模态下的数据完成交互；基于预训练的多模态模型，文本与图像输入被映射到相同的特征向量空间，通过对比相似度来完成多模态检索。本发明提供了一种甲状腺病理图像多模态检索系统，不仅能完成图文检索，还能通过视觉编码器将图片编码为特征向量，并进一步通过连接不同的分类头完成不同的分类诊断任务。