基于多模态和LLM的疾病智能预测及辅助诊疗方法

本发明公开了一种基于多模态和LLM的疾病智能预测及辅助诊疗方法，通过对患者的医学影像和病况数据进行特征提取，然后进行多模态融合训练；然后通过获取、筛选公开医疗问答数据集和医疗文献，构建微调问答数据集，并微调LLM，使其专注于对特定研究部位的问答诊断任务；再使用医生患者的问答数据构建诊疗大模型，将患者的咨询问题和疾病预测结果作为输入，通过Embedding模型与诊疗词向量知识库的文段进行相似度匹配，将相似度最高的文段输入到诊疗大模型中，结合设计的提示词，生成诊疗方案。本发明利用患者的多模态医疗数据和公开医疗文本数据，将CNN和Transformer架构与LLM架构结合，实现了针对特定疾病的智能、精准预测和诊疗方案的个性化生成。