摘要
本申请涉及人机交互领域,其具体地公开了一种基于病理医生视角的天眼洞察多模态人机交互应用系统,其首先通过全切片图像的快速扫描生成候选病灶热力图,模拟医生的低倍镜全局浏览,引导医生以其专业判断交互式锁定关键区域,这极大地提升了超大图像的处理效率。随后,系统仅对医生确认的病灶进行高分辨率深度解析,并将提取的微观视觉特征与患者文本信息进行多模态融合,生成附有可解释性依据的初步报告,解决了多模态功能偏离临床核心任务的难题。最终,医生可通过直观交互对报告进行审核与定稿,确保了医生在诊断流程中的主导地位与最终决策权,从而攻克了传统AI系统“黑箱”操作、临床接受度低的瓶颈。