一种基于多模态数据协同训练的缺陷诊断方法及系统

本发明公开了一种基于多模态数据协同训练的缺陷诊断方法及系统，属于缺陷诊断技术领域，具体包括：构建包含特征提取子网络与跨模态注意力模块的多模态协同诊断模型；采集多模态数据并预处理后，经特征提取子网络获取初始特征，再由跨模态注意力模块生成注意力权重，得到加权后的多模态特征，经多尺度特征提取子网络后获得多尺度融合特征，再通过级联处理给出初步诊断结果；同时检测数据完整性，通过级联式协同诊断应对模态缺失场景；最后将两类诊断结果与缺陷标注样本比对，得到训练优化后的多模态协同诊断模型，再输入待诊断样本数据后，输出最终诊断结果并更新缺陷标注样本，实现了高效精准的缺陷诊断。