智慧显示终端多模态交互方法及其系统

本发明涉及显示终端交互技术领域，具体地说，涉及智慧显示终端多模态交互方法及其系统。包括多模块采集单元，多模块采集单元用于采集视觉、语音和文本数据；模态特征提取单元用于从视觉、语音、文本中提取关键语义特征，差异化融合单元基于各模态的权重系数动态分配融合系数，采用差异化融合策略针对不同输入模态组合，选择最优融合逻辑；多模块响应单元用于输出多模态内容，通过终端设备进行输出显示。通过差异化融合策略识别当前可用模态组合，调度最优融合子模块，实现了运行时动态调用不同融合逻辑，按模态可用性动态选取不同融合子模块并在运行时切换，避免了通用融合带来的资源浪费与精度下降的问题。