摘要
本发明为解决现有的孤独症儿童监护难以及时有效安抚的问题;提供一种孤独症儿童的多模态监护方法,通过将动作特征,面部特征及语音特征融合,最终得到综合特征,相较于现有技术中单一模态的数据处理方式,能够更全面、细致地捕捉孤独症儿童的行为信息及情绪信息,不仅显著提升了行为分析的准确性和可靠性,也提高了大语言模型语音互动的可靠性,结合大语言模型的语音互动,有效填补了在异常行为发生时仅能发出警告而缺乏实时互动安抚的空白,能够在监护人员到达之前对儿童进行初步的情绪安抚和行为引导,降低异常行为可能带来的危害。