摘要
本发明公开了一种自然语言语义识别方法、装置、设备及介质,包括:根据输入的自然语言提取语义特征,并将语义特征输入到初始混合专家模型中通过Transformer模型对语义特征进行解析,得到隐藏状态矩阵;将隐藏状态矩阵输入到门控网络,生成路由权重矩阵;基于随机化奇异值分解的秩估计,结合隐藏状态矩阵生成当前层激活的专家网络的数量K;根据路由权重矩阵的排序结果选择前K个专家网络,生成掩码矩阵,执行稀疏化前向计算,并基于稀疏梯度传播与负载均衡损失优化专家网络的模型参数,得到目标混合专家模型;采用目标混合专家模型对语义特征进行识别,得到语义识别结果,采用本发明提高了语义识别的准确率和效率。