摘要
本发明公开了一种基于强化学习人机协同桌面交互方法,包括以下步骤;步骤1:采集用户当前的眼动数据、操作数据、历史预测数据、任务标识和用户标识共同组成多模态状态输入;步骤2:使用步骤1采集到数据对用户下一时刻操作意图进行预测;步骤3:使用手协同策略对预测的意图进行过滤以防止干扰用户操作;步骤4:对过滤后的意图进行响应,保存用户历史操作,使用多阶段训练对多用户多任务场景进行适配。本发明通过预测用户的下一时刻的操作意图,提前帮用户做好准备将光标移至意图区域减少用户操作从而提升用户交互效率;并且本方法能适配于多人员和多任务场景。