一种基于MediaPipe与虚拟现实的实验模拟方法及系统

本发明提供一种基于MediaPipe与虚拟现实的实验模拟方法及系统，涉及图像识别技术领域，该方法包括：通过Unity引擎对3D模型进行渲染，构建虚拟实验场景和实验设备；对用户的手势图像进行采集，并通过三维标定调整手势图像的映射；对手势图像进行空间分量转换，并对手势图像进行预处理，得到初始图像；使用MediaPipe模型识别手部关键点，并根据手部关键点的位置关系，修正位置坐标；将手部关键点的数据信息进行深度封装，并通过UDP通信协议传送至Unity引擎中解析模拟手部动作演示，本发明能够解决现有技术中传统的虚拟实验需要特殊的穿戴设备或手柄实现，并且操作困难，设备成本高的技术问题。