面向多模态人机交互的双臂人形机器人原型设计与验证

人机交互（HRI）能够在现实环境中实现人类与机器人之间直观且智能的协作。本文介绍了一种人形机器人原型，该原型被设计为一个灵活的测试平台，用于在人机交互任务中开发和集成人工智能（AI）模块。该系统配备了一个12自由度（DOF）的双臂机构，以及一个带有可呈现面部表情的LCD显示屏的2自由度头部。所有硬件组件均由定制设计的控制板控制，并由板载Jetson模块提供实时AI处理支持。该系统集成了三个AI模块：(1) 基于MediaPipe Pose和LSTM分类器的手势识别；(2) 结合YOLO与三维定位的目标检测；(3) 通过语音识别和基于大语言模型（LLM）语义解析实现的语音指令处理。该平台通过定位精度实验进行了验证，结果显示平均操作误差约为1.83厘米。为展示其通用性，实验结果表明系统任务准确率超过90%，其中手势识别达到96%，语音识别达到92%。研究结果证实了所提出系统的有效性，表明其是一个可用于人机交互研究与原型开发的、兼具可复现性与易用性的人形机器人平台。