我所在“高精度仿生双臂音乐机器人”方面取得最新成果

我所研制设计了一台高精度仿生双臂音乐机器人。该机器人以扬琴音乐机器人为研究对象，围绕基于机器视觉的光学乐谱识别与编码、智能化演奏决策、和基于多模优化方法和相关构型评价准则的机械臂拟人化轨迹规划方法等内容展开研究，在机器视觉、智能控制与拟人化方面取得了重要突破。此外，音乐机器人将人类的创造力、情感表达、审美等智能与计算机的算法以及机械自动控制技术相结合，推进社会音乐艺术的普及、突破人类演奏或作曲的专业技巧极限，创造更多新奇感的音乐效果，同时也可以节省人力和提高音乐表演和创作的效率，对促进服务机器人智能化发展具有重要的科学意义。

（a）一代扬琴音乐机器人-第37届中国控制会议演出

（b）二代扬琴音乐机器人-2019年常熟两会服务型机器人展览

图1 扬琴音乐机器人演出

主要包括：

（1）针对识别纸质乐谱并演奏的问题，提出了一种基于机器视觉的光学乐谱识别与编码方法。该算法分为三部分：预处理、乐谱识别与编码。其中预处理使用滤波、谱线矫正、谱线修补和归一化等算法进行图像进行预处理，保证即使在光照、乐谱摆放角度不合理的情况下也能有效识别；乐谱识别则结合模板匹配、贝叶斯分类和支持向量机等机器视觉算法实现对谱线、符头、音符群、独立音符等乐谱特征进行定位、分离与识别，得到音高、时值和强度等音符信息；并将结果编码输出为MIDI文件用于机器人演奏。实验分析该算法可平均达到95.78%的准确率，且算法执行速度远小于机械臂执行时间，保证了演奏节奏的实时性。

图2 基于机器视觉的光学乐谱识别与编码              图3 音符定位与分离

表1 不同乐谱下漏识别、错识别、总音符数和计算识别准确率

（2）提出一种智能化演奏的决策方法。人类演奏扬琴的技法具有多样性且演奏决策存在人为随机性，不适合采用专家知识库描述扬琴技法。为了解决上述问题，提出一种基于多层神经网络的拟人双臂演奏技法模型，如图4所示，通过结合乐谱信息、专业演奏者的实际技法表现，以及乐谱中前后音符的音高与时值信息来获得决策规则，从而实现高实时性在线决策，逼近人类演奏模式。表2的测试结果验证了算法的有效性。

图4 基于多层神经网络的拟人双臂演奏技法模型

表2 智能化演奏决策测试集结果

（3）拟人化轨迹规划。为了使仿生机械臂演奏灵活且具有观赏性，采用动作捕捉仪对人臂演奏过程中的运动特征进行分析，研究了一种基于多模优化方法和相关构型评价准则的机械臂拟人化轨迹规划方法，保证各点到点任务的过程中始终具有拟人的运动轨迹与姿态。如图5所示，该方法将分别从操作空间和关节空间中对机械臂的运动轨迹进行规划，能够更好地满足机械臂拟人化运动的需求。

图5 具有运动姿态似人特性的机械臂轨迹规划方法

在操作空间，结合动作捕捉仪分析专业演奏者运动轨迹与姿态，提出一种拟人运动轨迹规划方法，如图6和图7所示。满足两点间的运动轨迹略高于琴面的平滑弧线形，且速度曲线呈钟型，起始和终止速度为零。

（a）专业人员演奏扬琴                    （b）捕获轨迹与姿态

图6 动作捕捉仪分析专业演奏者运动轨迹与姿态

（a）拟人化运动空间轨迹                （b）拟人化轨迹速度曲线

图7 操作空间拟人化运动轨迹规划方法

在关节空间，提出使用基于FER-PSO多模优化算法的求逆解方法对构建的拟人化运动轨迹进行跟踪。并构建拟人度构型评价指标，寻找到对应最优构型的逆解，实现机械臂在运动过程中的整体构型更贴近人臂在演奏扬琴时的运动姿态。

图8 机械臂各关节不同构型的拟人度评分示意图，评分越低构型越优