1.本发明涉及打击乐识别技术领域，尤其是涉及一种基于运动检测辅助识别的打击乐智能教育系统。


背景技术：

2.现有的打击乐识别采用通过音频采集打击乐的发音，通过对音频的分析得到音频的短时功率谱，过零率等参数，初步该音频属于那种乐器。再利用动态时间归整比较各类乐器特征参数(mfcc)，通过编辑距离，神经网络学习等方法，得到乐器的种类和打击点。
3.如公开号为cn110310666a的发明公开了一种基于se卷积网络的乐器识别方法及系统，方法包括如下步骤：待识别数据预处理，将待识别音频文件转换为待识别自相关谱图；待识别数据识别，将待识别自相关谱图输入预先构建的乐器识别模型进行识别，得到输出结果矩阵；乐器解析，将乐器识别模型的输出结果矩阵整合解析为自然语言表示的乐器标签。
4.现有的识别方法的不足之处在于系统的识别率比较低，识别的乐器打击时间的误差较大，比较小的乐器声被大声淹没，无法指出打击动作错误。


技术实现要素：

5.本发明的目的就是为了克服上述现有技术存在系统的识别率比较低，识别的乐器打击时间的误差较大的缺陷而提供一种基于运动检测辅助识别的打击乐智能教育系统。
6.本发明的目的可以通过以下技术方案来实现：
7.一种基于运动检测辅助识别的打击乐智能教育系统，包括鼓棒、架子鼓和主机，所述鼓棒上安装有加速度传感器和陀螺仪传感器，所述加速度传感器和陀螺仪传感器均通讯连接所述主机，所述主机还用于采集架子鼓的音频数据，所述主机的数据处理过程包括以下步骤：
8.初始校正步骤：在乐曲开始前的一个静止时刻，根据所述加速度传感器的探测值，得到重力加速度值，确定当前鼓棒所握的位置；
9.打击坐标力度识别步骤：鼓棒动作时，根据所述陀螺仪传感器采集鼓棒的旋转量，并根据所述初始校正步骤中获取的重力加速度值，计算当前的重力加速度，然后与当前加速度传感器获取的数据作差，得到鼓棒去除重力后的加速度，并基于所述鼓棒所握的位置，得到鼓棒头部的位置，最后根据动量定理计算鼓棒的打击坐标力度；
10.音频特征提取步骤：根据所述音频数据，提取音频特征；
11.打击乐识别步骤：将所述音频特征和鼓棒的打击坐标力度载入预先建立并训练好的打击识别神经网络模型中，得到打击乐器的音色和力度，
12.评分步骤：根据所述打击乐器的音色和力度，给出乐曲评分。
13.进一步地，所述加速度传感器的数量为三个，三个加速度传感器两两正交设置，用于获取三个方向的加速度；
14.所述初始校正步骤中根据三个方向的重力加速度进行三角运算，确定当前鼓棒所握的位置。
15.进一步地，所述陀螺仪传感器的数量为三个，三个陀螺仪传感器两两正交设置，用于获取三个方向的旋转量，三个陀螺仪传感器与所述三个加速度传感器的位置相对应；
16.根据三个陀螺仪传感器获取的三个方向的旋转量分量，与所述初始校正步骤中获取的三个方向的重力加速度分别进行乘法计算，得到当前的重力加速度。
17.进一步地，根据所述鼓棒去除重力后的加速度进行积分运算，求取速度曲线，并根据速度时间，得到鼓棒相对于在初始校正步骤中的位置；并基于所述鼓棒所握的位置，得到鼓棒头部的位置。
18.进一步地，所述主机的数据处理过程还包括：根据鼓棒头部的位置的瞬间变化，确定鼓棒的状态，该鼓棒的状态包括平移、往下击打和反弹；
19.所述评分步骤包括：根据所述打击乐器的音色、力度和鼓棒的状态，给出乐曲评分。
20.进一步地，所述主机的数据处理过程还包括：根据所述加速度传感器和陀螺仪传感器的比例，得到鼓棒的用力点，该鼓棒的用力点包括手腕和全身；
21.所述评分步骤包括：根据所述打击乐器的音色、力度、鼓棒的状态和鼓棒的用力点，给出乐曲评分。
22.进一步地，音频特征提取步骤中，通过提取所述音频数据中时域的adsr包络变化及频域的mfcc变化特征，得到所述音频特征。
23.进一步地，根据实时获取所述音色和力度，与预设的打击乐谱进行对比，判断打击的正确率，从而得到所述乐曲评分。
24.进一步地，所述打击识别神经网络模型的训练过程具体为：
25.获取训练数据，该训练数据包括模型输入数据和实际的打击动作结果，将该训练数据载入预先建立的打击识别神经网络模型中，进行模型训练，直至达到预设的训练停止条件，获取训练好的打击识别神经网络模型。
26.进一步地，所述打击识别神经网络模型采用bp神经网络。
27.与现有技术相比，本发明具有以下优点：
28.(1)识别率提高：通过重建打击位置，通过打击位置参数，结合音频，能提高系统打击乐器和打击坐标力度的识别率；
29.(2)打击时间精确：通过加速度传感器和陀螺仪传感器的数据，计算鼓棒去除重力后的加速度，能直接获取打击动作，获得精确的打击时间；
30.(3)增加手法识别：通过加速度和陀螺仪数据分析可以得出打击手法状态和敲击的发力位置，有利教育辅助。
附图说明
31.图1为本发明实施例中提供的一种基于运动检测辅助识别的打击乐智能教育系统的硬件结构示意图；
32.图2为本发明实施例中提供的一种基于运动检测辅助识别的打击乐智能教育系统的打击乐器音色和力度识别过程示意图；
33.图中，1为主机，2为鼓棒，3为录音器。
具体实施方式
34.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
35.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.实施例1
37.如图1和图2所示，本实施例提供一种基于运动检测辅助识别的打击乐智能教育系统，包括鼓棒2、架子鼓和主机1，鼓棒上安装有加速度传感器和陀螺仪传感器，加速度传感器和陀螺仪传感器均通讯连接主机，本实施例中通过蓝牙通讯连接，主机还用于采集有架子鼓的音频数据，本实施例中通过录音器3采集音频数据，主机的数据处理过程包括以下步骤：
38.初始校正步骤：在乐曲开始前的一个静止时刻，根据加速度传感器的探测值，得到重力加速度值，确定当前鼓棒所握的位置；
39.打击坐标力度识别步骤：鼓棒动作时，根据陀螺仪传感器采集鼓棒的旋转量，并根据初始校正步骤中获取的重力加速度值，计算当前的重力加速度，然后与当前加速度传感器获取的数据作差，得到鼓棒去除重力后的加速度，并基于鼓棒所握的位置，得到鼓棒头部的位置，最后根据动量定理计算鼓棒的打击坐标力度；
40.音频特征提取步骤：根据音频数据，提取音频特征；
41.打击乐识别步骤：将音频特征和鼓棒的打击坐标力度载入预先建立并训练好的打击识别神经网络模型中，得到打击乐器的音色和力度，
42.评分步骤：根据打击乐器的音色和力度，给出乐曲评分。
43.作为一种优选的实施方式，加速度传感器的数量为三个，三个加速度传感器两两正交设置，用于获取三个方向的加速度；
44.初始校正步骤中根据三个方向的重力加速度进行三角运算，确定当前鼓棒所握的位置；通过三个方向的重力加速度便于确定静止时鼓棒所握的位置。
45.进一步地，作为一种优选的实施方式，陀螺仪传感器的数量为三个，三个陀螺仪传感器两两正交设置，用于获取三个方向的旋转量，三个陀螺仪传感器与三个加速度传感器的位置相对应；
46.根据三个陀螺仪传感器获取的三个方向的旋转量分量，与初始校正步骤中获取的三个方向的重力加速度分别进行乘法计算，得到当前的重力加速度；陀螺仪传感器与加速度传感器的数量和位置相对应，方便进行分量计算，提高计算的准确性。
47.打击坐标力度识别步骤具体为，根据鼓棒去除重力后的加速度进行积分运算，求取速度曲线，并根据速度时间，得到鼓棒相对于在初始校正步骤中的位置；并基于鼓棒所握
的位置，得到鼓棒头部的位置。
48.作为一种优选的实施方式，主机的数据处理过程还包括：根据鼓棒头部的位置的瞬间变化，确定鼓棒的状态，该鼓棒的状态包括平移、往下击打和反弹；
49.评分步骤包括：根据打击乐器的音色、力度、鼓棒的状态和鼓棒的用力点，给出乐曲评分。
50.加入识别出的鼓棒的状态，鼓棒的状态也是演奏评分的一个要素，能提升评分结果的准确性。
51.进一步地，作为一种优选的实施方式，主机的数据处理过程还包括：根据加速度传感器和陀螺仪传感器的比例，得到鼓棒的用力点，该鼓棒的用力点包括手腕和全身；
52.评分步骤包括：根据打击乐器的音色、力度、鼓棒的状态和鼓棒的用力点，给出乐曲评分。
53.具体为：根据实时获取音色、力度、鼓棒的状态和鼓棒的用力点，与预设的打击乐谱和评分标准进行对比，判断打击的正确率，从而得到乐曲评分。
54.进一步加入鼓棒的用力点，鼓棒的用力点也是演奏评分的一个要素，能进一步提升评分结果的准确性。
55.作为一种优选的实施方式，音频特征提取步骤中，通过提取音频数据中时域的adsr包络变化及频域的mfcc变化特征，得到音频特征。
56.本实施例中，打击识别神经网络模型的训练过程具体为：
57.获取训练数据，该训练数据包括模型输入数据和实际的打击动作结果，将该训练数据载入预先建立的打击识别神经网络模型中，进行模型训练，直至达到预设的训练停止条件，获取训练好的打击识别神经网络模型，打击识别神经网络模型采用bp神经网络。
58.将上述优选的实施方式进行组合，可以得到一种最优的实施方式，下面对该最优的实施方式进行具体描述。
59.本实施例提供一种基于运动检测辅助识别的打击乐智能教育系统，由主机和鼓棒和普通架子鼓组成，主机可以直接录音并对数据进行分析。智能鼓棒对打击乐的鼓棒进行改进，在鼓棒中加入陀螺仪传感器和加速度传感器并安装于后端手握位置，无线传输芯片，定时把陀螺仪加速度信息数据，传送给主机。
60.详细描述如下：
61.1、校正：
62.在乐曲开始前，找到静止时刻，在三个陀螺仪传感器为零时，此时鼓棒处于静止状态，此时系统只有重力加速度。根据三个加速度传感器的合成成正好为一个重力加速度的原理，把三个加速度传感器通过物理三角形力的合成，正好同重力加速度相符。在相符时，对合力和三个分力进行三角运算，得出目前鼓棒所握的位置。
63.通过无线的时间校正传输的时间差，校正时钟误差。
64.2、采集：
65.定时采集加速度传感器和陀螺仪传感器数据，得到鼓棒的状态，通过无线系统传输到主机。主机直接采集音频数据。
66.3、识别：
67.根据音频数据特征值、加速度传感器和陀螺仪传感器数值，重建鼓棒位置。
68.通过三个陀螺仪传感器的数据变化，计算出鼓棒的旋转量；
69.通过旋转量及校正时重力加速度分量，计算出当前重力加速度在三个轴向的分量；
70.根据当前重力加速度在三个轴向的分量，及三个加速度传感器的值计算鼓棒去除重力的加速度；
71.根据去除重力的加速度积分求出速度曲线，通过速度时间计算得到鼓棒的相对校正时位置；
72.通过陀螺仪传感器及其安装的位置，得到鼓棒头部的位置，根据动量定理计算出打击的力度；
73.根据鼓棒头部的瞬间变化，计算鼓棒的状态，平移、往下击打、反弹；
74.根据陀螺仪传感器和加速度传感器的速度比例，得到鼓棒的用力点，手腕，全身；
75.根据鼓棒的状态，及音频通过神经网络识别打击的乐器，力度；
76.对音频特征进行提取，提取了时域的adsr包络变化及频域的mfcc变化特征，作为音频的特征，参与识别；
77.算法训练：
78.采用bp神经网络，通过已有的以知实例，一个音频和坐标力度数据及实际的打击动作结果，输入训练算法。通过大量的数据学习得到打击识别神经网络模型。
79.识别过程：
80.采用bp神经网络，根据学习后的打击识别神经网络模型，输入音频特征和打击坐标力度，得出打击乐器音色、力度。
81.4、评分：
82.根据鼓棒的用力点、打击状态的节奏、打击的正确率对乐曲评分，指出演奏的不足。
83.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。