1.本发明涉及人工智能技术，特别是涉及一种基于特征分解的演奏评测方法及其装置。


背景技术：

2.随着生活水平日益提高，人们对提升音乐素养的需求与日俱增，学习乐器演奏是一种重要的方式。然而，学习乐器演奏需要专业的老师进行1对1指导和大量的练习，使得教育资源紧张，学习成本高涨，使得大量人员无法获取足够的专业指导教育时间。近年，大量陪练产品应运而生以缓解人们对于昂贵教育资源的依赖，其目的是通过人工智能技术提升功能、性能，产品能够在指导乐器演奏过程中做到接近于人类老师的专业水平。该类产品中的核心技术之一即乐器演奏评测方法，现有的方法一般基于专业设备或音频信号处理方法对用户演奏的声乐特征进行提取(如音高、开始点、结束点等)形成用户演奏谱表，再结合标准谱表给出用户演奏的评价，这类评价方法更注重于准确性评估，在节奏感、表现力、乐感、风格等方面并未考虑。因此，现有的评测方法与专业教师的评测有较大的差异，使用这些产品无法像在专业人士指导下提升综合的演奏水平。


技术实现要素：

3.以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
4.本发明实施例提供一种基于特征分解的演奏评测方法及其装置，能够对输入音频信号进行演奏技巧评价，提高演奏评测的合理性和准确性。
5.第一方面，本发明实施例提供一种基于特征分解的演奏评测方法，所述方法包括：
6.获取用户的演奏音频信息，输入至预设的演奏评测模型，以得到重构乐谱信息；
7.根据所述重构乐谱信息与目标演奏乐谱之间的匹配度确定准确度水平；
8.根据所述演奏音频信息与预设的大师演奏音频信息之间的信息向量距离值，并根据所述信息向量距离值确定技巧度水平；
9.根据所述准确度水平和所述技巧度水平对所述演奏演奏音频信息进行综合评测，得到综合评测结果。
10.第二方面，本发明实施例提供一种基于特征分解的演奏评测装置，包括：
11.获取模块，用于获取用户的演奏音频信息，输入至预设的演奏评测模型，以得到重构乐谱信息；
12.匹配模块，用于根据所述重构乐谱信息与目标演奏乐谱之间的匹配度确定准确度水平；
13.计算模块，用于根据所述演奏音频信息与预设的大师演奏音频信息之间的信息向量距离值，并根据所述信息向量距离值确定技巧度水平；
14.测评模块，用于根据所述准确度水平和所述技巧度水平对所述演奏演奏音频信息
进行综合评测，得到综合评测结果。
15.第三方面，本发明实施例提供一种电子设备，包括：存储器、控制处理器及存储在存储器上并可在控制处理器上运行的计算机程序，所述控制处理器执行所述计算机程序时，实现本发明实施例提供的基于特征分解的演奏评测方法。
16.第四方面，本发明实施例提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现本发明实施例提供的基于特征分解的演奏评测方法。
17.本发明实施例，通过获取用户的演奏音频信息，输入至预设的演奏评测模型，以得到重构乐谱信息；通过重构乐谱信息与目标演奏乐谱获得准确度水平，通过演奏音频信息与大师演奏音频信息获得技巧度水平，进而对演奏音频信息的准确率和演奏技巧进行合理、科学的评测，直观地展现出演奏音频信息与大师演奏音频信息的差距，有利于提升用户的综合演奏水平。
18.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和得到。
附图说明
19.附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
20.图1是本发明实施例提供的一种基于特征分解的演奏评测方法的流程示意图；
21.图2是本发明另一实施例提供的一种基于特征分解的演奏评测方法的流程示意图；
22.图3是图2中步骤s200的一种具体实现过程示意图；
23.图4是图1中步骤s300的一种具体实现过程示意图；
24.图5是图1中步骤s400的一种具体实现过程示意图；
25.图6是图1中步骤s500的一种具体实现过程示意图
26.图7是本发明实施例提供的一种基于特征分解的演奏评测方法的原理图；
27.图8是本发明实施例提供的一种基于特征分解的演奏评测装置的结构示意图；
28.图9是图8中训练模块的结构示意图；
29.图10是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
30.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
31.应了解，在本发明实施例的描述中，如果有描述到“第一”、“第二”等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示单独存在a、同时存在a和b、单独存在b的情况。其中a，b可以是单数或者复
数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。
32.此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
33.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
34.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
35.随着生活水平日益提高，人们对提升音乐素养的需求与日俱增，人工智能技术应用到学习乐器演奏上已经成为一种重要的手段。人工智能软件技术中语音处理技术和深度学习等方向，提供了对演奏音频信息的处理和学习的手段。通过人工智能技术提升演奏评测的功能，对用户的演奏音频信息进行了快速、科学的准确度评测。
36.本发明实施例涉及的演奏评测方法通过计算机设备来替代专业的音乐老师来为演奏练习者提供评测，并对演奏者进行实时的提醒和指导，其广泛应用于乐器学习、歌唱练习等领域。
37.相关技术中，音频评估的方法为针对演奏者演绎准确性的问题，只能通过音频数据与现有的乐谱进行对比，得出准确度水平。这种方案存在诸多不足：只能音频数据与现有的乐谱进行对比得到准确度水平，无法对演奏者的节奏感、表现力、乐感、风格等方面进行全面的评价，使用者无法快速地提升综合的演奏水平。
38.基于以上，本发明实施例提供一种基于特征分解(eigendecomposition)的演奏评测方法及其装置，通过获取用户的演奏音频信息，输入至演奏评测模型获取重构乐谱信息和重构音频信息；通过重构乐谱信息与目标演奏乐谱获得准确度水平，通过演奏音频信息与大师演奏音频信息获得技巧度水平，进而对演奏音频信息的准确率和演奏技巧进行合理、科学的评测，直观地展现出演奏音频信息与大师演奏音频信息的差距，有利于提升用户的综合演奏水平。
39.应理解，特征分解是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。在实际应用中，通常从采集到的数据中分解出自相关特征成分，得到采集数据的特征向量。通过数据进行特征识别，提取值得关注的重要信息。另外，通过计算目标数据的特征向量与用户数据的特征向量之间的距离，能对用户数据进行科学、合理的评测，对用户数据在各个方面的水平进行准确的评测。
40.请参见图1和图2，图1和图2示出了本发明实施例提供的一种基于特征分解的演奏评测方法的流程。如图2所示，本发明实施例的基于特征分解的演奏评测方法包括以下步骤：
41.s100，收集目标演奏乐谱和大师演奏音频信息，形成目标演奏乐谱与大师演奏音
频信息一一对应的训练集。
42.应理解，为了建立演奏评测的标准，需要收集目标演奏乐谱和与之对应的大师演奏音频信息，便于对用户的演奏音频信息进行评测。同时，通过收集目标演奏乐谱和大师演奏音频信息能扩展训练集的应用范围，目标演奏乐谱包括但不仅限于吉他、钢琴、小提琴、鼓、箫等乐器的乐谱信息。大师演奏音频信息则为与目标演奏乐谱对应的大师演奏音频，通过统一的格式进行存储，形成演奏评测的训练集。
43.s200，将训练集输入至演奏评测模型中进行训练，并更新演奏评测模型。
44.应理解，演奏评测模型为基于自编码器(autoencoder,ae)的自监督模型。在训练过程中，演奏评测模型的参数通过训练最小化误差得到，使训练集中的目标演奏乐谱和大师演奏音频信息经过演奏评测模型重构后与目标演奏乐谱和大师演奏音频信息尽量接近。因此，训练集的目标演奏乐谱和大师演奏音频信息越多，演奏评测模型就得到越充分的训练，得到的模型参数更具有参考意义。
45.应理解，演奏评测模型为深度学习网络模型，通过最小化重构前后的乐谱信息误差和演奏音频信息误差，实现端到端地对乐谱编码器、音频编码器、乐谱解码器和全局解码器4个神经网络表征的组件单元的训练。
46.请参见图3，步骤s200可以通过以下步骤实现：
47.s210，根据目标演奏乐谱，生成重构演奏乐谱。
48.应理解，乐谱编码器设有多个网络层，因此，目标演奏乐谱经过乐谱编码器推理后得到的输出，一般设置为长度为256维度的向量，即乐谱信息向量包括256个目标音频序列。另外，乐谱解码器设有循环层，并用于为每个目标音频序列输出一个参数值。因此，将乐谱信息向量输入乐谱解码器中，把乐谱信息向量转换成重构演奏乐谱。
49.s220，根据目标演奏乐谱和大师演奏音频信息，生成重构音频信息。
50.应理解，音频编码器设有多个网络层，因此，大师演奏音频信息经过音频编码器推理后得到的输出，一般设置为长度为256维度的向量，即音频信息向量包括256个目标音频序列。另外，乐谱解码器设有循环层，并用于为每个目标音频序列输出一个参数值。因此，将乐谱信息向量和音频信息向量合并得到全局信息向量，把全局信息向量输入全局解码器中，把全局信息向量转换成重构音频信息。
51.应理解，通过合并乐谱信息向量和演奏技巧信息向量，能使全局信息向量既能表征演奏音频信息的准确性，也能表征演奏音频信息的技巧。
52.参照图7，图7是本发明实施例提供的一种基于特征分解的演奏评测方法的原理图。
53.应理解，通过对全局信息向量进行解码，使全局信息向量转换成重构音频信息。可以看出，在训练过程中乐谱信息向量对重构乐谱信息和重构音频信息起到两方面的作用，演奏技巧信息向量只参与重构音频信息的合成，通过使重构音频信息的误差值小于预设的音频误差阈值，使其仅包含了演奏相关的信息，因而可以用来表征演奏音频信息中的演奏技巧。
54.s230，更新演奏评测模型的参数，使得重构演奏乐谱与目标演奏乐谱之间、重构音频信息与大师演奏音频信息之间的误差小于预设的误差阈值。
55.应理解，重构演奏乐谱的误差通过每一个生成音频序列的交叉熵组成，其计算公
式如下所示：
[0056][0057]
其中l
ns
是重构乐谱信息的误差值，n代表生成乐谱序列长度，t表示序列中的步数，为乐谱解码器预测的在所有音符之间的分布，p
t
为真实的音符分布。
[0058]
应理解，通过更新乐谱编码器和乐谱解码器的参数，使得重构演奏乐谱与目标演奏乐谱的误差值l
ns
小于预设的乐谱误差阈值，能有效减少演奏评测模型的失真度，保证重构演奏乐谱的参考价值。
[0059]
应理解，重构音频信息的误差是由每一时刻生成的重构音频信息与大师演奏音频信息的误差组成，其计算公式如下所示：
[0060][0061]
其中l
ms
为重构音频信息的误差值，n代表生成乐谱序列长度，t表示序列中的步数，为t时刻重构的音频向量数据，v
t
为t时刻的大师演奏音频信息的音频向量数据。
[0062]
应理解，通过更新音频编码器和全局解码器的参数，使得重构音频信息与大师演奏音频信息之间的误差值l
ms
小于预设的音频误差阈值，保证了演奏评测模型的保真度，提高重构音频信息的参考价值。
[0063]
s300，获取用户的演奏音频信息，输入至预设的演奏评测模型，以得到重构乐谱信息；
[0064]
请参见图4，步骤s300可以通过以下步骤实现：
[0065]
s310，将所述演奏音频信息输入至所述演奏评测模型；
[0066]
s320，从演奏音频信息中提取乐谱信息向量；
[0067]
s330，根据乐谱信息向量，生成重构乐谱信息。
[0068]
应理解，如上述实施例中步骤s210所示，演奏音频信息通过乐谱编码器，提取出乐谱信息向量；把乐谱信息向量输入乐谱解码器后，得到重构乐谱信息。其重构过程与目标演奏乐谱经乐谱编码器和乐谱解码器生成重构演奏乐谱一致，在此不再赘述。
[0069]
s400，根据重构乐谱信息与目标演奏乐谱匹配度确定准确度水平。
[0070]
请参见图5，步骤s400可以通过以下步骤实现：
[0071]
s410，计算重构乐谱信息与目标演奏乐谱中对应的音符序列的交叉熵。
[0072]
应理解，计算重构乐谱信息与目标演奏乐谱中对应的音符序列的交叉熵如上实施例中步骤s230的计算过程一致，在此不再赘述。
[0073]
s420，根据交叉熵与预设的乐谱匹配阈值，获取重构乐谱信息中音符的匹配数量。
[0074]
应理解，通过比较交叉熵与预设的乐谱匹配阈值，能获得重构乐谱信息与目标演奏乐谱在乐谱匹配阈值范围内的音符的数量，就能反应出演奏乐谱信息的准确性。
[0075]
s430，根据匹配数量，确定准确度水平。
[0076]
应理解，根据匹配数量与音符的总数比值，得到准确度水平如下公式所示：
[0077][0078]
其中，m
matched
为匹配数量，m
total
为音符的总数。
[0079]
s500，根据演奏音频信息与大师演奏音频信息之间的信息向量距离值确定技巧度水平。
[0080]
请参见图6，步骤s500可以通过以下步骤实现：
[0081]
s510，从演奏音频信息中提取演奏技巧信息向量。
[0082]
s520，从大师演奏音频信息中提取大师技巧信息向量。
[0083]
应理解，提取演奏技巧信息向量和大师技巧信息向量的过程与上述实施例中步骤s310中，从演奏音频信息中提取乐谱信息向量的方式一致，在此不再赘述。
[0084]
应理解，通过训练后的音频编码器，从大师演奏音频信息中提取大师技巧信息向量，能进一步保证大师技巧信息向量的保真度，避免大师技巧信息向量发生失真和产生误差，影响技巧度水平的准确率。
[0085]
应理解，可以看出，乐谱编码器对重构乐谱信息、重构音频信息都有影响，因此其参数的更新来自于重构乐谱信息和重构音频信息的监督信号，其参数的更新也权衡了重构乐谱信息和重构音频信息的误差。
[0086]
s530，计算演奏技巧信息向量与大师技巧信息向量的技巧距离。
[0087]
应理解，根据演奏技巧信息向量与大师技巧信息向量，技巧距离的计算公式如下所示：
[0088][0089]
其中，v1为演奏技巧信息向量，v2为大师技巧信息向量，技巧距离distance(v1,v2)的取值范围为[
‑
1,+1]。
[0090]
s540，根据技巧距离，确定技巧度水平。
[0091]
应理解，获取技巧距离distance(v1,v2)后，由于技巧距离越大，其技巧度水平越低，因此，得到技巧度水平的计算公式如下所示：
[0092]
s
perform
＝(1
‑
|distance(v1,v2)|)*100
[0093]
其中，s
perform
为技巧度水平。
[0094]
s600，根据准确度水平和技巧度水平得到综合测评结果。
[0095]
应理解，计算准确度水平和所述技巧度水平的加权平均值，得到演奏演奏音频信息的综合评测结果。这样充分体现出准确度水平和技巧度水平对综合测评结果的影响，使综合测评结果的计算过程更加合理，用户获取到的综合测评结果具有更大的参考价值。
[0096]
示例性的，综合评测结果取准确度水平和所述技巧度水平的平均值。因此，由步骤s400和步骤s500计算得出准确度水平和技巧度水平，综合测评结果s
total
的计算公式如下所示：
[0097]
s
total
＝(s
accuracy
+s
perform
)/2
[0098]
参见图8，图8是本发明另一实施例提供的一种基于特征分解的演奏评测装置的结构示意图。本发明实施例提供的一种基于特征分解的演奏评测装置包括：
[0099]
获取模块710，用于获取用户的演奏音频信息，输入至预设的演奏评测模型，以得到重构乐谱信息；
[0100]
匹配模块720，用于根据重构乐谱信息与目标演奏乐谱匹配度确定准确度水平；
[0101]
计算模块730，用于根据演奏音频信息与大师演奏音频信息之间的信息向量距离
值确定技巧度水平；
[0102]
测评模块740，用于根据准确度水平和技巧度水平得到综合测评结果。
[0103]
本发明实施例提供的一种基于特征分解的演奏评测装置，还包括：
[0104]
收集模块750，用于收集目标演奏乐谱和大师演奏音频信息，形成目标演奏乐谱与大师演奏音频信息一一对应的训练集；
[0105]
训练模块760，用于将训练集输入至演奏评测模型中进行训练，并更新演奏评测模型。
[0106]
参照图9，本发明实施例提供的一种基于特征分解的演奏评测装置，训练模块760还包括：
[0107]
乐谱重构模块761，用于根据目标演奏乐谱，生成重构演奏乐谱；
[0108]
音频重构模块762，用于根据目标演奏乐谱和大师演奏音频信息，生成重构音频信息；
[0109]
更新模块763，用于更新演奏评测模型的参数，使得重构演奏乐谱与目标演奏乐谱之间、重构音频信息与大师演奏音频信息之间的误差小于预设的误差阈值。
[0110]
本发明实施例提供的一种基于特征分解的演奏评测装置，乐谱重构模块761还包括：
[0111]
乐谱编码器，用于从演奏音频信息中提取乐谱信息向量；
[0112]
乐谱解码器，用于根据乐谱信息向量，生成重构乐谱信息。
[0113]
本发明实施例提供的一种基于特征分解的演奏评测装置，匹配模块720还用于：
[0114]
计算重构乐谱信息与目标演奏乐谱中对应的音符序列的交叉熵；
[0115]
根据交叉熵与预设的乐谱匹配阈值，获取重构乐谱信息中音符的匹配数量；
[0116]
根据匹配数量，确定准确度水平。
[0117]
本发明实施例提供的一种基于特征分解的演奏评测装置，音频重构模块762还包括：
[0118]
音频编码器，用于从演奏音频信息中提取演奏技巧信息向量；用于从大师演奏音频信息中提取大师技巧信息向量；
[0119]
计算模块730还用于：计算演奏技巧信息向量与大师技巧信息向量的技巧距离；
[0120]
根据技巧距离，确定技巧度水平。
[0121]
需要说明的是，上述装置的模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0122]
图10示出了本发明实施例提供的电子设备800。该电子设备800包括但不限于：
[0123]
存储器820，用于存储程序；
[0124]
控制处理器810，用于执行存储器820存储的程序，当控制处理器810执行存储器820存储的程序时，控制处理器810用于执行上述的基于特征分解的演奏评测方法。
[0125]
控制处理器810和存储器820可以通过总线或者其他方式连接。
[0126]
存储器820作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如本发明任意实施例描述的基于特征分解的演奏评测方法。控制处理器810通过运行存储在存储器820中的非暂态软件程序以及指令，从而实现上
述的基于特征分解的演奏评测方法。
[0127]
存储器820可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述的基于特征分解的演奏评测方法。此外，存储器820可以包括高速随机存取存储器，还可以包括非暂态存储器，比如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器820可选包括相对于控制处理器810远程设置的存储器，这些远程存储器可以通过网络连接至该控制处理器810。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0128]
实现上述的基于特征分解的演奏评测方法所需的非暂态软件程序以及指令存储在存储器820中，当被一个或者多个控制处理器810执行时，执行本发明任意实施例提供的基于特征分解的演奏评测方法。
[0129]
本发明实施例还提供了一种存储介质，存储有计算机可执行指令，计算机可执行指令用于执行上述的基于特征分解的演奏评测方法。
[0130]
在一实施例中，该存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制控制处理器810执行，比如，被上述电子设备800中的一个控制处理器810执行，可使得上述一个或多个控制处理器810执行本发明任意实施例提供的基于特征分解的演奏评测方法。
[0131]
以上所描述的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0132]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd
‑
rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0133]
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的。共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。