1.本发明涉及智能控制技术领域，尤其涉及一种模型训练方法、装置和用于模型训练的装置。


背景技术：

2.随着语音识别算法技术的成熟，在干净场景下的语音识别准确率得到了稳定的性能提升，但是在真实的带噪场景下，语音数据往往没有达到理想的干净程度，这就会导致语音识别模型的识别准确率下降，并且随着背景噪声信噪比的减小，语音识别模型的语音识别性能会显著下降。
3.目前的语音识别技术，主要是从数据层面或算法层面进行改进，以提高语音识别性能。具体的，数据层面主要是根据不同的需求场景，在训练数据中加入匹配场景的训练语料，然后基于调整后的训练数据训练语音识别模型。但是在真实场景中，训练语料与场景的匹配度高低不定，难以获取与场景高度匹配的训练语料，且加入训练语料后，训练数据的数据量增大，导致语音识别模型的训练时间也随之增长，降低了语音识别模型的训练效率。算法层面主要是通过神经网络的学习对带噪场景下的语音数据进行降噪处理，得到降噪后的干净语音，然后基于降噪后的干净语音进行语音识别。但是，基于降噪后的干净语音进行语音识别，提高语音识别模型在真实场景下的语音识别性能的同时，会降低语音识别模型在干净场景下的语音识别性能，导致语音识别模型的应用场景单一。


技术实现要素：

4.本发明实施例提供一种模型训练方法、装置和用于模型训练的装置，可以提升复杂场景下语音识别模型的训练效率，并提高语音识别模型的识别性能。
5.为了解决上述问题，本发明实施例公开了一种模型训练方法，所述方法包括：
6.获取语音训练样本，所述语音训练样本包括带噪语音样本以及所述带噪语音样本对应的干净语音样本；
7.基于所述语音训练样本，对串联的语音增强模型和语音识别模型进行迭代联合训练，在每轮训练中根据所述语音增强模型和所述语音识别模型的联合损失值调整所述语音增强模型，和/或，所述语音识别模型的模型参数，当所述联合损失值满足收敛条件得到训练完成的语音增强模型和语音识别模型。
8.可选地，所述基于所述语音训练样本，对串联的语音增强模型和语音识别模型进行迭代联合训练，包括：
9.在每轮训练中，在所述语音训练样本中选取带噪语音样本输入所述语音增强模型进行语音增强处理，得到所述带噪语音样本对应的语音增强结果；
10.对所述语音增强结果进行特征提取，得到所述语音增强结果对应的目标特征数据；
11.将所述目标特征数据输入所述语音识别模型进行语音识别处理，得到所述带噪语
音样本的语音识别结果；
12.根据所述带噪语音样本的语音增强结果和所述带噪语音样本的语音识别结果，确定所述语音增强模型和所述语音识别模型的联合损失值，并根据所述联合损失值调整所述语音增强模型，和/或，所述语音识别模型的模型参数。
13.可选地，所述语音训练样本还包括所述带噪语音样本对应的文本信息，所述根据所述带噪语音样本的语音增强结果和所述带噪语音样本的语音识别结果，确定所述语音增强模型和所述语音识别模型的联合损失值，包括：
14.根据所述带噪语音样本的语音增强结果和所述干净语音样本确定所述语音增强模型的第一损失值；
15.根据所述带噪语音样本的语音识别结果和所述文本信息确定所述语音识别模型的第二损失值；
16.对所述第一损失值和所述第二损失值进行加权求和，得到所述语音增强模型和所述语音识别模型的联合损失值。
17.可选地，所述对所述语音增强结果进行特征提取，包括：
18.对所述语音增强结果逐帧进行特征提取，得到每一帧的特征信息；
19.对所述语音增强结果中的当前帧，将所述当前帧的前一帧与后一帧的特征信息增加到所述当前帧的特征信息中，得到目标特征数据。
20.可选地，所述方法还包括：
21.获取待处理的目标语音数据；
22.将所述目标语音数据输入训练完成的语音增强模型进行语音增强处理，得到所述目标语音数据对应的语音增强结果。
23.可选地，所述方法还包括：
24.将所述目标语音数据对应的语音增强结果输入训练完成的语音识别模型进行语音识别处理，得到所述目标语音数据的语音识别结果。
25.可选地，所述方法还包括：
26.基于预置语音识别模型，利用不同场景的语音训练样本，对串联的语音增强模型和所述预置语音识别模型进行迭代联合训练，得到训练完成的不同场景下的语音增强模型和语音识别模型。
27.另一方面，本发明实施例公开了一种模型训练装置，所述装置包括：
28.训练样本获取模块，用于获取语音训练样本，所述语音训练样本包括带噪语音样本以及所述带噪语音样本对应的干净语音样本；
29.模型训练模块，用于基于所述语音训练样本，对串联的语音增强模型和语音识别模型进行迭代联合训练，在每轮训练中根据所述语音增强模型和所述语音识别模型的联合损失值调整所述语音增强模型，和/或，所述语音识别模型的模型参数，当所述联合损失值满足收敛条件得到训练完成的语音增强模型和语音识别模型。
30.可选地，所述模型训练模块，包括：
31.语音增强子模块，用于在每轮训练中，在所述语音训练样本中选取带噪语音样本输入所述语音增强模型进行语音增强处理，得到所述带噪语音样本对应的语音增强结果；
32.特征提取子模块，用于对所述语音增强结果进行特征提取，得到所述语音增强结
果对应的目标特征数据；
33.语音识别子模块，用于将所述目标特征数据输入所述语音识别模型进行语音识别处理，得到所述带噪语音样本的语音识别结果；
34.损失值确定子模块，用于根据所述带噪语音样本的语音增强结果和所述带噪语音样本的语音识别结果，确定所述语音增强模型和所述语音识别模型的联合损失值，并根据所述联合损失值调整所述语音增强模型，和/或，所述语音识别模型的模型参数。
35.可选地，所述语音训练样本还包括所述带噪语音样本对应的文本信息，所述损失值确定子模块，包括：
36.第一损失值确定单元，用于根据所述带噪语音样本的语音增强结果和所述干净语音样本确定所述语音增强模型的第一损失值；
37.第二损失值确定单元，用于根据所述带噪语音样本的语音识别结果和所述文本信息确定所述语音识别模型的第二损失值；
38.联合损失值确定单元，用于对所述第一损失值和所述第二损失值进行加权求和，得到所述语音增强模型和所述语音识别模型的联合损失值。
39.可选地，所述特征提取子模块，包括：
40.特征提取单元，用于对所述语音增强结果逐帧进行特征提取，得到每一帧的特征信息；
41.拼帧处理单元，用于对所述语音增强结果中的当前帧，将所述当前帧的前一帧与后一帧的特征信息增加到所述当前帧的特征信息中，得到目标特征数据。
42.可选地，所述装置还包括：
43.目标语音数据获取模块，用于获取待处理的目标语音数据；
44.语音增强模块，用于将所述目标语音数据输入训练完成的语音增强模型进行语音增强处理，得到所述目标语音数据对应的语音增强结果。
45.可选地，所述装置还包括：
46.语音识别模块，用于将所述目标语音数据对应的语音增强结果输入训练完成的语音识别模型进行语音识别处理，得到所述目标语音数据的语音识别结果。
47.可选地，所述装置还包括：
48.增强模块训练模块，用于基于预置语音识别模型，利用不同场景的语音训练样本，对串联的语音增强模型和所述预置语音识别模型进行迭代联合训练，得到训练完成的不同场景下的语音增强模型和语音识别模型。
49.再一方面，本发明实施例公开了一种用于模型训练的装置，所述装置包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如前述一个或多个所述的模型训练方法的指令。
50.又一方面，本发明实施例公开了一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如前述一个或多个所述的模型训练方法。
51.本发明实施例包括以下优点：
52.本发明实施例基于获取的语音训练样本对串联的语音增强模型和语音识别模型进行迭代联合训练，在每轮训练中根据所述语音增强模型和所述语音识别模型的联合损失
值调整所述语音增强模型，和/或，所述语音识别模型的模型参数，当所述联合损失值满足收敛条件得到训练完成的语音增强模型和语音识别模型。本发明将前端增强模型和语音识别模型串联起来进行联合训练，在原有语音识别的识别误差函数的基础上引入了语音增强模型的增强误差函数来训练语音识别模型，无需加入大量的训练语料，降低了语音识别模型的训练时长，提高了语音识别模型的训练效率。
53.并且，本发明实施例的语音训练样本包括带噪语音样本以及所述带噪语音样本对应的干净语音样本，本发明中前端增强模型处理后的语音作为语音识别模型的训练语料，不但不会导致语音识别模型在干净场景下识别性能的下降，还会提升语音识别模型在带噪等复杂场景下的识别性能，且噪声信噪比越高，语音识别模型的识别性能提升越大。
54.再者，对于语音增强模型而言，本发明在原有增强误差函数的基础上引入识别模型的识别误差函数来训练前端增强模型，减少了语音增强模型的输出语音的信息丢失，从而使训练后的增强模型在ai降噪的同时更向语音识别靠拢，达到增强语音识别性能的目的。
附图说明
55.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
56.图1是本发明的一种模型训练方法实施例的步骤流程图；
57.图2是本发明的一种模型训练方法的应用场景架构图
58.图3是本发明的一种模型训练流程示意图；
59.图4是本发明的一种模型训练装置实施例的结构框图；
60.图5是本发明的一种用于模型训练的装置800的框图；
61.图6是本发明的一些实施例中服务器的结构示意图。
具体实施方式
62.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
63.方法实施例
64.参照图1，示出了本发明的一种模型训练方法实施例的步骤流程图，所述方法具体可以包括如下步骤：
65.步骤101、获取语音训练样本，所述语音训练样本包括带噪语音样本以及所述带噪语音样本对应的干净语音样本。
66.步骤102、基于所述语音训练样本，对串联的语音增强模型和语音识别模型进行迭代联合训练，在每轮训练中根据所述语音增强模型和所述语音识别模型的联合损失值调整所述语音增强模型，和/或，所述语音识别模型的模型参数，当所述联合损失值满足收敛条
件得到训练完成的语音增强模型和语音识别模型。
67.参照图2，示出了本发明实施例提供的模型训练方法的应用场景架构图。如图2所示，本发明实施例的应用场景可以包括终端设备201和服务器202。其中，终端设备201与服务器202之间通过无线或有线网络连接。终端设备201包括但不限于智能音箱、智能手表、智能家居等智能设备，智能机器人、ai人工客服、银行信用卡催单电话系统，以及具有语音交互功能的智能电话、移动电脑、平板电脑等电子设备。服务器202可提供相关的语音服务，如语音识别、语音合成等服务，服务器202可以是一台服务器、若干台服务器组成的服务器集群或云计算中心。终端201和服务器202均可单独用于执行本发明实施例中提供的模型训练方法，终端201和服务器202也可协用于执行本发明实施例中提供的模型训练方法。
68.在一种可能的应用场景下，用户与终端设备201进行交互，终端设备201将用户输入的语音数据发送给服务器202。服务器202对终端设备201发送的语音数据进行语音识别处理和语义解析处理，根据语义解析结果确定出相应的语音识别文本，将语音识别文本发送给终端设备201，终端设备201进行显示或者执行语音识别文本对应的指令。
69.在另一种可能的应用场景下，终端设备201向服务器202发送训练指令，该训练指令中包含训练数据。服务器202利用训练数据进行训练，服务器202中至少包括语音增强模型和语音识别模型，通过对语音增强模型和语音识别模型进行联合训练，得到联合损失值，并通过联合损失值调整语音增强模型和语音识别模型的模型参数，直至满足收敛条件。
70.需要说明的是，本发明实施例中的架构图是为例更加清楚地说明本发明实施例中的技术方案，并不构成对本发明实施例提供的技术方案的限制，对于其他的应用场景架构和业务应用，本发明实施例提供的技术方法对于类似的问题，同样适用。
71.本发明实施例中涉及用于语音处理的联合模型，包括不同环节语音处理的两个模型，具体包括前端的语音增强模型和后端的语音识别模型。两个模型分别可以是一种机器学习模型。机器学习模型是通过样本学习后具备某种能力的模型，具体可以是神经网络模型，比如cnn(convolutional neural networks，卷积神经网络)模型、rnn(recurrent neural networks，循环神经网络)模型等。当然，机器学习模型也可以采用其他类型的模型。
72.可以理解，在模型训练之前，可以根据精度要求等条件灵活选择每个环节所采用的模型，如此，每个环节均可采用最优配置，而不需要妥协任意一个环节的性能。换而言之，本发明实施例中涉及的语音增强模型和语音识别模型，可以分别自由选择擅长相应领域的专用模型。
73.其中，语音增强模型用于对输入的带噪语音数据进行增强处理，得到相对干净的语音数据。语音识别模型用于对输入的语音数据进行识别处理，识别出语音数据对应的文本信息。
74.本发明实施例提供的模型训练方法将前端增强模型和语音识别模型串联起来进行联合训练，在原有语音识别的识别误差函数的基础上引入了语音增强模型的增强误差函数来训练语音识别模型，无需加入大量的训练语料，降低了语音识别模型的训练时长，提高了语音识别模型的训练效率。
75.并且，本发明实施例的语音训练样本包括带噪语音样本以及所述带噪语音样本对应的干净语音样本，本发明中前端增强模型处理后的语音作为语音识别模型的训练语料，
不但不会导致语音识别模型在干净场景下识别性能的下降，还会提升语音识别模型在带噪等复杂场景下的识别性能的提升，且噪声信噪比越高，语音识别模型的识别性能提升越大。
76.在本发明实施例中，针对每轮训练，语音增强模型和语音识别模型都会产生损失值，本发明实施例确定每轮训练过程中语音增强模型和语音识别模型的联合损失值，并根据联合损失值调整语音增强模型，和/或，语音识别模型的模型参数。由于联合损失值是通过语音增强模型和语音识别模型的训练结果确定的，且语音增强模型与语音识别模型串联，两者的训练结果相关，所以通过联合损失值来调整语音增强模型，和/或，语音识别模型的模型参数，能够将两个模型的性能进行均衡调整，使得调整后的语音增强模型和语音识别模型的性能最佳。对于语音识别模型，本发明实施例能够提升语音识别模型在带噪等复杂场景下的识别性能；对于语音增强模型，本发明实施例能够减少语音增强模型的输出语音的信息丢失，从而使训练后的增强模型在ai降噪的同时更向语音识别靠拢，达到增强语音识别性能的目的。
77.经过多轮训练，当联合损失值满足了收敛条件，则认为语音增强模型和语音识别模型已经训练完毕。收敛条件可以设定为预设训练次数、训练结果的误差极限。例如，当训练次数达到预设训练次数后，则认为满足收敛条件；或者，多轮训练中的训练结果之间的误差小于预设阈值，则认为满足收敛条件。训练完成的语音增强模型和语音识别模型可以单独使用，也可以串联使用。
78.在本发明的一种可选实施例中，步骤102所述基于所述语音训练样本，对串联的语音增强模型和语音识别模型进行迭代联合训练，包括：
79.步骤s11、在每轮训练中，在所述语音训练样本中选取带噪语音样本输入所述语音增强模型进行语音增强处理，得到所述带噪语音样本对应的语音增强结果；
80.步骤s12、对所述语音增强结果进行特征提取，得到所述语音增强结果对应的目标特征数据；
81.步骤s13、将所述目标特征数据输入所述语音识别模型进行语音识别处理，得到所述带噪语音样本的语音识别结果；
82.步骤s14、根据所述带噪语音样本的语音增强结果和所述带噪语音样本的语音识别结果，确定所述语音增强模型和所述语音识别模型的联合损失值，并根据所述联合损失值调整所述语音增强模型，和/或，所述语音识别模型的模型参数。
83.参照图3，示出了本发明实施例提供的一种模型训练流程示意图。在每轮训练中，首先将语音训练样本中的带噪语音样本输入到语音增强模型中，利用语音增强模型对带噪语音进行增强处理，得到带噪语音样本对应的语音增强结果。其中，在将带噪语音样本输入语音增强模型之前，可以先对带噪语音样本进行分帧，将带噪语音样本切分成多个小段，每个小段为一帧，通过语音增强模型对带噪语音样本逐帧进行语音增强处理。
84.在得到带噪语音样本对应的语音增强结果后，进一步对语音增强结果进行特征提取，将得到的目标特征数据作为语音识别模型的输入，利用语音识别模型对目标特征数据进行语音识别处理，得到带噪语音样本的语音识别结果。其中，提取的目标特征数据可以是语音增强结果中的fbank特征。
85.最后，根据带噪语音样本的语音增强结果和语音识别结果，确定语音增强模型和语音识别模型的联合损失值，并根据联合损失值调整语音增强模型，和/或，语音识别模型
的模型参数。其中，语音增强模型和语音识别模型的模型参数包括神经网络里的一些权重参数。具体实施时，可以先对神经网络里的各个权重参数进行初始化，然后根据联合损失值，计算神经网络中节点的梯度，然后根据梯度调整神经网络中对应节点的权重参数。
86.在参数调整后，进入下一轮训练，直到联合损失值满足收敛条件时，确定语音增强模型和语音识别模型训练完成。
87.在本发明的一种可选实施例中，所述语音训练样本还包括所述带噪语音样本对应的文本信息，步骤s14所述根据所述带噪语音样本的语音增强结果和所述带噪语音样本的语音识别结果，确定所述语音增强模型和所述语音识别模型的联合损失值，包括：
88.子步骤s141、根据所述带噪语音样本的语音增强结果和所述干净语音样本确定所述语音增强模型的第一损失值；
89.子步骤s142、根据所述带噪语音样本的语音识别结果和所述文本信息确定所述语音识别模型的第二损失值；
90.子步骤s143、对所述第一损失值和所述第二损失值进行加权求和，得到所述语音增强模型和所述语音识别模型的联合损失值。
91.在本发明实施例中，可以根据每一轮训练中，语音增强模型输出的语音增强结果和干净语音样本，确定语音增强模型的第一损失值，并根据语音识别模型输出的语音识别结果和带噪样本对应的文本信息，确定语音识别模型的第二损失值。然后，通过对第一损失值和第二损失值进行加权求和，得到语音增强模型和语音识别模型的联合损失值。
92.其中，第一损失值可以根据语音增强结果的频谱特征与干净语音样本的频谱特征确定。例如，可以通过计算语音增强结果与干净语音样本对应点误差的平方和均值，也即mse(mean square error，均方误差)，得到第一损失值。第二损失值可以根据语音识别结果与带噪语音样本对应的文本信息的交叉熵确定。
93.第一损失值和第二损失值的权重可以根据语音增强模型和语音识别模型的权重确定，语音增强模型和语音识别模型的权重可以根据训练目标、训练环境、应用场景等因素确定。当对哪个模型的性能要求更高，则该模型对应的损失值的权重越小。在本发明实施例中，主要目标是提高语音识别模型的识别性能，因此，可以为语音识别模型的第二损失值的设置较小的权重，例如，可以设置第一损失值的权重值为0.8，第二损失值的权重值为0.2。
94.在本发明的一种可选实施例中，步骤s12所述对所述语音增强结果进行特征提取，包括：
95.子步骤s121、对所述语音增强结果逐帧进行特征提取，得到每一帧的特征信息；
96.子步骤s122、对所述语音增强结果中的当前帧，将所述当前帧的前一帧与后一帧的特征信息增加到所述当前帧的特征信息中，得到目标特征数据。
97.在本发明实施例中，在对语音增强结果进行特征提取时，同样是对每一帧数据逐帧进行特征提取，得到每一帧的特征信息。具体的，在对语音增强结果进行特征提取时，可以先对语音增强结果进行分帧处理，还可以进一步对每一帧进行预加重、加窗等一系列预处理，然后再对预处理后的每一帧进行特征提取。提取的特征可以为fbank特征，例如，对每一帧进行快速傅里叶变换，将每一帧数据从时域信号转为频域信号；然后，通过梅尔滤波器组对傅里叶变换后的频域信号进行滤波处理，并对滤波结果取对数得到每一帧的fank特征。
98.为了实现更好的语音平滑效果，还可以进一步对提取的特征信息进行拼帧处理。具体的，将当前帧的前一帧与后一帧的特征信息增加到当前帧的特征信息中，得到语音增强结果对应的目标特征数据。如此，能够获得反映上下文信息的目标特征数据，有助于提高提取的目标特征数据的准确度。
99.在本发明的一种可选实施例中，所述方法还包括：
100.步骤s21、获取待处理的目标语音数据；
101.步骤s22、将所述目标语音数据输入训练完成的语音增强模型进行语音增强处理，得到所述目标语音数据对应的语音增强结果。
102.本发明实施例中训练完成的语音增强模型和语音识别模型可以单独使用。例如，通过训练完成的语音增强模型对目标语音数据进行语音增强处理，得到目标语音数据对应的语音增强结果；或者，通过训练完成的语音增强模型对应目标语音数据进行语音识别处理，得到目标语音数据对应的语音识别结果。
103.在本发明的一种可选实施例中，所述方法还包括：
104.将所述目标语音数据对应的语音增强结果输入训练完成的语音识别模型进行语音识别处理，得到所述目标语音数据的语音识别结果。
105.本发明实施例中训练完成的语音增强模型和语音识别模型也可以串联使用。具体的，可以先将目标语音数据输入训练完成的语音增强模型，利用语音增强模型对目标语音数据进行语音增强处理，得到目标语音数据对应的语音增强结果；然后，将语音增强结果输入训练完成的语音识别模型，利用语音识别模型对语音增强结果进行语音识别处理，得到目标语音数据的语音识别结果。
106.在本发明的一种可选实施例中，所述方法还包括：
107.基于预置语音识别模型，利用不同场景的语音训练样本，对串联的语音增强模型和所述预置语音识别模型进行迭代联合训练，得到训练完成的不同场景下的语音增强模型和语音识别模型。
108.训练完成的语音增强模型和语音识别模型既可以对干净场景下的目标语音数据进行语音处理，也可以对复杂的带噪场景下的目标语音数据进行语音处理。并且，在具体应用中，可以根据应用场景对目标语音数据进行相应的预处理，如调整目标语音数据的信噪比，也可以根据不同的应用场景选择不同的语音增强模型，还可以根据应用场景对语音增强模型的模型结构进行调整，然后利用不同场景的语音训练样本，对串联的语音增强模型和预置语音识别模型进行迭代联合训练，得到训练完成的不同场景下的语音增强模型和语音识别模型和语音识别模型。
109.相比于传统的语音识别模型的训练方法中，需要根据与应用场景相匹配的训练数据对语音识别模型进行单独训练，训练周期长，且无法同时保证训练完成的语音识别模型在不同场景下的识别性能，本发明实施例可以根据应用场景，只对前端的语音增强模型进行相应的调整，无需对预置语音识别模型的模型结构进行改变，也不需要在训练样本中额外引入大量的与场景高度匹配的训练语料，提高了语音识别模型的训练效率，提高了语音识别模型的识别性能。
110.此外，本发明实施例中训练完成的语音识别模型，还可以对带噪场景下，包含多个用户语音的目标语音数据进行识别。具体的，可以先确定目标用户的语音特征信息，然后根
据目标用户的语音特征信息，从目标语音数据中提取出目标用户的语音数据，将目标用户的语音数据输入训练完成的语音识别模型，就可以得到目标用户的语音数据对应的文本信息，实现在带噪场景下有针对性的识别目标用户的语音数据。
111.综上，本发明实施例在语音识别模型之前串联了一个语音增强模型，并通过对语音增强模型和语音识别模型进行迭代联合训练，在原有语音识别的识别误差函数的基础上引入了语音增强模型的增强误差函数来训练语音识别模型，无需加入大量的训练语料，降低了语音识别模型的训练时长，提高了语音识别模型的训练效率。并且，本发明实施例的语音训练样本包括带噪语音样本以及所述带噪语音样本对应的干净语音样本，本发明中前端增强模型处理后的语音作为语音识别模型的训练语料，不但不会导致语音识别模型在干净场景下识别性能的下降，还会提升语音识别模型在带噪等复杂场景下的识别性能，且噪声信噪比越高，语音识别模型的识别性能提升越大。
112.再者，对于语音增强模型而言，本发明在原有增强误差函数的基础上引入识别模型的识别误差函数来训练前端增强模型，减少了语音增强模型的输出语音的信息丢失，从而使训练后的增强模型在ai降噪的同时更向语音识别靠拢，达到增强语音识别性能的目的。
113.需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
114.装置实施例
115.参照图4，示出了本发明的一种模型训练装置实施例的结构框图，所述装置可以包括：
116.训练样本获取模块201，用于获取语音训练样本，所述语音训练样本包括带噪语音样本以及所述带噪语音样本对应的干净语音样本；
117.模型训练模块202，用于基于所述语音训练样本，对串联的语音增强模型和语音识别模型进行迭代联合训练，在每轮训练中根据所述语音增强模型和所述语音识别模型的联合损失值调整所述语音增强模型，和/或，所述语音识别模型的模型参数，当所述联合损失值满足收敛条件得到训练完成的语音增强模型和语音识别模型。
118.可选地，所述模型训练模块，包括：
119.语音增强子模块，用于在每轮训练中，在所述语音训练样本中选取带噪语音样本输入所述语音增强模型进行语音增强处理，得到所述带噪语音样本对应的语音增强结果；
120.特征提取子模块，用于对所述语音增强结果进行特征提取，得到所述语音增强结果对应的目标特征数据；
121.语音识别子模块，用于将所述目标特征数据输入所述语音识别模型进行语音识别处理，得到所述带噪语音样本的语音识别结果；
122.损失值确定子模块，用于根据所述带噪语音样本的语音增强结果和所述带噪语音样本的语音识别结果，确定所述语音增强模型和所述语音识别模型的联合损失值，并根据所述联合损失值调整所述语音增强模型，和/或，所述语音识别模型的模型参数。
123.可选地，所述语音训练样本还包括所述带噪语音样本对应的文本信息，所述损失值确定子模块，包括：
124.第一损失值确定单元，用于根据所述带噪语音样本的语音增强结果和所述干净语音样本确定所述语音增强模型的第一损失值；
125.第二损失值确定单元，用于根据所述带噪语音样本的语音识别结果和所述文本信息确定所述语音识别模型的第二损失值；
126.联合损失值确定单元，用于对所述第一损失值和所述第二损失值进行加权求和，得到所述语音增强模型和所述语音识别模型的联合损失值。
127.可选地，所述特征提取子模块，包括：
128.特征提取单元，用于对所述语音增强结果逐帧进行特征提取，得到每一帧的特征信息；
129.拼帧处理单元，用于对所述语音增强结果中的当前帧，将所述当前帧的前一帧与后一帧的特征信息增加到所述当前帧的特征信息中，得到目标特征数据。
130.可选地，所述装置还包括：
131.目标语音数据获取模块，用于获取待处理的目标语音数据；
132.语音增强模块，用于将所述目标语音数据输入训练完成的语音增强模型进行语音增强处理，得到所述目标语音数据对应的语音增强结果。
133.可选地，所述装置还包括：
134.语音识别模块，用于将所述目标语音数据对应的语音增强结果输入训练完成的语音识别模型进行语音识别处理，得到所述目标语音数据的语音识别结果。
135.可选地，所述装置还包括：
136.增强模块训练模块，用于基于预置语音识别模型，利用不同场景的语音训练样本，对串联的语音增强模型和所述预置语音识别模型进行迭代联合训练，得到训练完成的不同场景下的语音增强模型和语音识别模型。
137.综上，本发明实施例在语音识别模型之前串联了一个语音增强模型，并通过对语音增强模型和语音识别模型进行迭代联合训练，在原有语音识别的识别误差函数的基础上引入了语音增强模型的增强误差函数来训练语音识别模型，无需加入大量的训练语料，降低了语音识别模型的训练时长，提高了语音识别模型的训练效率。并且，本发明实施例的语音训练样本包括带噪语音样本以及所述带噪语音样本对应的干净语音样本，本发明中前端增强模型处理后的语音作为语音识别模型的训练语料，不但不会导致语音识别模型在干净场景下识别性能的下降，还会提升语音识别模型在带噪等复杂场景下的识别性能，且噪声信噪比越高，语音识别模型的识别性能提升越大。
138.再者，对于语音增强模型而言，本发明在原有增强误差函数的基础上引入识别模型的识别误差函数来训练前端增强模型，减少了语音增强模型的输出语音的信息丢失，从而使训练后的增强模型在ai降噪的同时更向语音识别靠拢，达到增强语音识别性能的目的。
139.对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
140.本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与
其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
141.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
142.本发明实施例提供了一种用于模型训练的装置，所述装置包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：获取语音训练样本，所述语音训练样本包括带噪语音样本以及所述带噪语音样本对应的干净语音样本；基于所述语音训练样本，对串联的语音增强模型和语音识别模型进行迭代联合训练，在每轮训练中根据所述语音增强模型和所述语音识别模型的联合损失值调整所述语音增强模型，和/或，所述语音识别模型的模型参数，当所述联合损失值满足收敛条件得到训练完成的语音增强模型和语音识别模型。
143.可选地，所述基于所述语音训练样本，对串联的语音增强模型和语音识别模型进行迭代联合训练，包括：
144.在每轮训练中，在所述语音训练样本中选取带噪语音样本输入所述语音增强模型进行语音增强处理，得到所述带噪语音样本对应的语音增强结果；
145.对所述语音增强结果进行特征提取，得到所述语音增强结果对应的目标特征数据；
146.将所述目标特征数据输入所述语音识别模型进行语音识别处理，得到所述带噪语音样本的语音识别结果；
147.根据所述带噪语音样本的语音增强结果和所述带噪语音样本的语音识别结果，确定所述语音增强模型和所述语音识别模型的联合损失值，并根据所述联合损失值调整所述语音增强模型，和/或，所述语音识别模型的模型参数。
148.可选地，所述语音训练样本还包括所述带噪语音样本对应的文本信息，所述根据所述带噪语音样本的语音增强结果和所述带噪语音样本的语音识别结果，确定所述语音增强模型和所述语音识别模型的联合损失值，包括：
149.根据所述带噪语音样本的语音增强结果和所述干净语音样本确定所述语音增强模型的第一损失值；
150.根据所述带噪语音样本的语音识别结果和所述文本信息确定所述语音识别模型的第二损失值；
151.对所述第一损失值和所述第二损失值进行加权求和，得到所述语音增强模型和所述语音识别模型的联合损失值。
152.可选地，所述对所述语音增强结果进行特征提取，包括：
153.对所述语音增强结果逐帧进行特征提取，得到每一帧的特征信息；
154.对所述语音增强结果中的当前帧，将所述当前帧的前一帧与后一帧的特征信息增加到所述当前帧的特征信息中，得到目标特征数据。
155.可选地，所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
156.获取待处理的目标语音数据；
157.将所述目标语音数据输入训练完成的语音增强模型进行语音增强处理，得到所述
目标语音数据对应的语音增强结果。
158.可选地，所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
159.将所述目标语音数据对应的语音增强结果输入训练完成的语音识别模型进行语音识别处理，得到所述目标语音数据的语音识别结果。
160.可选地，所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
161.基于预置语音识别模型，利用不同场景的语音训练样本，对串联的语音增强模型和所述预置语音识别模型进行迭代联合训练，得到训练完成的不同场景下的语音增强模型和语音识别模型。
162.图5是根据一示例性实施例示出的一种用于模型训练的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
163.参照图5，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。
164.处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
165.存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
166.电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
167.多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
168.音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当装置800处于操作模式，如呼叫模式、记录模式和语音信息处理模式时，麦克风
被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
169.i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
170.传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以模型训练装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
171.通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频信息处理(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
172.在示例性实施例中，装置800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
173.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd
‑
rom、磁带、软盘和光数据存储设备等。
174.图6是本发明的一些实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，cpu)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。
175.服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等等。
176.一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务器或
者终端)的处理器执行时，使得装置能够执行图1所示的模型训练方法。
177.一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行一种模型训练方法，所述方法包括：获取语音训练样本，所述语音训练样本包括带噪语音样本以及所述带噪语音样本对应的干净语音样本；基于所述语音训练样本，对串联的语音增强模型和语音识别模型进行迭代联合训练，在每轮训练中根据所述语音增强模型和所述语音识别模型的联合损失值调整所述语音增强模型，和/或，所述语音识别模型的模型参数，当所述联合损失值满足收敛条件得到训练完成的语音增强模型和语音识别模型。
178.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
179.应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
180.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
181.以上对本发明所提供的一种模型训练方法、一种模型训练装置和一种用于模型训练的装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。