1.本公开涉及互联网技术领域，具体地说，涉及一种语音增强方法、模型训练方法以及相关设备。


背景技术：

2.随着语音识别技术的高速发展，语音识别技术已被应用于智能硬件、智能电话客服等多种场景，因为其识别结果准确性与工作效率和用户交互体验息息相关，人们对语音识别的效果的要求也越来越高。目前，由于语音识别的应用场景基本都与用户日常生活需求和工作需求有关，无法保证输入语音信号是纯净、无噪音的语音，导致在识别一些背景环境有噪音的语音时，噪音干扰了语音信号的质量，导致识别结果不准确，影响了用户在人机交互、音频文字转写的过程中的效率。因此，针对解决复杂噪声环境中的音频噪音干扰的语音增强技术成为了语音识别技术中的关键部分。
3.语音增强技术目的是对包含噪音的语音进行处理，并输出处理后的纯净语音音频。其主要手段可分为两大类：基于信号处理的线性滤波方法，如维纳滤波、卡尔曼滤波、基于最小均方误差的滤波器等；和基于机器学习的方法，如基于递归神经网络、基于卷积神经网络，基于卷积
‑
递归神经网络、基于unet网络的方法等。
4.基于信号处理的线性滤波方法首先预设语音和噪声的统计模型，在一定的优化准则下，求解最优滤波器,并作用于带噪音频，达到增强语音的目的。基于机器学习的方法采用大量训练数据，采用一定的网络结构，在监督学习的框架下，训练从带噪语音到纯净语音的非线性函数，从而达到语音增强的目的。
5.虽然基于线性滤波器的方法不需要大规模的数据训练，但是由于其常基于专家知识设计最优化函数，然而在某些条件下，由于语音或噪声的模型假设过于理想化，如假设噪声服从平稳性等，导致在实际场景下，尤其是在非平稳噪声条件下，性能明显下降。基于机器学习的语音增强方法通过采用大量语料训练神经网络，得到带噪语音特征到纯净语音的映射，可以显著提升在复杂非平稳噪声下的性能。然而，其性能明显受到训练语料中噪声多变性的限制，当训练语料有限时，常产生过拟合问题，导致对于集外噪声的泛化性能较差。该问题的主要原因为，基于机器学习的方法过于依赖现有神经网络模型结构，并未引入传统的基于信号处理的专家知识，从而难以通过设计符合最优语音信号处理的正则化方法，提高网络的性能。
6.由此，如何优化语音增强方法，以在平稳噪声和复杂非平稳噪声下皆保持良好的增强性能，同时，提升语音增强的泛化性能，是本领域技术人员亟待解决的技术问题。
7.需要说明的是，上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

8.有鉴于此，本公开提供一种语音增强方法、模型训练方法以及相关设备，通过优化
语音增强方法，以在平稳噪声和复杂非平稳噪声下皆保持良好的增强性能，同时，提升语音增强的泛化性能。
9.本公开的一个方面提供一种语音增强模型训练方法，所述语音增强模型包括语音预测神经网络模块、噪声估计神经网络模块以及线性滤波模块，
10.所述语音增强模型训练方法，包括：
11.获取语音训练集中各语音对的带噪语音幅度谱以及纯净语音幅度谱，所述语音对包括关联的纯净语音信号以及带噪语音信号；
12.根据所述带噪语音幅度谱获得第一特征集以及第二特征集；
13.将所述第一特征集输入所述语音预测神经网络模块，所述语音预测神经网络模块用于输出第一准估计纯净语音幅度谱以及预测误差；
14.将所述第二特征集输入所述噪声估计神经网络模块，所述噪声估计神经网络模块用于输出估计噪声能量；
15.将所述语音预测神经网络模块输出的第一准估计纯净语音幅度谱以及预测误差、所述噪声估计神经网络模块输出的估计噪声能量输入所述线性滤波模块，所述线性滤波模块用于输出估计纯净语音幅度谱；
16.根据所述纯净语音幅度谱以及所述估计纯净语音幅度谱计算模型损失，并根据模型损失训练所述语音增强模型。
17.在本公开的一些实施例中，所述获取语音训练集中各语音对的带噪语音幅度谱以及纯净语音幅度谱包括：
18.对所述语音对的纯净语音信号执行时域到频域的变换步骤；
19.对所述语音对的带噪语音信号执行时域到频域的变换步骤，
20.所述时域到频域的变换步骤包括：
21.对待处理语音信号进行分帧；
22.对所述待处理语音信号的各帧进行傅里叶变换，获得各帧的帧傅里叶谱；
23.按时间轴拼接所述待处理语音信号的各帧的帧傅里叶谱，获得所述待处理语音信号的傅里叶谱；
24.基于所述待处理语音信号的傅里叶谱的各频点的幅度，生成所述待处理语音信号的幅度谱。
25.在本公开的一些实施例中，所述语音预测神经网络模块为时间序列神经网络模型，所述第一特征集为多个连续帧的噪声幅度谱序列，所述语音预测神经网络模块输出的所述第一准估计纯净语音幅度谱为与所述噪声幅度谱序列具有相同维度的第一准估计纯净语音幅度谱序列，所述语音预测神经网络模块输出的所述预测误差为与所述噪声幅度谱序列具有相同维度的预测误差序列。
26.在本公开的一些实施例中，所述噪声估计神经网络模块为多层全连接网络，所述第二特征集包括当前帧以及当前帧的领域窗口的带噪语音幅度谱。
27.在本公开的一些实施例中，所述线性滤波模块包括维纳滤波模块、卡尔曼增益计算模块以及线性组合模块，
28.所述维纳滤波模块用于根据所述噪声估计神经网络模块输出的估计噪声能量以及所述第二特征集，输出纯净语音幅度谱的维纳滤波解，作为第二准估计纯净语音幅度谱；
29.所述卡尔曼增益计算模块用于根据所述语音预测神经网络模块输出的预测误差以及所述噪声估计神经网络模块输出的估计噪声能量，输出最优卡尔曼增益g；
30.所述线性组合模块用于根据所述最优卡尔曼增益g，计算所述语音预测神经网络模块输出的第一准估计纯净语音幅度谱以及所述第二准估计纯净语音幅度谱的线性组合结果，作为所述估计纯净语音幅度谱。
31.在本公开的一些实施例中，根据所述最优卡尔曼增益g，计算所述语音预测神经网络模块输出的第一准估计纯净语音幅度谱以及所述第二准估计纯净语音幅度谱的线性组合结果，作为所述估计纯净语音幅度谱包括：
32.将(1
‑
g)作为所述第一准估计纯净语音幅度谱的第一权重；
33.将最优卡尔曼增益g作为所述第二准估计纯净语音幅度谱的第二权重；
34.根据所述第一权重和第二权重计算所述第一准估计纯净语音幅度谱和所述第二准估计纯净语音幅度谱的加权合，作为所述估计纯净语音幅度谱。
35.在本公开的一些实施例中，所述根据所述纯净语音幅度谱以及所述估计纯净语音幅度谱计算模型损失，并根据模型损失训练所述语音增强模型包括：
36.采用后向传播算法，优化语音预测神经网络模块以及噪声估计神经网络模块的参数。
37.根据本公开的另一方面，还提供一种语音增强方法，包括：
38.获取待增强语音信号的待增强语音幅度谱和待增强语音相位谱；
39.根据所述待增强语音幅度谱获得第一特征集以及第二特征集；
40.将所述第一特征集以及第二特征集输入经训练的语音增强模型，所述语音增强模型包括语音预测神经网络模块、噪声估计神经网络模块以及线性滤波模块，其中，所述第一特征集作为所述语音预测神经网络模块的输入，所述语音预测神经网络模块用于输出第一准估计纯净语音幅度谱以及预测误差，所述第二特征集作为所述噪声估计神经网络模块的输入，所述噪声估计神经网络模块用于输出估计噪声能量，所述语音预测神经网络模块输出的第一准估计纯净语音幅度谱以及预测误差、所述噪声估计神经网络模块输出估计噪声能量输入所述线性滤波模块，所述线性滤波模块用于输出所述待增强语音信号的估计纯净语音幅度谱；
41.根据所述估计纯净语音幅度谱和待增强语音相位谱进行还原获得所述待增强语音信号的增强语音信号。
42.根据本公开的另一方面，还提供一种语音增强模型训练装置，所述语音增强模型包括语音预测神经网络模块、噪声估计神经网络模块以及线性滤波模块，
43.所述语音增强模型训练装置，包括：
44.第一获取模块，配置成获取语音训练集中各语音对的带噪语音幅度谱以及纯净语音幅度谱，所述语音对包括关联的纯净语音信号以及带噪语音信号；
45.第二获取模块，配置成根据所述带噪语音幅度谱获得第一特征集以及第二特征集；
46.第一输入模块，配置成将所述第一特征集输入所述语音预测神经网络模块，所述语音预测神经网络模块用于输出第一准估计纯净语音幅度谱以及预测误差；
47.第二输入模块，配置成将所述第二特征集输入所述噪声估计神经网络模块，所述
噪声估计神经网络模块用于输出估计噪声能量；
48.输出模块，配置成将所述语音预测神经网络模块输出的第一准估计纯净语音幅度谱以及预测误差、所述噪声估计神经网络模块输出估计噪声能量输入所述线性滤波模块，所述线性滤波模块用于输出估计纯净语音幅度谱；
49.训练模块，配置成根据所述纯净语音幅度谱以及所述估计纯净语音幅度谱计算模型损失，并根据模型损失训练所述语音增强模型。
50.本公开的又一个方面提供一种电子设备，包括：处理器；存储器，所述存储器中存储有可执行指令；其中，所述可执行指令被所述处理器执行时，实现上述任意实施例所述的语音增强模型训练方法和/或语音增强方法。
51.本公开的又一个方面提供一种计算机可读的存储介质，用于存储程序，其特征在于，所述程序被执行时实现上述任意实施例所述的语音增强模型训练方法和/或语音增强方法。
52.本公开与现有技术相比的有益效果至少包括：
53.本公开通过使语音增强模型包括语音预测神经网络模块、噪声估计神经网络模块以及线性滤波模块，以通过语音增强模型进行语音信号增强，以此结合基于信号处理的线性滤波方法和基于机器学习的语音增强方法，利用基于机器学习的语音增强方法提升基于信号处理的线性滤波方法在复杂非平稳噪声下的语音增加性能，利用基于信号处理的线性滤波方法提高基于机器学习的语音增强方法的泛化性能，实现语音增强的优化。
54.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
55.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
56.图1示出本公开实施例中语音增强模型训练方法的流程图；
57.图2示出本公开实施例中语音增强模型的结构示意图；
58.图3示出本公开实施例中语音增强方法的同步流程图；
59.图4示出本公开实施例中语音增强模型训练装置的模块示意图；
60.图5示出本公开实施例中语音增强装置的模块示意图；
61.图6示出本公开实施例中电子设备的结构示意图；以及
62.图7示出本公开实施例中计算机可读的存储介质的结构示意图。
具体实施方式
63.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使本公开全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
64.此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标
记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
65.下面实施例中的步骤序号仅用于表示不同的执行内容，并不严格限定步骤之间的执行顺序。具体描述时使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。需要说明的是，在不冲突的情况下，本公开的实施例及不同实施例中的特征可以相互组合。
66.图1示出实施例中语音增强训练方法的主要步骤，参照图1所示，本发明提供的所述语音增强模型包括语音预测神经网络模块、噪声估计神经网络模块以及线性滤波模块。所述语音增强模型训练方法包括：步骤s110：获取语音训练集中各语音对的带噪语音幅度谱以及纯净语音幅度谱，所述语音对包括关联的纯净语音信号以及带噪语音信号；步骤s120：根据所述带噪语音幅度谱获得第一特征集以及第二特征集；步骤s130：将所述第一特征集输入所述语音预测神经网络模块，所述语音预测神经网络模块用于输出第一准估计纯净语音幅度谱以及预测误差；步骤s140：将所述第二特征集输入所述噪声估计神经网络模块，所述噪声估计神经网络模块用于输出估计噪声能量；步骤s150；将所述语音预测神经网络模块输出的第一准估计纯净语音幅度谱以及预测误差、所述噪声估计神经网络模块输出的估计噪声能量输入所述线性滤波模块，所述线性滤波模块用于输出估计纯净语音幅度谱；以及步骤s160：根据所述纯净语音幅度谱以及所述估计纯净语音幅度谱计算模型损失，并根据模型损失训练所述语音增强模型。
67.上述实施例的语音增强方法，通过使语音增强模型包括语音预测神经网络模块、噪声估计神经网络模块以及线性滤波模块，以通过语音增强模型进行语音信号增强，以此结合基于信号处理的线性滤波方法和基于机器学习的语音增强方法，利用基于机器学习的语音增强方法提升基于信号处理的线性滤波方法在复杂非平稳噪声下的语音增加性能，利用基于信号处理的线性滤波方法提高基于机器学习的语音增强方法的泛化性能，实现语音增强的优化。
68.下面结合图2以及具体的示例，对语音增强模型训练方法进行详细说明。
69.具体而言，步骤s110中语音训练集可以包括多对语音对，每一对语音对包括关联的纯净语音信号以及带噪语音信号，带噪声语音信号通过在纯净语音信号加入一定信噪比的噪声得到。所加入的信噪比可以按需设置，例如在一些具体实施例中，可以将所加入的信噪比的范围设置为
‑
10到30db，本发明并非以此为限制。
70.具体而言，步骤s110获取语音训练集中各语音对的带噪语音幅度谱以及纯净语音幅度谱可以通过如下步骤来实现包括：对所述语音对的纯净语音信号执行时域到频域的变换步骤以获得纯净语音幅度谱；以及对所述语音对的带噪语音信号执行时域到频域的变换步骤以获得带噪语音幅度谱。
71.具体而言，当将纯净语音信号以及带噪语音信号作为待处理语音信号时，所述时域到频域的变换步骤通过如下方式来实现：
72.首先，对待处理语音信号x(t)进行分帧。其中，t为待处理语音信号的采样点序号。在一些具体实现中，可以使得每帧时间长度为8毫秒至32毫秒，各个帧之间保持50％
‑
75％
的重合。每帧的长度和重合程度可以按需设置，本公开并非以此为限制。进一步地，在分帧时使得各帧保持一定的重合是利用时间相关性便于为后续步骤的傅里叶变换加窗。其次，对所述待处理语音信号的各帧进行傅里叶变换，获得各帧的帧傅里叶谱。在一些具体实现中，可以对各帧进行64
‑
512频点的短时傅里叶变换。频点的数量可以按需设置，本发明并非以此为限制。再次，按时间轴拼接所述待处理语音信号的各帧的帧傅里叶谱，获得所述待处理语音信号的傅里叶谱x(t，f)，其中，傅里叶谱x(t，f)为复数域的二维短时傅里叶谱，t为帧序号，f为频率序号。最后，基于所述待处理语音信号的傅里叶谱x(t，f)的各频点的幅度，生成所述待处理语音信号的幅度谱|x(t，f)|。
73.由此，基于上述步骤，可以分别对纯净语音信号以及带噪语音信号进行时域到频域的变换，由此，分别获得纯净语音幅度谱|s(t，f)|以及带噪语音幅度谱|y(t，f)|。
74.下面结合图2，图2示出本公开实施例中语音增强模型的结构示意图。所述语音增强模型200包括语音预测神经网络模块210、噪声估计神经网络模块220以及线性滤波模块230。
75.所述语音预测神经网络模块210可以是时间序列神经网络模型。时间序列神经网络模型例如可以为多层长短时记忆递归神经网络。在本实施例中，多层长短时记忆递归神经网络中，可以使每层的节点数为256
‑
1024个节点，各层节点数量一致。本发明提供的时间序列神经网络模型并非以此为限制。
76.由于语音预测神经网络模块210为时间序列神经网络模型，因此，第一特征集可以为多个连续帧的噪声幅度谱序列。具体而言，可以定义噪声幅度谱序列的第t帧为y(t)＝[|y(t，1)|，|y(t，2)|，
…
，|y(t，f)|]
t
，其中f为总频带数。由此，则噪声幅度谱序列为y
a
[k]＝[y(l
×
k)，y(l
×
k+1)，
…
，y(l
×
k+l
‑
1)]，其中k为序列编号，l为序列长度。
[0077]
语音预测神经网络模块(时间序列神经网络模型)210具有两个输出：第一准估计纯净语音幅度谱以及预测误差。时间序列神经网络模型通过序列到序列的方式，根据输入的特征序列，预测第一准估计纯净语音幅度谱序列和对应的预测误差序列。进一步地，所述语音预测神经网络模块输出的所述第一准估计纯净语音幅度谱为与所述噪声幅度谱序列y
a
[k]具有相同维度的第一准估计纯净语音幅度谱序列，所述语音预测神经网络模块输出的所述预测误差为与所述噪声幅度谱序列y
a
[k]具有相同维度的预测误差序列。具体而言，第一准估计纯净语音幅度谱序列的各第一准估计纯净语音幅度谱可以记为|s
nn
(t，f)|；预测误差序列的值为预测误差的方差
[0078]
噪声估计神经网络模块220可以为多层全连接网络。在本实施例中，多层全连接网络的每层的节点数可以为256
‑
1024个节点，各层节点数量一致，本发明并非以此为限制。在本实施例中，所述第二特征集包括当前帧(t帧)以及当前帧的领域窗口[t
‑
n，t
‑
n+1，
…
，t，
…
，t+n
‑
1，t+n]
t
的带噪语音幅度谱。即y
b
(t)＝[y(t
‑
n)，y(t
‑
n+1)，
…
，y(t+n
‑
1)，y(t+n)]，其中n为邻域窗口的宽度。噪声估计神经网络模块220输出为当前帧的噪声能量向量，维度为f
×
1，噪声能量向量的第f个元素代表第f个频带的估计噪声能量，记为
[0079]
所述线性滤波模块230包括维纳滤波模块231、卡尔曼增益计算模块232以及线性组合模块233。
[0080]
维纳滤波模块231用于根据所述噪声估计神经网络模块220输出的估计噪声能量
以及所述第二特征集，输出纯净语音幅度谱的维纳滤波解，作为第二准估计纯净语音幅度谱。
[0081]
具体而言，可以根据第二特征集的带噪语音幅度谱计算时频点的总语音能量维纳滤波模块231可以基于最小均方误差准则，根据如下公式，得到纯净语音幅度谱的维纳滤波解：
[0082][0083]
其中，|s
wiener
(t，f)|为纯净语音幅度谱的维纳滤波解，为第t帧第f个频带的时频点的总语音能量，为第t帧第f个频带的时频点的噪声能量，|y(t，f)|为带噪语音幅度谱。
[0084]
卡尔曼增益计算模块232用于根据所述语音预测神经网络模块210输出的预测误差以及所述噪声估计神经网络模块220输出的估计噪声能量，输出最优卡尔曼增益。具体而言，卡尔曼增益计算模块232可以基于传统卡尔曼滤波理论，根据如下公式确定最优卡尔曼增益：
[0085][0086]
其中，g为最优卡尔曼增益，为第t帧第f个频带的时频点的预测误差的方差，为第t帧第f个频带的时频点的噪声能量。
[0087]
线性组合模块233用于根据所述最优卡尔曼增益，计算所述语音预测神经网络模块输出的第一准估计纯净语音幅度谱以及所述第二准估计纯净语音幅度谱的线性组合结果，作为所述估计纯净语音幅度谱。具体而言，线性组合模块233可以根据如下公式计算估计纯净语音幅度谱：
[0088]
|s
o
(t，f)|＝g*|s
wiener
(t，f)|+(1
‑
g)*|s
nn
(t，f)|
[0089]
其中，|s
o
(t，f)|为估计纯净语音幅度谱，g为最优卡尔曼增益，且g为第二准估计纯净语音幅度谱|s
wiener
(t，f)|的第二权重；(1
‑
g)为第一准估计纯净语音幅度谱|s
nn
(t，f)|的第一权重。
[0090]
在本公开的一些实施例中，图1中步骤s160根据所述纯净语音幅度谱以及所述估计纯净语音幅度谱计算模型损失(例如可以通过损失函数进行模型损失的计算)，并根据模型损失训练所述语音增强模型可以通过如下步骤来实现：采用后向传播算法，优化语音预测神经网络模块以及噪声估计神经网络模块的参数。具体而言，语音增强模型可以在最小均方误差的准则下，基于神经网络的后向传播算法，自适应学习语音预测神经网络模块和噪声估计神经网络模块中的参数。
[0091]
以上仅仅是示意性地示出本发明的多种实现方式，本发明并非以此为限制，各实现方式可以单独或组合实现。
[0092]
本公开实施例还提供一种语音增强方法，用于基于经训练的语音增强模型进行语
音信号的增强。图3示出本公开实施例中语音增强方法的流程图，如图3所示，包括：
[0093]
步骤s310：获取待增强语音信号的待增强语音幅度谱和待增强语音相位谱。
[0094]
具体而言，步骤s310可以对待增强语音信号进行短时傅里叶变换，以获得待增强语音幅度谱和待增强语音相位谱。
[0095]
步骤s320：根据所述待增强语音幅度谱获得第一特征集以及第二特征集。
[0096]
具体而言，基于待增强语音幅度谱获得第一特征集以及第二特征集的步骤可以与基于带噪语音幅度谱获得第一特征集以及第二特征集的方式相同，在此不予赘述。
[0097]
步骤s330：将所述第一特征集以及第二特征集输入经训练的语音增强模型，所述语音增强模型包括语音预测神经网络模块、噪声估计神经网络模块以及线性滤波模块，其中，所述第一特征集作为所述语音预测神经网络模块的输入，所述语音预测神经网络模块用于输出第一准估计纯净语音幅度谱以及预测误差，所述第二特征集作为所述噪声估计神经网络模块的输入，所述噪声估计神经网络模块用于输出估计噪声能量，所述语音预测神经网络模块输出的第一准估计纯净语音幅度谱以及预测误差、所述噪声估计神经网络模块输出估计噪声能量输入所述线性滤波模块，所述线性滤波模块用于输出所述待增强语音信号的估计纯净语音幅度谱。
[0098]
具体而言，语音增强模型的结构，语音预测神经网络模块、噪声估计神经网络模块以及线性滤波模块的具体实施可以参照图2以及图2的相关描述来实现。语音增强模型可以经由如图1所示的训练方法训练获得。
[0099]
步骤s340：根据所述估计纯净语音幅度谱和待增强语音相位谱进行还原获得所述待增强语音信号的增强语音信号。
[0100]
由此，本实施例的语音增强方法中，通过使语音增强模型包括语音预测神经网络模块、噪声估计神经网络模块以及线性滤波模块，以通过语音增强模型进行语音信号增强，以此结合基于信号处理的线性滤波方法和基于机器学习的语音增强方法，利用基于机器学习的语音增强方法提升基于信号处理的线性滤波方法在复杂非平稳噪声下的语音增加性能，利用基于信号处理的线性滤波方法提高基于机器学习的语音增强方法的泛化性能，实现语音增强的优化。
[0101]
本公开实施例还提供一种语音增强模型训练装置，可用于实现上述任意实施例所描述的语音增强模型训练方法。其中，语音增强模型包括语音预测神经网络模块、噪声估计神经网络模块以及线性滤波模块。图4示出本公开实施例中语音增强模型训练装置的模块示意图，如图4所示，本实施例中的语音增强模型训练装置410包括第一获取模块411、第二获取模块412、第一输入模块413、第二输入模块414、输出模块415以及训练模块416。第一获取模块411配置成获取语音训练集中各语音对的带噪语音幅度谱以及纯净语音幅度谱，所述语音对包括关联的纯净语音信号以及带噪语音信号。第二获取模块412配置成根据所述带噪语音幅度谱获得第一特征集以及第二特征集。第一输入模块413配置成将所述第一特征集输入所述语音预测神经网络模块，所述语音预测神经网络模块用于输出第一准估计纯净语音幅度谱以及预测误差。第二输入模块414配置成将所述第二特征集输入所述噪声估计神经网络模块，所述噪声估计神经网络模块用于输出估计噪声能量。输出模块415配置成将所述语音预测神经网络模块输出的第一准估计纯净语音幅度谱以及预测误差、所述噪声估计神经网络模块输出估计噪声能量输入所述线性滤波模块，所述线性滤波模块用于输出
估计纯净语音幅度谱。训练模块416配置成根据所述纯净语音幅度谱以及所述估计纯净语音幅度谱计算模型损失，并根据模型损失训练所述语音增强模型。其中，各个模块的具体原理可参见上述任意语音增强模型训练方法实施例，此处不再重复说明。
[0102]
本公开实施例还提供一种语音增强装置，可用于实现上述任意实施例所描述的语音增强方法。
[0103]
图5示出实施例中语音增强装置的主要模块，参照图5所示，本实施例中语音增强装置420包括第三获取模块421、第四获取模块422、增强模块423以及还原模块424。第三获取模块421配置成获取待增强语音信号的待增强语音幅度谱和待增强语音相位谱。第四获取模块422配置成根据所述待增强语音幅度谱获得第一特征集以及第二特征集。增强模块423配置成将所述第一特征集以及第二特征集输入经训练的语音增强模型，所述语音增强模型包括语音预测神经网络模块、噪声估计神经网络模块以及线性滤波模块，其中，所述第一特征集作为所述语音预测神经网络模块的输入，所述语音预测神经网络模块用于输出第一准估计纯净语音幅度谱以及预测误差，所述第二特征集作为所述噪声估计神经网络模块的输入，所述噪声估计神经网络模块用于输出估计噪声能量，所述语音预测神经网络模块输出的第一准估计纯净语音幅度谱以及预测误差、所述噪声估计神经网络模块输出估计噪声能量输入所述线性滤波模块，所述线性滤波模块用于输出所述待增强语音信号的估计纯净语音幅度谱。还原模块424配置成根据所述估计纯净语音幅度谱和待增强语音相位谱进行还原获得所述待增强语音信号的增强语音信号。其中，各个模块的具体原理可参见上述任意语音增强方法实施例，此处不再重复说明。
[0104]
本实施例的语音增强模型训练装置以及语音增强装置中，通过使语音增强模型包括语音预测神经网络模块、噪声估计神经网络模块以及线性滤波模块，以通过语音增强模型进行语音信号增强，以此结合基于信号处理的线性滤波方法和基于机器学习的语音增强方法，利用基于机器学习的语音增强方法提升基于信号处理的线性滤波方法在复杂非平稳噪声下的语音增加性能，利用基于信号处理的线性滤波方法提高基于机器学习的语音增强方法的泛化性能，实现语音增强的优化。
[0105]
图4和图5仅仅是示意性的示出本发明提供的语音增强模型训练装置以及语音增强装置，在不违背本发明构思的前提下，模块的拆分、合并、增加都在本发明的保护范围之内。本发明提供的语音增强模型训练装置以及语音增强装置可以由软件、硬件、固件、插件及他们之间的任意组合来实现，本发明并非以此为限。
[0106]
本公开实施例还提供一种电子设备，包括处理器和存储器，存储器中存储有可执行指令，可执行指令被处理器执行时，实现上述任意实施例描述的语音增强模型训练方法和/或语音增强方法。
[0107]
本公开的电子设备通过使语音增强模型包括语音预测神经网络模块、噪声估计神经网络模块以及线性滤波模块，以通过语音增强模型进行语音信号增强，以此结合基于信号处理的线性滤波方法和基于机器学习的语音增强方法，利用基于机器学习的语音增强方法提升基于信号处理的线性滤波方法在复杂非平稳噪声下的语音增加性能，利用基于信号处理的线性滤波方法提高基于机器学习的语音增强方法的泛化性能，实现语音增强的优化。
[0108]
图6是本公开实施例中电子设备的结构示意图，应当理解的是，图6仅仅是示意性
地示出各个模块，这些模块可以是虚拟的软件模块或实际的硬件模块，这些模块的合并、拆分及其余模块的增加都在本公开的保护范围之内。
[0109]
如图6所示，电子设备500以通用计算设备的形式表现。电子设备500的组件包括但不限于：至少一个处理单元510、至少一个存储单元520、连接不同平台组件(包括存储单元520和处理单元510)的总线530、显示单元540等。
[0110]
其中，存储单元存储有程序代码，程序代码可以被处理单元510执行，使得处理单元510执行上述任意实施例描述的语音增强模型训练方法和/或语音增强方法的步骤。例如，处理单元510可以执行如图1和图3所示的步骤。
[0111]
存储单元520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)5201和/或高速缓存存储单元5202，还可以进一步包括只读存储单元(rom)5203。
[0112]
存储单元520还可以包括具有一个或多个程序模块5205的程序/实用工具5204，这样的程序模块5205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0113]
总线530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
[0114]
电子设备500也可以与一个或多个外部设备600通信，外部设备600可以是键盘、指向设备、蓝牙设备等设备中的一种或多种。这些外部设备600使得用户能与该电子设备500进行交互通信。电子设备500也能与一个或多个其它计算设备进行通信，所示计算机设备包括路由器、调制解调器。这种通信可以通过输入/输出(i/o)接口550进行。并且，电子设备500还可以通过网络适配器560与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器560可以通过总线530与电子设备500的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储平台等。
[0115]
本公开实施例还提供一种计算机可读的存储介质，用于存储程序，程序被执行时实现上述任意实施例描述的语音增强模型训练方法和/或语音增强方法。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行上述任意实施例描述的语音增强模型训练方法和/或语音增强方法。
[0116]
本公开的计算机可读的存储介质通过使语音增强模型包括语音预测神经网络模块、噪声估计神经网络模块以及线性滤波模块，以通过语音增强模型进行语音信号增强，以此结合基于信号处理的线性滤波方法和基于机器学习的语音增强方法，利用基于机器学习的语音增强方法提升基于信号处理的线性滤波方法在复杂非平稳噪声下的语音增加性能，利用基于信号处理的线性滤波方法提高基于机器学习的语音增强方法的泛化性能，实现语音增强的优化。
[0117]
图7是本公开的计算机可读的存储介质的结构示意图。参考图6所示，描述了根据本公开的实施方式的用于实现上述方法的程序产品700，其可以采用便携式紧凑盘只读存储器(cd
‑
rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的
程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0118]
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子包括但不限于：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0119]
计算机可读的存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0120]
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备，例如利用因特网服务提供商来通过因特网连接。
[0121]
以上内容是结合具体的优选实施方式对本公开所作的进一步详细说明，不能认定本公开的具体实施只局限于这些说明。对于本公开所属技术领域的普通技术人员来说，在不脱离本公开构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本公开的保护范围。