1.本公开涉及语音信号处理领域，特别涉及一种语音信号的增强处理方法、语音信号的增强处理装置和非易失性计算机可读存储介质。


背景技术：

2.近年来，语音识别技术的飞跃给用户带来了全新的信息输入体验。用语音输入代替传统的文本输入交互方式，提高了输入效率，降低了用户使用门槛，简化了人机交互操作过程。
3.目前，语音识别能力日益完善，在无噪音的环境下识别准确率高，已经达到实用标准。但是，在识别有背景噪声的语音时，准确度会有所下降。因此，对语音信号进行增强处理成为了语音识别领域的必要研究方向。
4.在相关技术中，在时频域上求解用于降噪的增益函数，利用该增益函数增强语音信号。


技术实现要素：

5.本公开的发明人发现上述相关技术中存在如下问题：增益函数依赖于信号处理领域的专家知识，无法适应不同类型的噪声，导致语音信号增强处理的效果差。
6.鉴于此，本公开提出了一种语音信号的增强处理技术方案，能够提高语音信号增强处理的效果。
7.根据本公开的一些实施例，提供了一种语音信号的增强处理方法，包括：提取待处理语音信号在时频域的幅度谱，作为待处理幅度谱，所述待处理语音信号中包含噪声；根据所述待处理语音信号的每一帧幅度谱及其相应的多帧历史幅度谱，确定所述待处理语音信号的幅度谱统计特征；根据所述待处理幅度谱、所述幅度谱统计特征，利用机器学习模型消除所述待处理幅度谱中的噪声，获取增强语音信号。
8.在一些实施例中，所述根据所述待处理语音信号的每一帧幅度谱及其相应的多帧历史幅度谱，确定所述待处理语音信号的幅度谱统计特征包括：利用相应的多帧历史幅度谱，对所述每一帧幅度谱进行平滑滤波处理，确定所述幅度谱统计特征。
9.在一些实施例中，所述利用所述相应的多帧历史幅度谱对每一帧幅度谱进行平滑滤波处理，确定所述幅度谱统计特征包括：利用二维卷积结构，对所述每一帧幅度谱进行平滑滤波处理，确定所述幅度谱统计特征。
10.在一些实施例中，所述根据所述待处理语音信号的每一帧幅度谱及其相应的多帧历史幅度谱，确定所述待处理语音信号的幅度谱统计特征包括：根据所述每一帧幅度谱及其相应的多帧历史幅度谱的加权和，确定所述幅度谱统计特征。
11.在一些实施例中，所述根据所述待处理语音信号的每一帧幅度谱及其相应的多帧历史幅度谱，确定所述待处理语音信号的幅度谱统计特征包括：在各时间窗口内，根据所述待处理语音信号的每一帧幅度谱及其相应的多帧历史幅度谱，确定所述待处理语音信号在
各时间窗口内的幅度谱统计特征。
12.在一些实施例中，所述根据所述待处理幅度谱、所述幅度谱统计特征，利用机器学习模型消除所述待处理幅度谱中的噪声，获取增强语音信号包括：将所述待处理幅度谱和所述幅度谱统计特征在通道维上进行拼接，生成三维特征矩阵；将所述三维特征矩阵输入所述机器学习模型，获取所述增强语音信号。
13.在一些实施例中，所述根据所述待处理幅度谱、所述幅度谱统计特征，利用机器学习模型消除所述待处理幅度谱中的噪声，获取增强语音信号包括：将所述待处理幅度谱、所述幅度谱统计特征输入所述机器学习模型，输出所述待处理语音信号的增强处理幅度谱；对所述增强幅度谱和提取的所述待处理语音信号在时频域的相位谱，进行逆时频变换，确定所述增强语音信号。
14.在一些实施例中，所述机器学习模型通过如下的方式训练：利用梯度回传方式，训练所述待处理幅度谱对于所述机器学习模型的连接权重、所述各幅度谱统计特征对于所述机器学习模型的连接权重。
15.根据本公开的另一些实施例，提供一种语音信号的增强处理装置，包括：提取单元，用于提取待处理语音信号在时频域的幅度谱，作为待处理幅度谱，所述待处理语音信号中包含噪声；确定单元，用于根据所述待处理语音信号的每一帧幅度谱及其相应的多帧历史幅度谱，确定所述待处理语音信号的幅度谱统计特征；消除单元，用于根据所述待处理幅度谱、所述幅度谱统计特征，利用机器学习模型消除所述待处理幅度谱中的噪声，获取增强语音信号。
16.在一些实施例中，所述确定单元利用相应的多帧历史幅度谱对所述每一帧幅度谱进行平滑滤波处理，确定所述幅度谱统计特征。
17.在一些实施例中，所述确定单元利用二维卷积结构，对所述每一帧幅度谱进行平滑滤波处理，确定所述幅度谱统计特征。
18.在一些实施例中，所述确定单元根据所述每一帧幅度谱及其相应的多帧历史幅度谱的加权和，确定所述幅度谱统计特征。
19.在一些实施例中，所述确定单元在各时间窗口内，根据所述待处理语音信号的每一帧幅度谱及其相应的多帧历史幅度谱，确定所述待处理语音信号在各时间窗口内的幅度谱统计特征。
20.在一些实施例中，所述消除单元将所述待处理幅度谱和所述幅度谱统计特征在通道维上进行拼接，生成三维特征矩阵，将所述三维特征矩阵输入所述机器学习模型，获取所述增强语音信号。
21.在一些实施例中，所述消除单元将所述待处理幅度谱、所述幅度谱统计特征输入所述机器学习模型，输出所述待处理语音信号的增强处理幅度谱，对所述增强幅度谱和提取的所述待处理语音信号在时频域的相位谱，进行逆时频变换，确定所述增强语音信号。
22.在一些实施例中，所述机器学习模型通过如下的方式训练：利用梯度回传方式，对所述待处理幅度谱对于所述机器学习模型的连接权重、所述各幅度谱统计特征对于所述机器学习模型的连接权重进行训练。
23.根据本公开的又一些实施例，提供一种语音信号的增强处理装置，包括：存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指
令，执行上述任一个实施例中的语音信号的增强处理方法。
24.根据本公开的再一些实施例，提供一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例中的语音信号的增强处理方法。
25.在上述实施例中，利用机器学模型学习信号与噪声之间的幅度谱统计特征差异，并基于待处理语音信号的幅度谱统计特征，消除其中的噪声。这样，可以结合噪声的时频域特征知识与机器学习技术，适应不同类型噪声的消除，从而提高语音信号增强处理的效果。
附图说明
26.构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
27.参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
28.图1示出本公开的语音信号的增强处理方法的一些实施例的流程图；
29.图2示出本公开的语音信号的增强处理方法的一些实施例的示意图；
30.图3示出本公开的语音信号的增强处理方法的另一些实施例的示意图；
31.图4示出本公开的语音信号的增强处理装置的一些实施例的框图；
32.图5示出本公开的语音信号的增强处理装置的另一些实施例的框图；
33.图6示出本公开的语音信号的增强处理装置的又一些实施例的框图。
具体实施方式
34.现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
35.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
36.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
37.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
38.在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
39.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
40.如前所述，在非平稳噪声种类增多的情况下，基于专家知识开发增益函数的语音增强方法对噪声建模的效果会有所下降。因此，增益函数类方法的表现不如由数据驱动的深度神经网络语音增强方法。
41.但是，深度神经网络模型的隐藏层训练过程需要大量数据支持，导致模型效果对数据量依赖性强。当数据量较小时，深度神经网络模型可识别噪声种类较少，无法达到理想降噪效果。
42.也就是说，完全由数据驱动的深度神经网络模型没有融入专家知识，存在模型缺乏可解释性、模型结构优化缺乏针对性的缺点。
43.针对上述技术问题，本公开将专家知识与机器学习模型结合，开发了一个可以融入深度神经网络结构的oral(one
‑
parameter
‑
controlled recursive averaging layer，仅由单参数控制的二维卷积)模块。
44.oral模块可以包含能够提升信噪比的递归平滑算法，且此模块和cnn(convolution neural network，卷积神经网络)、rnn(recurrent neural network，递归神经网络)、dnn(deep neural network，全连接神经网络)等深度神经网络模型均能够良好结合。oral模块可以为这些深度神经网络模型提供信号处理领域的专家知识，从而提高语音增强效果。例如，可以通过下面的实施例实现本公开的技术方案。
45.图1示出本公开的语音信号的增强处理方法的一些实施例的流程图。
46.如图1所示，在步骤110中，提取待处理语音信号在时频域的幅度谱，作为待处理幅度谱。待处理语音信号中包含噪声。
47.在一些实施例中，观测到的带噪语音信号在时域产生，是一维时域信号。通过stft(short
‑
time fourier transform，短时傅里叶变换)，可以用时频域的二维stft复数参数来完整表达带噪语音的时域信息。此时，时域上的语音增强任务可以通过在时频域上的算法完成。
48.例如，待处理语音信号为y(t)＝x(t)+w(t)，x(t)为纯净的语音信号，w(t)为噪声。例如，可以通过stft将y(t)变换为时频域信号y(k，l)，k为频域变量，l为时域变量(如帧序号)。提取y(k，l)的幅度谱|y(k，l)|2作为待处理幅度谱。
49.在步骤120中，根据待处理语音信号的每一帧幅度谱及其相应的多帧历史幅度谱，确定待处理语音信号的幅度谱统计特征。
50.在一些实施例中，利用相应的多帧历史幅度谱，对每一帧幅度谱进行平滑滤波处理，确定幅度谱统计特征。例如，对于第l帧的幅度谱，可以根据第l帧的前n帧的幅度谱对第l帧的幅度谱进行递归平滑信号处理，从而获取第l帧的幅度谱统计特征。
51.例如，可以利用二维卷积结构，对每一帧幅度谱进行平滑滤波处理，确定幅度谱统计特征。可以利用二维卷积结构的结构实现递归平滑信号处理，二维卷积结构能够方便地与cnn模型、rnn模型、dnn模型等的结构进行结合，从而降低技术方案的实现难度。
52.例如，可以根据每一帧幅度谱及其相应的多帧历史幅度谱的加权和，对每一帧幅度谱进行递归平滑信号处理，以确定幅度谱统计特征。对于第l帧的幅度谱，可以根据第l帧的幅度谱，以及第l帧的前n帧的幅度谱的加权和，确定幅度谱统计特征。
53.在一些实施例中，可以在各时间窗口内，根据待处理语音信号的每一帧幅度谱及其相应的多帧历史幅度谱，确定待处理语音信号在各时间窗口内的幅度谱统计特征。
54.例如，可以设置一个可以滑动的时间窗口，在待处理幅度谱的整个时间范围内滑动；在每次滑动的位置，确定时间窗口内的幅度谱统计特征，直到时间窗口滑动出待处理幅度谱的时间范围；根据各时间窗口内的幅度谱统计特征，确定待处理幅度谱的幅度谱统计特征。
55.例如，可以根据下面的公式计算时间窗口内的幅度谱统计特征：
[0056][0057]
d为时间窗口的宽度，即时间窗口长度为d帧(每帧10毫秒)；α为根据实际需求确定的平滑因子，用于决定递归平滑算法对历史信息的利用程度；α取值范围是(0，1)，例如，α可以取相对较大的值(如α＝0.9)。
[0058]
这样，r(k，l)中包含了历史帧的幅度谱信息，即r(k，l)能够反映幅度谱的统计特征。由于信号与噪声的统计特征具有差异性，所以可以通过机器学习模型消除待处理幅度谱中的噪声，从而提高增强处理的效果。
[0059]
在步骤130中，根据待处理幅度谱、幅度谱统计特征，利用机器学习模型消除待处理幅度谱中的噪声，获取增强语音信号。例如，机器学习模型可以为cnn模型、rnn模型、dnn模型等
[0060]
在一些实施例中，将待处理幅度谱和幅度谱统计特征在通道维上进行拼接，生成三维特征矩阵；将三维特征矩阵输入机器学习模型，获取增强语音信号。例如，三维特征矩阵i(k，l)为通道数为2的三维张量，可以表示为：
[0061][0062]
i即为三维张量中的通道维度。
[0063]
在一些实施例中，将待处理幅度谱、幅度谱统计特征输入机器学习模型，输出待处理语音信号的增强处理幅度谱。例如，增强处理幅度谱可以通过下面的公式获取：
[0064][0065]
f
θ
(
·
)为机器学习模型学习的噪声消除函数。
[0066]
对增强幅度谱和提取的待处理语音信号在时频域的相位谱，进行istft(逆时频变换)，确定增强语音信号
[0067]
在一些实施例中，利用梯度回传方式，训练待处理幅度谱对于机器学习模型的连接权重、各幅度谱统计特征对于机器学习模型的连接权重。
[0068]
例如，平滑因子α是是固定值的、不可学习的，深度神经网络模型可以通过梯度回传方式学习赋予y(k，l)和r(k，l)这两个输入的连接权重，从而更加准确地从y(k，l)中消除噪声。
[0069]
图2示出本公开的语音信号的增强处理方法的一些实施例的示意图。
[0070]
如图2所示，将带噪的时域语音信号y(t)＝x(t)+w(t)变换到时频域上的二维stft复数参数表达y(k，l)。提取y(k，l)的幅度谱|y(k，l)|2和相位谱。
[0071]
在将|y(k，l)|2输入机器学习模型前，先将|y(k，l)|2输入oral模块进行递归平滑信号处理；然后，将oral模块的输出r(k，l)与|y(k，l)|2在通道维进行融合为i(k，l)，输入机器学习模型。
[0072]
这样，oral模块可以使机器学习模型的输入由二维向量y(k，l)变为三维张量i(k，l)。即i(k，l)中既包含原始输入信息y(k，l)，也包含oral模块用递归平滑算法输出的结果
二维向量r(k，l)。从而，可以为机器学习模型提供更多的幅度谱统计信息，从而提高语音增强效果。
[0073]
通过机器学习模型，预测纯净语音信号的stft幅度谱将与带有噪声信号的stft复数参数相位谱结合，进行istft变换，得到预测的时域上的纯净语音信号
[0074]
在上述实施例中，在机器学习模型的基础上，融入了信号平滑算法，能够在高斯白噪声的假设下，提高带噪信号stft参数y(k，l)的信噪比。
[0075]
在一些实施例中，图3示出了oral模块的输出与原始输入信息的结合，以及oral模块与深度神经网络模块的结合方式。
[0076]
图3示出本公开的语音信号的增强处理方法的另一些实施例的示意图。
[0077]
如图3所示，利用平滑因子α对待处理语音信号y(t)的待处理幅度谱|y(k，l)|2进行处理，得到幅度谱统计特征r(k，l)。根据|y(k，l)|2和r(k，l)与深度神经网络的连接权重，利用深度神经网络获取增强处理幅度谱。
[0078]
在一些实施例中，oral模块下一层的深度神经网络可以通过梯度回传的方式，学习与oral模块的输出、原始输入信息之间的连接权重。
[0079]
而且，oral模块采用的二维卷积结构可以和相同的二维卷积结构进行直接对接。例如，与rnn结合时，将二维卷积结构不同通道输出的特征进行拼接，即可输入lstm等处理时序信号特征的结构当中。与全连接神经网络也可以通过相同方法，先进行不同通道的特征拼接，即可实现不同神经元之间的全连接。
[0080]
这样，可以抽取深度神经网络在此任务中最需要的信息，从而提高最终的语音增强效果。实验证明在
‑
5db，0db，5db，10db，15db的信噪比条件下，在u
‑
net及卷积递归网络上增加oral模块，语音增强评测指标均有提升。
[0081]
图4示出本公开的语音信号的增强处理装置的一些实施例的框图。
[0082]
如图4所示，语音信号的增强处理装置4包括提取单元41、确定单元42、消除单元43。
[0083]
提取单元41提取待处理语音信号在时频域的幅度谱，作为待处理幅度谱。待处理语音信号中包含噪声。
[0084]
在一些实施例中，观测到的带噪语音信号在时域产生，是一维时域信号。通过短时傅里叶变换，可以用时频域的二维stft复数参数来完整表达带噪语音的时域信息。此时，时域上的语音增强任务可以通过在时频域上的算法完成。
[0085]
例如，待处理语音信号为y(t)＝x(t)+w(t)，x(t)为纯净的语音信号，w(t)为噪声。例如，可以通过stft将y(t)变换为时频域信号y(k，l)，k为频域变量，l为时域变量(如帧序号)。提取y(k，l)的幅度谱|y(k，l)|2作为待处理幅度谱。
[0086]
确定单元42根据待处理语音信号的每一帧幅度谱及其相应的多帧历史幅度谱，确定待处理语音信号的幅度谱统计特征。
[0087]
在一些实施例中，确定单元42利用二维卷积结构，对每一帧幅度谱进行平滑滤波处理，确定幅度谱统计特征。
[0088]
在一些实施例中，利用相应的多帧历史幅度谱，对每一帧幅度谱进行平滑滤波处
理，确定幅度谱统计特征。例如，对于第l帧的幅度谱，可以根据第l帧的前n帧的幅度谱对第l帧的幅度谱进行递归平滑信号处理，从而获取第l帧的幅度谱统计特征。
[0089]
例如，可以利用二维卷积结构，对每一帧幅度谱进行平滑滤波处理，确定幅度谱统计特征。可以利用二维卷积结构的结构实现递归平滑信号处理，二维卷积结构能够方便地与cnn模型、rnn模型、dnn模型等的结构进行结合，从而降低技术方案的实现难度。
[0090]
在一些实施例中，确定单元42根据每一帧幅度谱及其相应的多帧历史幅度谱的加权和，确定幅度谱统计特征。
[0091]
在一些实施例中，确定单元42在各时间窗口内，根据待处理语音信号的每一帧幅度谱及其相应的多帧历史幅度谱，确定待处理语音信号在各时间窗口内的幅度谱统计特征。
[0092]
例如，可以设置一个可以滑动的时间窗口，在待处理幅度谱的整个时间范围内滑动；在每次滑动的位置，确定时间窗口内的幅度谱统计特征，直到时间窗口滑动出待处理幅度谱的时间范围；根据各时间窗口内的幅度谱统计特征，确定待处理幅度谱的幅度谱统计特征。
[0093]
在一些实施例中，确定单元42利用相应的多帧历史幅度谱对每一帧幅度谱进行平滑滤波处理，确定幅度谱统计特征。
[0094]
这样，r(k，l)中包含了历史帧的幅度谱信息，即r(k，l)能够反映幅度谱的统计特征。由于信号与噪声的统计特征具有差异性，所以可以通过机器学习模型消除待处理幅度谱中的噪声，从而提高增强处理的效果。
[0095]
消除单元43根据待处理幅度谱、幅度谱统计特征，利用机器学习模型消除待处理幅度谱中的噪声，获取增强语音信号。
[0096]
在一些实施例中，消除单元43将待处理幅度谱和幅度谱统计特征在通道维上进行拼接，生成三维特征矩阵，将三维特征矩阵输入机器学习模型，获取增强语音信号。
[0097]
在一些实施例中，消除单元43将待处理幅度谱、幅度谱统计特征输入机器学习模型，输出待处理语音信号的增强处理幅度谱，对增强幅度谱和提取的待处理语音信号在时频域的相位谱，进行逆时频变换，确定增强语音信号。
[0098]
在一些实施例中，机器学习模型通过如下的方式训练：利用梯度回传方式，对待处理幅度谱对于机器学习模型的连接权重、各幅度谱统计特征对于所述机器学习模型的连接权重进行训练。
[0099]
oral模块采用的二维卷积结构可以和相同的二维卷积结构进行直接对接。例如，与rnn结合时，将二维卷积结构不同通道输出的特征进行拼接，即可输入lstm等处理时序信号特征的结构当中。与全连接神经网络也可以通过相同方法，先进行不同通道的特征拼接，即可实现不同神经元之间的全连接。
[0100]
这样，可以抽取深度神经网络在此任务中最需要的信息，从而提高最终的语音增强效果。实验证明在
‑
5db，0db，5db，10db，15db的信噪比条件下，在u
‑
net及卷积递归网络上增加oral模块，语音增强评测指标均有提升。
[0101]
在上述实施例中，在机器学习模型的基础上，融入了信号平滑算法，能够在高斯白噪声的假设下，提高带噪信号stft参数y(k，l)的信噪比。
[0102]
图5示出本公开的语音信号的增强处理装置的另一些实施例的框图。
[0103]
如图5所示，该实施例的语音信号的增强处理装置5包括：存储器51以及耦接至该存储器51的处理器52，处理器52被配置为基于存储在存储器51中的指令，执行本公开中任意一个实施例中的语音信号的增强处理方法。
[0104]
其中，存储器51例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(boot loader)、数据库以及其他程序等。
[0105]
图6示出本公开的语音信号的增强处理装置的又一些实施例的框图。
[0106]
如图6所示，该实施例的语音信号的增强处理装置6包括：存储器610以及耦接至该存储器610的处理器620，处理器620被配置为基于存储在存储器610中的指令，执行前述任意一个实施例中的语音信号的增强处理方法。
[0107]
存储器610例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(boot loader)以及其他程序等。
[0108]
语音信号的增强处理装置6还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630、640、650以及存储器610和处理器620之间例如可以通过总线660连接。其中，输入输出接口630为显示器、鼠标、键盘、触摸屏、麦克、音箱等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口。存储接口650为sd卡、u盘等外置存储设备提供连接接口。
[0109]
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0110]
至此，已经详细描述了根据本公开的语音信号的增强处理方法、语音信号的增强处理装置和非易失性计算机可读存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
[0111]
可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
[0112]
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。