1.本技术涉及计算机技术领域，具体涉及语音技术、计算机视觉、深度学习技术领域，尤其涉及语音增强模型生成方法和装置、语音增强方法和装置、电子设备、计算机可读介质以及计算机程序产品。


背景技术：

2.语音增强任务，即通过观测到的时域(time domain)带噪语音信号，得到时域上的预测纯净语音信号，当预测纯净语音信息与真实纯净语音信号的差异越小时，估计的效果通常被认为越好，随着数据量的扩大、计算设备的运算能力提升和深度神经网络结构优化，将深度神经网络模型应用在语音增强任务上越来越普遍。
3.但是，采用神经网络模型进行语音增强的策略，通常使用巨大的参数量来建模，再进行最优参数的寻找。此种方法通常参数量巨大、没有专家知识、缺乏可解释性。


技术实现要素：

4.本技术的实施例提出了语音增强模型生成方法和装置、语音增强方法和装置、电子设备、计算机可读介质以及计算机程序产品。
5.第一方面，本技术的实施例提供了一种语音增强模型生成方法，该方法包括：获取样本语音信号的样本时频域谱图集，样本时频域谱图集包括至少一个样本时频域谱图；获取预先建立的深度神经网络，深度神经网络包括：平滑模块、网络模块，平滑模块用于对输入的图像进行平滑处理，得到输入的图像对应的平滑特征图；执行以下训练步骤：从样本时频域谱图集中选取样本时频域谱图，并将选取的样本时频域谱图以及与选取的样本时频域谱图对应的平滑特征图叠加在一起共同输入网络模块，得到网络模块输出的预估时频域谱图；响应于确定深度神经网络满足训练完成条件，则将深度神经网络作为语音增强模型。
6.在一些实施例中，上述平滑模块包括：卷积模块，卷积模块采用平滑算法作为卷积核，平滑算法用于将输入的图像中设定个长度内的图块与各图块对应的权重相乘；权重由平滑因子确定，平滑因子的值固定。
7.在一些实施例中，上述平滑模块包括：卷积模块，卷积模块采用平滑算法作为卷积核，平滑算法用于将输入的图像中设定个长度内的图块与各图块对应的权重相乘；权重由平滑因子确定，平滑因子随深度神经网络训练而进行自学习，直至深度神经网络满足训练完成条件为止。
8.在一些实施例中，上述卷积模块为多个，多个卷积模块并联连接，每个卷积模块的平滑因子的值不同。
9.在一些实施例中，上述平滑因子的自学习包括以下步骤：初始化平滑因子的值；基于误差反向传播算法以及深度神经网络的损失函数，在深度神经网络每次迭代时，更新平滑因子的值。
10.第二方面，本技术的实施例提供了一种语音增强方法，该方法包括：获取目标语音
信号的目标时频域谱图；将目标时频域谱图输入采用如第一方面中任一实现方式描述的方法生成的语音增强模型中，得到语音增强模型生成的预测语音信号的时频域谱图。
11.第三方面，本技术的实施例提供了一种语音增强模型生成装置，该装置包括：样本获取单元，被配置成获取样本语音信号的样本时频域谱图集，样本时频域谱图集包括至少一个样本时频域谱图；网络获取单元，被配置成获取预先建立的深度神经网络，深度神经网络包括：平滑模块、网络模块，平滑模块用于对输入的图像进行平滑处理，得到输入的图像对应的平滑特征图；选取单元，被配置成从样本时频域谱图集中选取样本时频域谱图；输入单元，被配置成将选取的样本时频域谱图以及与选取的样本时频域谱图对应的平滑特征图叠加在一起共同输入网络模块，得到网络模块输出的预估时频域谱图；输出单元，被配置成响应于确定深度神经网络满足训练完成条件，则将深度神经网络作为语音增强模型。
12.在一些实施例中，上述平滑模块包括：卷积模块，卷积模块采用平滑算法作为卷积核，平滑算法用于将输入的图像中设定个长度内的图块与各图块对应的权重相乘；权重由平滑因子确定，平滑因子的值固定。
13.在一些实施例中，上述平滑模块包括：卷积模块，卷积模块采用平滑算法作为卷积核，平滑算法用于将输入的图像中设定个长度内的图块与各图块对应的权重相乘；权重由平滑因子确定，平滑因子随深度神经网络训练而进行自学习，直至深度神经网络满足训练完成条件为止。
14.在一些实施例中，上述卷积模块为多个，多个卷积模块并联连接，每个卷积模块的平滑因子的值不同。
15.在一些实施例中，上述平滑因子的自学习包括以下步骤：初始化平滑因子的值；基于误差反向传播算法以及深度神经网络的损失函数，在深度神经网络每次迭代时，更新平滑因子的值。
16.第四方面，本技术的实施例提供了一种语音增强装置，该装置包括：获取单元，被配置成获取目标语音信号的目标时频域谱图；生成单元，被配置成将目标时频域谱图输入采用如第一方面中任一实现方式描述的方法生成的语音增强模型中，得到语音增强模型生成的预测语音信号的时频域谱图。
17.第五方面，本技术的实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面或第二方面中任一实现方式描述的方法。
18.第六方面，本技术的实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面中任一实现方式描述的方法。
19.第七方面，本技术的实施例提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面或第二方面任一实现方式描述的方法。
20.本技术的实施例提供的语音增强模型生成方法和装置，首先获取样本语音信号的样本时频域谱图集，样本时频域谱图集包括至少一个样本时频域谱图；其次，获取预先建立的深度神经网络，深度神经网络包括：平滑模块、网络模块，平滑模块用于对输入的图像进行平滑处理，得到输入的图像对应的平滑特征图；从次，执行以下训练步骤：从样本时频域谱图集中选取样本时频域谱图，并将选取的样本时频域谱图以及与选取的样本时频域谱图对应的平滑特征图叠加在一起共同输入网络模块，得到网络模块输出的预估时频域谱图；
最后，响应于确定深度神经网络满足训练完成条件，则将深度神经网络作为语音增强模型。由此，通过平滑模块增加了深度神经网络的输入信息；通过将平滑信号处理算法与深度神经网络相结合，在具有专家知识算法的基础上提高深度神经网络的收敛速度，减少了深度神经网络的参数值的获取时间，优化了训练得到的语音增强模型的语音增强效果。
附图说明
21.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：
22.图1是本技术的一个实施例可以应用于其中的示例性系统架构图；
23.图2是根据本技术的语音增强模型生成方法的一个实施例的流程图；
24.图3是本技术中平滑模块的与网络模块相连接的一种连接示意图；
25.图4是根据本技术的语音增强方法的一个实施例的流程图；
26.图5是根据本技术的语音增强模型生成装置的实施例的结构示意图；
27.图6是根据本技术的语音增强装置的实施例的结构示意图；
28.图7是适于用来实现本技术的实施例的电子设备的结构示意图。
具体实施方式
29.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
30.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
31.图1示出了可以应用本技术实施例的语音增强模型生成方法、语音增强方法、语音增强模型生成装置、语音增强装置的示例性系统架构100。
32.如图1所示，系统架构100可以包括终端101、102，网络103、数据库服务器104和服务器105。网络103用以在终端101、102，数据库服务器104与服务器105之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
33.用户110可以使用终端101、102通过网络103与服务器105进行交互，以接收或发送消息等。终端101、102上可以安装有各种客户端应用，例如模型训练类应用、语音增强类应用、网页浏览器和即时通讯工具等。
34.这里的终端101、102可以是硬件，也可以是软件。当终端101、102为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)、膝上型便携计算机和台式计算机等等。当终端101、102为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
35.当终端101、102为硬件时，其上还可以安装有时频域谱图转换设备。时频域谱图转换设备可以是各种能实现将语音信号转换为时频域谱图功能的设备，该时频域谱图转换设备还可以将时频域谱图转换为语音信号。用户110可以利用终端101、102上的时频域谱图转
换设备，来采集时频域谱图；或者将得到的时频域谱图转换为语音信号。
36.数据库服务器104可以是提供各种服务的数据库服务器。例如数据库服务器中可以存储有样本时频域谱图集，样本时频域谱图集包括至少一个样本时频域谱图。这样，用户110也可以通过终端101、102，从数据库服务器104所存储的样本时频域谱图集中选取样本时频域谱图。
37.服务器105也可以是提供各种服务的服务器，例如对终端101、102上显示的各种应用提供支持的后台服务器。后台服务器可以利用终端101、102发送的样本集中的样本，对初始模型进行训练，并可以将训练结果(如生成的语音增强模型)发送给终端101、102。这样，用户可以应用生成的语音增强模型进行语音增强。
38.这里的数据库服务器104和服务器105同样可以是硬件，也可以是软件。当它们为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当它们为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
39.需要说明的是，本技术实施例所提供的语音增强模型生成方法或语音增强方法一般由服务器105执行。相应地，语音增强模型生成装置或语音增强装置一般也设置于服务器105中。
40.需要指出的是，在服务器105可以实现数据库服务器104的相关功能的情况下，系统架构100中可以不设置数据库服务器104。
41.应该理解，图1中的终端、网络、数据库服务器和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端、网络、数据库服务器和服务器。
42.语音增强任务，即通过观测到的时域(time domain)带噪语音信号y(n)(n表示时间)，得到时域上的预测纯净语音信号当估计出的与真实的纯净语音信号x(n)的差异越小时，估计的效果通常被认为越好。差异即距离，可以应用不同的定义距离的算子，如mse(mean square error，均方误差)可以用作差异的衡量标准，即当mse越小时，以pesq(perceptual evaluation of speech quality，语音质量感知评估)，stoi(short
‑
time objective intelligibility，短时目标清晰度)，sdr(signal
‑
to
‑
distortion ratio，信噪比)，snr(simplified noise level reduction,简化的噪声减少率)等为评测指标的语音增强效果通常会越好。
43.当将时域上的带噪语音信号y(n)通过短时傅里叶变换(short
‑
time fourier transform,stft)变换为时频域上的二维stft复数参数y(k,l)(k表示频率，l表示时间帧)时，可以通过应用时频域(time
‑
frequency domain)上的算法，实现语音增强。即先由y(k,l)估计得到再由逆stft变换从得到(预测语音信号)。
44.基于深度神经网络，由y(k,l)得到可以视为正在二维图像上做从像素点到像素点的映射，如果搭配mse作为损失函数，则可以将此任务视为有监督学习中的多变量回归预测任务。
45.如图2，示出了根据本技术的语音增强模型生成方法的一个实施例的流程200，该语音增强模型生成方法包括以下步骤：
46.步骤201，获取样本语音信号的样本时频域谱图集。
47.其中，样本时频域谱图集包括至少一个样本时频域谱图。
48.在本实施例中，语音增强模型生成方法的执行主体(例如图1所示的服务器)可以通过多种方式来获取样本时频域谱图集。例如，执行主体可以通过有线连接方式或无线连接方式，从数据库服务器(例如图1所示的数据库服务器)中获取存储于其中的现有的样本时频域谱图集。再例如，用户可以通过终端(例如图1所示的终端101、102、103)来收集样本。这样，执行主体可以接收终端所收集的样本时频域谱图，并将这些样本时频域谱图存储在本地，从而生成样本时频域谱图集。
49.在这里，样本时频域谱图集中可以包括至少一个样本时频域谱图。其中，样本时频域谱图是将样本语音信号通过短时傅里叶变换(short
‑
time fourier transform,stft)变换为时频域上的二维stft复数参数(比如，幅度或相位)之后的图像，而样本语音信号是用于实现语音增强模型训练所采用的带噪声的语音信号。
50.具体地，样本时频域谱图可以是样本时频域幅度谱图，或者样本时频域谱图可以包括：样本时频域幅度谱图和样本时频域相位谱图。其中，样本时频域幅度谱图是样本语音信号经过短时傅里叶变换变换为时频域上的二维复数参数的幅度值的图。样本时频域相位谱图是样本语音信号经过短时傅里叶变换变换为时频域上的二维复数参数的相位值的图。
51.步骤202，获取预先建立的深度神经网络。
52.其中，深度神经网络包括：平滑模块、网络模块，平滑模块用于对输入的图像进行平滑处理，得到输入的图像对应的平滑特征图。
53.本实施例中，输入的图像是一种含噪语音信号的时频域幅度谱图，该含噪语音信号的时频域幅度谱图是该含噪语音信号经过短时傅里叶变换变换为时频域上的二维复数参数的幅度值的图，由深度神经网络的输入的内容确定，比如，输入的图像可以是指样本时频域谱图中的样本时频域幅度谱图，或者样本时频域幅度谱图之外的时频域幅度谱图。
54.平滑模块通过对输入的图像沿时间轴做平滑处理，使输入的图像中的噪声和语音体现出不同的统计特性，增强了噪声和语音之间的对比度。
55.可选地，平滑模块还可以通过对输入的图像沿频率轴做平滑处理，使输入的图像中的噪声和语音会体现出不同的统计特性，增强了噪声和语音之间的对比度。在本实施例的一些可选实现方式中，平滑模块可以采用卷积模块，基于经典卷积神经网络结构，借助卷积神经网络中卷积核的思想，可以将平滑处理算法做成卷积核，平滑算法用于将输入的图像中设定个长度内的图块与各图块对应的权重相乘。
56.具体地，平滑算法的计算规则表达式为：
[0057][0058]
在式(1)中，d代表利用历史信息的长度，也就是从l时刻往前利用多少个时间帧的信息。d的最大值可以与输入的图像的总时间帧长相同，比如，输入的图像宽度是201，则d的最大值是201。
[0059]
在式(1)中，是不同图块的权重，该权重中只有平滑因子为决定平滑效果的参数，即权重由平滑因子α确定，在本可选实现方式中，平滑因子α的值可以是固定值。
[0060]
本可选实现方式中，由于平滑因子α是对图像进行平滑处理具有决定性的参数，通
过设置平滑因子的值，可以对输入的图像达到不同的平滑效果。当平滑因子α的值是固定值时，将平滑模块输出的平滑特征图和输入的图像合并在一起生成作为网络模块的新输入，丰富了网络模块的输入信息，提高最终的降噪效果。
[0061]
在本实施例的一些可选实现方式中，可以将平滑因子扩展为一维平滑因子矩阵，一维平滑因子矩阵维度为n，以此借用多通道卷积核的思想实现平滑算法的并行处理，此时可以得到多个对应平滑算法输出p
α
(k,l)；
[0062][0063]
具体地，如图3所示，卷积模块为多个，多个卷积模块pal(α0)、pal(α1)、pal(α2)、pal(α3)、pal(α4)并联连接，每个卷积模块的平滑因子(α0、α1、α2、α3、α4)的值不同。以取五个平滑因子为例，即一维平滑因子矩阵维度为5。则与深度神经网络的结合连接图如图3所示。例如，[α0…
α
n
]可以分别取值[0.5 0.6 0.7 0.8 0.9]。
[0064]
本可选实现方式中，不同卷积模块的平滑因子对应不同的通道，这样既可以丰富深度神经网络的输入信息，也可以使网络模块在训练过程参照不同的权重值的平滑特征图的进行参数调优。
[0065]
本实施例中，每个样本语音信号均对应有真实的不带噪声的纯净语音信号，纯净语音信号经短时傅里叶变换，得到的纯净语音的时频域谱图。
[0066]
深度神经网络用于在输入的图像和预估时频域谱图之间建立一种映射关系，当纯净语音的时频域谱图与深度神经网络输出的预估时频域谱图之间的差值越小，则代表深度神经网络的拟合能力越强，逼近能力就越强，从而训练生成的语音增强模型精确度越高。
[0067]
本实施例中，网络模块是一种深度神经网络模块，参见图3所示，网络模块可以是由编码器(encoder)和解码器(decoder)组成的模块；网络模块输出的图像为预估时频域谱图，网络模块的输入信息包括：输入的图像和多个卷积模块pal(α0)、pal(α1)、pal(α2)、pal(α3)、pal(α4)输出的图像压接在一起形成的不同通道的图像。
[0068]
具体地，是将多卷积模块输出与输入的图像结合，即可得到最终的网络模块的输入信息i(k,l)：
[0069][0070]
在式(3)中i∈[1,n+1]，表示网络模块的通道信息；在图3中，y(k,l)是输入的图像的信息，p
α
(k,l)是多个卷积模块并联输出的图像的信息。
[0071]
步骤203，从样本时频域谱图集中选取样本时频域谱图。
[0072]
本实施例中，执行主体可以从步骤201中获取的样本时频域谱图集中选取样本时频域谱图，以及执行步骤204至步骤205的训练步骤。其中，样本时频域谱图的选取方式和选取数据在本技术中并不进行限定。例如可以是随机选取至少一个样本时频域谱图，也可以是从样本时频域谱图集中选取清晰度较好(即像素较高)的样本时频域谱图。步骤204，将选取的样本时频域谱图以及与选取的样本时频域谱图对应的平滑特征图叠加在一起共同输入网络模块，得到网络模块输出的预估时频域谱图。
[0073]
本实施例中，样本时频域谱图可以是样本时频域幅度谱图，或者样本时频域谱图包括：样本时频域幅度谱图和样本时频域相位谱图。当样本时频域谱图是样本时频域幅度
谱图时，直接将样本时频域幅度谱图输入平滑模块，可以得到平滑模块输出的平滑特征图。
[0074]
当样本时频域谱图包括：样本时频域幅度谱图和样本时频域相位谱图时，选取样本时频域谱图中的样本时频域幅度谱图，并将选取的样本时频域幅度谱图输入平滑模块，可以得到平滑模块输出的平滑特征图。
[0075]
本实施例中，由于选取的样本时频域谱图与平滑特征图的大小或特征可以相同，将选取的样本时频域谱图以及与选取的样本时频域谱图对应的平滑特征图叠加在一起，仅增加了图像输入的通道。比如，平滑特征图是由两个并联的卷积模块输出的图像，则选取的样本时频域谱图与平滑特征图叠加在一起一共有三个图像通道。
[0076]
由于平滑因子为反映平滑效果的一个参数，为了实现平滑因子随网络模块一起自动优化，可以将信号递归平滑算法与深度神经网络相结合，通过误差回传进行参数自学习的回传算法应用到了递归平滑算法当中，使得此信号处理算法的参数值即平滑因子的值无需通过经验设置，便可以通过神经网络训练得到统计意义上最优的参数值。
[0077]
本实施例的深度神经网络的原始输入为y(k,l)，预测目标为如果以mse为损失函数，则希望尽量减小的误差为：
[0078][0079]
即所预测的语音信号的时频域谱图和真实的纯净语音的时频域谱图之间距离。
[0080]
神经网络模型可表示为：
[0081][0082]
其中θ表示神经网络中的参数，包含权重矩阵以及偏差矩阵。最优参数求解的表达式为：
[0083]
θ
*
＝arg min
θ
||e
θ
||
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0084]
即以e为损失函数求解能使e达到最小值的参数值θ
*
。一般地，在神经网络中θ
*
的求解通过误差回传方式(backpropagation，bp)实现。
[0085]
在本实施例的一些可选实现方式中，平滑模块包括：卷积模块，卷积模块采用平滑算法作为卷积核，平滑算法用于将输入的图像中设定个长度内的图块与各图块对应的权重相乘；权重由平滑因子确定，平滑因子随深度神经网络训练而进行自学习，直至深度神经网络满足训练完成条件为止。
[0086]
本可选实现方式中，当平滑因子α随深度神经网络训练而进行自学习时，将平滑模块输出的平滑特征图和输入的图像合并在一起生成作为网络模块的新输入，不仅丰富了网络模块的输入信息，也可以在训练过程中通过权重值的自学习来调整最优的平滑因子组合值，提高了深度神经网络收敛的可靠性。
[0087]
可选地，卷积模块可以为多个，多个卷积模块并联连接。本可选实现方式，通过设置多个并联连接的卷积模块可以进一步提高深度神经网络的收敛效果。
[0088]
在本实施例的一些可选实现方式中，平滑因子的自学习包括以下步骤：初始化平滑因子的值；基于误差反向传播算法以及深度神经网络的损失函数，在深度神经网络每次迭代时，更新平滑因子的值。
[0089]
具体地，即深度神经网络的参数寻优过程通过误差回传算法实现，在
当中，展开计算过程为：
[0090]
f
θ
(y(k,l))＝g
l
(w
l
g
l
‑1(
…
g1(w1＊i(k,l))))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0091]
在式(7)中，g
l
为深度神经网络的第l层的激活函数，w
l
为第l层的权值矩阵。
[0092]
当平滑因子的值不是固定值时，将在深度神经网络训练过程中自学习，其学习过程基于bp算法，计算过程为：
[0093]
参数初始化，可将α＝[α0…
α
n
]中各个平滑参数均取为[0,1]中的随机数。
[0094]
梯度更新公式：
[0095][0096]
其中，在式(8)中，j表示训练过程中的迭代次数，λ表示训练过程中的学习率，e表示损失函数。式(8)中第一项计算方法为i层以外的梯度信息计算：
[0097][0098]
第二项为i层以内的梯度信息计算：
[0099][0100]
至此，借助多通道卷积核实现平滑模块计算得到i(k,l)作为神经网络输入信息和通过梯度计算得到最优参数的过程已经推导完毕，可以通过和梯度更新公式得到自学习到的α＝[α0…
α
n
]。
[0101]
本可选实现方式中，将平滑因子设置为基于深度神经网络的误差反向传播算法以及损失函数可变的参数，提高了平滑模块的平滑效果。
[0102]
步骤205，响应于确定深度神经网络满足训练完成条件，则将深度神经网络作为语音增强模型。
[0103]
在本实施例中，训练完成条件包括以下至少一项：训练迭代次数达到预定迭代阈值，损失函数的值小于预定损失值阈值。例如，训练迭代达到5千次。损失函数的值小于0.05。训练完成后将训练完成的深度神经网络作为语音增强模型。设置训练完成条件可以加快语音增强模型收敛速度。
[0104]
在本实施例的一些可选实现方式中，若深度神经网络不满足训练完成条件，则调整深度神经网络中的相关参数(比如，平滑因子)，返回执行步骤203
‑
步骤204，并判断深度神经网络是否满足训练完成条件，若满足执行步骤205，否则执行步骤203
‑
步骤204。
[0105]
本技术的实施例提供的语音增强模型生成方法，首先获取样本语音信号的样本时频域谱图集，样本时频域谱图集包括至少一个样本时频域谱图；其次，获取预先建立的深度神经网络，深度神经网络包括：平滑模块、网络模块，平滑模块用于对输入的图像进行平滑处理，得到输入的图像对应的平滑特征图；从次，执行以下训练步骤：从样本时频域谱图集中选取样本时频域谱图，并将选取的样本时频域谱图以及与选取的样本时频域谱图对应的平滑特征图叠加在一起共同输入网络模块，得到网络模块输出的预估时频域谱图；最后，响应于确定深度神经网络满足训练完成条件，则将深度神经网络作为语音增强模型。由此，通过平滑模块增加了深度神经网络的输入信息；通过将平滑信号处理算法与深度神经网络相
结合，在具有专家知识算法的基础上提高了深度神经网络的收敛速度，减少了深度神经网络的参数值获取时间。
[0106]
请参见图4，其示出了本技术提供的语音增强方法的一个实施例的流程400。该语音增强方法可以包括以下步骤：
[0107]
步骤401，获取目标语音信号的目标时频域谱图。
[0108]
在本实施例中，目标语音信号的目标时频域谱图是对目标语音信号经过短时傅里叶变换之后得到的图像，语音增强方法的执行主体(例如图1所示的服务器105)可以通过多种方式来获取目标时频域谱图。例如，执行主体可以通过有线连接方式或无线连接方式，从数据库服务器中获取存储于其中的目标语音信号的目标时频域谱图。再例如，执行主体也可以接收终端(例如图1所示的终端101、102)或其他设备采集的目标时频域谱图。
[0109]
在本实施例中，目标语音信号可以是带高频噪声的语音信号和/或带低频噪声的语音信号等等。且该目标语音信号的形式在本技术中也不限制。
[0110]
步骤402，将目标时频域谱图输入语音增强模型中，得到语音增强模型生成的预测语音信号的时频域谱图。
[0111]
在本实施例中，执行主体可以将步骤401中获取的目标语音信号的目标时频域谱图输入语音增强模型中，从而生成预测语音信号的时频域谱图。步骤201
‑
205训练生成的语音增强模型可以将带噪语音信号的时频域谱图映射到预测语音信号的时频域谱图，再将得到的预测语音信号的时频域谱图通过逆短时傅里叶变换，可以得到预测语音信号。
[0112]
实验证明：预测语音信号的语音增强的效果在
‑
5db,0db,5db,10db,15db的信噪比条件下，以pesq,stoi和snr为代表的语音增强评测指标均得到了更大提升。
[0113]
在本实施例中，语音增强模型可以是采用如上述图2实施例所描述的方法而生成的。具体生成过程可以参见图2实施例的相关描述，在此不再赘述。
[0114]
需要说明的是，本实施例语音增强方法可以用于测试上述各实施例所生成的语音增强模型。进而根据转换结果可以不断地优化语音增强模型。该方法也可以是上述各实施例所生成的语音增强模型的实际应用方法。采用上述各实施例所生成的语音增强模型，来进行语音增强，有助于提高语音增强的效果。
[0115]
进一步参考图5，作为对上述各图所示方法的实现，本技术提供了语音增强模型生成装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0116]
如图5所示，本技术的实施例提供了一种语音增强模型生成装置500，该装置500包括：样本获取单元501、网络获取单元502、选取单元503、输入单元504、输出单元505。其中，样本获取单元501，可以被配置成获取样本语音信号的样本时频域谱图集，样本时频域谱图集包括至少一个样本时频域谱图。网络获取单元502，可以被被配置成获取预先建立的深度神经网络，深度神经网络包括：平滑模块、网络模块，平滑模块用于对输入的图像进行平滑处理，得到输入的图像对应的平滑特征图。选取单元503，可以被配置成从样本时频域谱图集中选取样本时频域谱图。输入单元504，可以被配置成将选取的样本时频域谱图以及与选取的样本时频域谱图对应的平滑特征图叠加在一起共同输入网络模块，得到网络模块输出的预估时频域谱图。输出单元505，可以被配置成响应于确定深度神经网络满足训练完成条件，则将深度神经网络作为语音增强模型。
[0117]
在本实施例中，语音增强模型生成装置500中，样本获取单元501、网络获取单元502、选取单元503、输入单元504、输出单元505的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201、步骤202、步骤203、步骤204、步骤205。
[0118]
在一些实施例中，上述平滑模块包括：卷积模块，卷积模块采用平滑算法作为卷积核，平滑算法用于将输入的图像中设定个长度内的图块与各图块对应的权重相乘；权重由平滑因子确定，平滑因子的值固定。
[0119]
在一些实施例中，上述平滑模块包括：卷积模块，卷积模块采用平滑算法作为卷积核，平滑算法用于将输入的图像中设定个长度内的图块与各图块对应的权重相乘；权重由平滑因子确定，平滑因子随深度神经网络训练而进行自学习，直至深度神经网络满足训练完成条件为止。
[0120]
在一些实施例中，上述卷积模块为多个，多个卷积模块并联连接，每个卷积模块的平滑因子的值不同。
[0121]
在一些实施例中，上述平滑因子的自学习包括以下步骤：初始化平滑因子的值；基于误差反向传播算法以及深度神经网络的损失函数，在深度神经网络每次迭代时，更新平滑因子的值。
[0122]
在一些实施例中，上述训练完成条件包括以下至少一项：训练迭代次数达到预定迭代阈值；深度神经网络的损失函数满足预设的要求。
[0123]
可以理解的是，该装置500中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置500及其中包含的单元，在此不再赘述。
[0124]
继续参见图6，作为对上述图4所示方法的实现，本技术提供了一种语音增强装置的一个实施例。该装置实施例与图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0125]
如图6所示，本实施例的语音增强装置600可以包括：获取单元601、生成单元602。其中，获取单元601，可以被配置成获取目标语音信号的目标时频域谱图。生成单元602，可以被配置成将目标时频域谱图输入如上述图2或图4实施例所描述的方法生成的语音增强模型中，得到语音增强模型生成的预测语音信号的时频域谱图。
[0126]
可以理解的是，该装置600中记载的诸单元与参考图4描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置600及其中包含的单元，在此不再赘述。
[0127]
下面参考图7，其示出了适于用来实现本技术的实施例的电子设备700的结构示意图。
[0128]
如图7所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(rom)702中的程序或者从存储装置708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。在ram 703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、rom 702以及ram703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
[0129]
通常，以下装置可以连接至i/o接口705：包括例如触摸屏、触摸板、键盘、鼠标、等的输入装置706；包括例如液晶显示器(lcd，liquid crystal display)、扬声器、振动器等
的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图7中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
[0130]
特别地，根据本技术的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本技术的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从rom 702被安装。在该计算机程序被处理装置701执行时，执行本技术的实施例的方法中限定的上述功能。
[0131]
需要说明的是，本技术的实施例的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(radio frequency，射频)等等，或者上述的任意合适的组合。
[0132]
上述计算机可读介质可以是上述服务器中所包含的；也可以是单独存在，而未装配入该服务器中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该服务器执行时，使得该服务器：获取样本语音信号的样本时频域谱图集，样本时频域谱图集包括至少一个样本时频域谱图；获取预先建立的深度神经网络，深度神经网络包括：平滑模块、网络模块，平滑模块用于对输入的图像进行平滑处理，得到输入的图像对应的平滑特征图；执行以下训练步骤：从样本时频域谱图集中选取样本时频域谱图，并将选取的样本时频域谱图以及与选取的样本时频域谱图对应的平滑特征图叠加在一起共同输入网络模块，得到网络模块输出的预估时频域谱图；响应于确定深度神经网络满足训练完成条件，则将深度神经网络作为语音增强模型。
[0133]
可以以一种或多种程序设计语言或其组合来编写用于执行本技术的实施例的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立
的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0134]
附图中的流程图和框图，图示了按照本技术的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0135]
描述于本技术的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器，包括样本获取单元、网络获取单元、选取单元、输入单元、输出单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，样本获取单元还可以被描述为“被配置成获取样本语音信号的样本时频域谱图集”的单元。
[0136]
以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术的实施例中申请的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。