1.本技术的实施例涉及噪声消除技术领域，尤其涉及主动噪声消除方法、装置、电子设备和存储介质。


背景技术：

2.目前，主动噪声消除技术主要是消除某空间位置的噪声来保护人的听力，防止听力损伤并降低人耳的疲劳感。由于主动降噪技术通过扬声器播放控制信号并通过一定声学路径传播到噪声消除区域，此过程不可避免的引入了部分非线性响应且在强噪声环境下尤为明显。在主动噪声消除技术中，传统信号处理的自适应滤波方法对于非线性的建模能力有限，往往需要对路径中的非线性进行先验的假设，降低了该技术在实际使用场景的鲁邦性。在基于深度神经网络的主动噪声消除技术中，通过训练神经网络对主动噪声消除系统中的非线性路径进行建模，消除非线性因素对于抗噪声产生的影响，但是在实际应用中需要要求其使用场景与训练场景一致，导致其对于不同环境变化的鲁邦性欠佳。


技术实现要素：

3.本技术的实施例针对目前主动噪声消除系统在强噪声环境下受到系统内部非线性的问题导致其降噪效果和稳定性大大下降的问题，通过深度学习对其系统内的非线性进行建模，并辅助自适应滤波器的迭代更新，实现稳定和良好的降噪效果。
4.为达到上述目的，第一方面，本技术的实施例公开了一种主动噪声消除方法，基于自适应滤波器且融合深度学习进行非线性过程建模并进行误差转换的主动噪声消除方法。
5.本技术的实施例提供一种主动噪声消除的方法，其特征在于，所述方法包括：将时域上的参考信号输入自适应滤波器，得到控制信号，所述参考信号是由噪声源发出后被参考麦克风采集到的信号；将所述控制信号通过非线性次级路径形成抗噪声信号；所述非线性次级路径是指包含扬声器，麦克风以及声学传输路径所引起的线性和非线性变换；将所述抗噪声信号与原始噪声叠加得到残余噪声；所述原始噪声为噪声源经过主路径传播后在误差麦克风处的噪声信号；所述残余噪声为被误差麦克风采集到的信号；根据所述控制信号、非线性次级路径模型和所述残余噪声得到原始噪声信号估计；根据所述原始噪声信号估计、逆非线性次级路径模型和所述控制信号得到误差信号；根据所述误差信号更新所述自适应滤波器，实现主动噪声消除。
6.在一个可行的实施方式中，所述方法还包括基于深度神经网络训练非线性次级路径模型，包括：将所述控制信号作为深度神经网络模型的输入，将所述抗噪声信号作为所述深度神经网络模型的目标输出；计算估计输出与所述目标输出的逼近误差；将所述逼近误差作为第一损失函数，进行训练得到训练好的所述非线性次级路径模型。
7.在一个可行的实施方式中，所述方法还包括基于深度神经网络训练逆非线性次级路径模型，包括：将所述原始噪声作为深度神经网络模型的输入，将最优控制信号作为目标输出，所述的最优控制信号为在所述的原始噪声中可以实现最高降噪量的控制信号；计算
所述神经网络模型输出估计信号与所述目标输出之间的降噪量；将所述降噪量作为第二损失函数，进行训练得到训练好的所述逆非线性次级路径模型。
8.在一个可行的实施方式中，所述深度神经网络模型包括：4层一维卷积神经网络，输出通道数分别为32、32、32、64、64、64，卷积核大小分别为64、64、32、16、8、8；2层长短期记忆神经网络，每层包括64个记忆节点；4层一维解卷积神经网络，输出通道数分别为64、64、32、32、32、1，卷积核大小分别为8、8、16、32、64、64；每一个卷积层的输出上使用批归一化处理，然后使用prelu激活函数。
9.在一个可行的实施方式中，所述根据所述控制信号、非线性次级路径模型和所述抗噪声信号得到原始噪声信号估计，包括：将所述控制信号输入所述非线性次级路径模型输出抗噪声信号估计；将所述抗噪声信号估计与所述残余噪声做差得到原始噪声信号估计。
10.在一个可行的实施方式中，所述根据所述原始噪声信号估计、逆非线性次级路径模型和所述控制信号得到误差信号，包括：将所述原始噪声信号估计输入所述逆非线次级路径模型得到最优控制信号估计；将所述最优控制信号估计与所述控制信号做差得到所述误差信号。
11.在一个可行的实施方式中，所述根据所述误差信号更新所述自适应滤波器，包括：根据所述误差信号采用最小方差法更新迭代所述自适应滤波器。
12.第二方面，本技术的实施例一种主动噪声消除的装置，所述装置包括：滤波模块，用于将时域上的参考信号输入自适应滤波器，得到控制信号，所述参考信号是由噪声源发出后被参考麦克风采集到的信号；抗噪模块，用于将所述控制信号通过非线性次级路径形成抗噪声信号；所述非线性次级路径是指包含扬声器，麦克风以及声学传输路径所引起的线性和非线性变换；叠加模块，用于将所述抗噪声信号与原始噪声叠加得到残余噪声；所述原始噪声为噪声源经过主路径传播后在误差麦克风位置处的信号；所述残余噪声为被误差麦克风采集到的信号；噪声估计模块，用于根据所述控制信号、非线性次级路径模型和所述残余噪声得到原始噪声信号估计；误差估计模块，用于根据所述原始噪声信号估计、逆非线性次级路径模型和所述控制信号得到误差信号；自适应更新模块，用于根据所述误差信号更新所述自适应滤波器，实现主动噪声消除。
13.第三方面，本技术的实施例提供一种电子设备，包括：至少一个存储器，用于存储程序；和至少一个处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行如第一方面任一所述的方法。
14.第四方面，本技术的实施例提供一种存储介质，所述存储介质中存储有指令，当所述指令在终端上运行时，使得第一终端执行如第一方面任一所述的方法。
15.本技术的实施例的优点在于：通过深度神经网络和自适应滤波器的融合取得比传统自适应滤波器的方式更好的噪声消除效果与稳定性；通过深度神经网络进行主动噪声消除中非线性路径的建模，相比于传统自适应滤波器基于先验物理模型的建模方式具有更高的建模精度；通过自适应滤波器完成了对于主路径变化的实时建模，保证了其在不同环境的鲁棒性；通过深度神经网络将残余噪声转换为滤波器输出误差，保证了在非线性出现时自适应滤波器的稳定性不会受到非线性的影响。
附图说明
16.为了更清楚地说明本说明书披露的多个实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书披露的多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
17.下面对实施例或现有技术描述中所需使用的附图作简单地介绍。
18.图1为本技术实施例提供的一种主动噪声消除方法的场景图；
19.图2为本技术实施例提供的一种主动噪声消除方法的流程图；
20.图3为本技术实施例提供的一种主动噪声消除装置示意图；
21.图4为本技术实施例提供的一种电子设备示意图。
具体实施方式
22.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
23.在以下的描述中，所涉及的术语“第一第二第三等”或模块a、模块b、模块c等，仅用于区别类似的对象，不代表针对对象的特定排序，可以理解地，在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
24.在以下的描述中，所涉及的表示步骤的标号，如s110、s120
……
等，并不表示一定会按此步骤执行，在允许的情况下可以互换前后步骤的顺序，或同时执行。
25.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
26.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
27.图1为一种主动噪声消除方法的场景图。如图1所示，将时域上的第n个采样点的参考信号x(n)输入自适应滤波器w(n)，得到控制信号y(n)，参考信号x(n)是由噪声源发出后被参考麦克风11采集到的信号；将控制信号y(n)通过非线性次级路径s形成抗噪声信号ys(n)；非线性次级路径s是指包含扬声器，麦克风以及声学传输路径所引起的线性和非线性变换；将述抗噪声信号ys(n)与原始噪声d(n)叠加得到残余噪声e(n)；原始噪声d(n)为噪声源经过主路径传p播后在误差麦克风12处的噪声信号；残余噪声e(n)为被误差麦克风12采集到的信号；根据控制信号y(n)、非线性次级路径模型13和残余噪声e(n)得到原始噪声信号估计根据所述原始噪声信号估计逆非线性次级路径模型14和控制信号y(n)得到误差信号所述误差信号通过自适应算法15更新自适应滤波器w(n)，实现主动噪声消除。
28.图2为一种主动噪声消除方法的流程图。如图2所示，包括：
29.s101，将时域的参考信号x作为输入信号输入自适应滤波器，输出控制信号y。
30.其中，参考信号x为噪声源发出并被参考麦克风采集得到的信号。
31.在一个具体的实施例中，第n个采样点参考信号x(n)输入自适应滤波器生成的控制信号y(n)为：
32.y(n)＝w(n)*x(n)
33.其中，w(n)为所述自适应滤波器的系数，x(n)所述参考信号，n代表第n个采样点。
34.s102，该控制信号y通过非线性次级路径形成抗噪声信号y
s
.
35.非线性次级路径是指包含扬声器，麦克风以及声学传输路径所引起的线性和非线性变换。抗噪声信号y
s
为控制信号y经过非线性次级路径传播后在误差麦克风处的信号。
36.在一个具体的实施例中，第n个采样点的控制信号y(n)经过非线性次级路径得到抗噪声信号y
s
(n)：
37.y
s
(n)＝s(y(n))
38.其中，s{
·
}为非线性次级路径。
39.s103，抗噪声信号y
s
与原始噪声d叠加进行噪声消除并形成残余噪声e。
40.原始噪声x为噪声源信号经过主路径传播后在误差麦克风处的信号。
41.残余噪声e为被误差麦克风采集到的信号。
42.在一个具体的实施例中，将第n个采样点的抗噪声信号y
s
(n)与原始噪声d(n)叠加进行噪声消除后得到残余噪声e(n)为：
43.e(n)＝d(n)+y
s
(n)
44.s104，根据控制信号、非线性次级路径模型和残余噪声得到原始噪声信号估计。
45.在一个具体的实施例中，步骤s104通过以下步骤s1041
‑
s1042实现。
46.s1041，将控制信号输入非线性次级路径模型输出抗噪声信号估计。
47.在一个具体的实施例中，可以将控制信号输入训练完毕的非线性次级路径模型的输入，对抗噪声信号进行估计，输出抗噪声信号估计
[0048][0049]
s1042，将抗噪声信号估计与所述残余噪声做差得到原始噪声信号估计。
[0050]
在一个具体的实施例中，可以将抗噪声信号估计与残余噪声做差，对原始噪声信号进行还原，得到原始噪声信号估计
[0051][0052]
其中，非线性次级路径模型通过训练深度神经网络得到。
[0053]
在一个具体的实施例中，可以基于深度神经网络训练非线性次级路径模型，包括:将控制信号作为深度神经网络的输入，将抗噪声信号作为目标输出，计算估计信号与目标输出的逼近误差作为损失函数，进行训练得到非线性次级路径模型。
[0054]
在一个具体的实施例中，非线性次级路径模型由4层一维卷积神经网络连接2层长短期记忆神经网络连接4层一维解卷积神经网络组成，所述4层一维卷积神经网络输出通道数分别为32、32、32、64、64、64，卷积核大小分别为64、64、32、16、8、8，所述2层长短期记忆神经网络各有64个记忆节点，所述4层一维解卷积神经网络输出通道数分别为64、64、32、32、32、1，卷积核大小分别为8、8、16、32、64、64。每一个卷积层的输出上使用批归一化处理，然后使用prelu激活函数，激活函数表达式为：
[0055][0056]
计算估计信号与目标输出的逼近误差作为损失函数为：
[0057][0058]
其中为抗噪声信号估计，φ
s
为非线性次级路径模型。通过不断的模型参数迭代减小上述损失函数，训练得到非线性次级路径模型。
[0059]
s105，根据原始噪声信号估计、逆非线性次级路径模型和控制信号得到误差信号。
[0060]
在一个具体的实施例中，步骤s105通过以下步骤s1051
‑
s1052实现。
[0061]
s1051，将原始噪声信号估计输入逆非线次级路径模型得到最优控制信号估计。
[0062]
在一个具体的实施例中，可以利用原始噪声信号估计输入训练完毕逆非线性次级路径模型14，进行最优控制信号的估计，输出最优控制信号估计
[0063][0064]
s1052，将最优控制信号估计与控制信号做差得到误差信号。
[0065]
在一个具体的实施例中，可以将控制信号与最优控制信号估计做差得到滤波器的误差信号
[0066][0067]
其中，逆非线性次级路径模型通过训练深度神经网络得到。
[0068]
在一个具体的实施例中，逆非线性次级路径模型由4层一维卷积神经网络，2层长短期记忆神经网络，4层一维解卷积神经网络依次组成。优选地，4层一维卷积神经网络输出通道数分别为32、32、32、64、64、64，卷积核大小分别为64、64、32、16、8、8；2层长短期记忆神经网络有64个记忆节点；4层一维解卷积神经网络输出通道数分别为64、64、32、32、32、1，卷积核大小分别为8、8、16、32、64、64。对每一个卷积层的输出上使用批归一化处理，然后使用prelu激活函数，激活函数表达式为：
[0069][0070]
通过所述训练完毕的非线性次级路径模型得到原始噪声信号估计，将原始噪声信号估计输入逆非线性次级路径模型并输出最优控制信号估计，计算最优控制信号估计的降噪量并作为损失函数：
[0071][0072]
其中，最优控制信号估计，逆非线性次级路径模型的输出为：
[0073]
[0074]
通过不断的模型参数迭代减小上述损失函数，训练得到逆非线性次级路径模型
[0075]
在一个具体的实施例中，将控制信号估计通过非线性次级路径模型估计最终的降噪量估计，并将最终的降噪量估计作为损失函数进行逆非线性次级路径模型的训练；其中，最优控制信号估计为在原始噪声中可以实现的最高降噪量的控制信号。
[0076]
在一个具体的实施例中，通过训练完毕的逆非线性次级路径模型估计预测的最优控制信号的最终的降噪量。
[0077]
s106，根据误差信号更新所述自适应滤波器，实现主动噪声消除。
[0078]
在一个具体的实施例中，可以将误差信号通过最小方差法进行更新迭代，得到自适应滤波器：
[0079][0080]
其中μ为滤波器的更新步长，ω(n)为在第n个采样点时自适应滤波器的系数。
[0081]
本技术的实施例提供的一种主动噪声消除方法，通过结合深度学习技术与自适应滤波器技术，在非线性的噪声消除系统中完成主动噪声消除。通过引入深度神经网络，完成对于非线性次级路径的建模，避免了传统数字信号处理技术对于先验模型的依赖。通过逆次级路径模型将残余噪声转换为滤波器输出误差保证了滤波器更新的稳定性并实时生成抗噪声信号。
[0082]
图3为本技术的实施例提供的一种主动噪声消除的装置。如图3所示，该装置的滤波模块31将时域上的参考信号输入自适应滤波器，得到控制信号，所述参考信号是由噪声源发出后被参考麦克风采集到的信号；抗噪模块32将所述控制信号通过非线性次级路径形成抗噪声信号；所述非线性次级路径是指包含扬声器，麦克风以及声学传输路径所引起的线性和非线性变换；叠加模块33将所述抗噪声信号与原始噪声叠加得到残余噪声；所述原始噪声为噪声源经过主路径传播后在误差麦克风位置处的信号；所述残余噪声为被误差麦克风采集到的信号；噪声估计模块34根据所述控制信号、非线性次级路径模型和所述残余噪声得到原始噪声信号估计；误差估计模块35根据所述原始噪声信号估计、逆非线性次级路径模型和所述控制信号得到误差信号；自适应更新模块36根据所述误差信号更新所述自适应滤波器，实现主动噪声消除。
[0083]
图4为本技术的实施例提供的一种电子设备1100，如图4所示，包括：至少一个存储器1102，用于存储程序；和至少一个处理器1101，用于执行存储器存储的程序，当存储器存储1102的程序被执行时，处理器1101用于执行上述任一实施例的方法。
[0084]
本技术的实施例一种存储介质1103，存储介质中存储有指令，当指令在终端上运行时，使得第一终端执行上述任一实施例的方法。
[0085]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术实施例的范围。
[0086]
此外，本技术实施例的各个方面或特征可能成方法、装置或使用标准编程和/或工
程技术的制品。本技术中使用的术语“制品”涵盖可从任何计算机可读器件、载体或介质访问的计算机程序。例如，计算机可读介质可以包括，但不限于:磁存储器件(例如，硬盘、软盘或磁带等)，光盘(例如，压缩盘(compact disc，cd)、数字通用盘(digital versatile disc，dvd)等)，智能卡和闪存器件(例如，可擦写可编程只读存储器(erasable programmable read
‑
only memory，eprom)、卡、棒或钥匙驱动器等)。另外，本文描述的各种存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可包括但不限于，无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。
[0087]
应当理解的是，在本技术实施例的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0088]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0089]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0090]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0091]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者接入网设备等)执行本技术实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0092]
以上所述，仅为本技术实施例的具体实施方式，但本技术实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术实施例的保护范围之内。