风噪声检测系统和方法
1.相关申请的交叉引用本技术要求于2019年4月30日提交的、并且题为“wind noise detection systems and methods”的美国专利申请号16/399,961的权益和优先权，该申请以其全部通过引用并入本文中。
技术领域
2.本技术总体上涉及噪声消除系统和方法，并且更具体地，例如，涉及诸如耳机例如，罩耳式、贴耳式和入耳式）、耳塞、和助听器、以及其他个人收听设备之类的音频处理设备中的风噪声的消除和/或抑制。


背景技术：

3.音频处理设备通常包括一个或多个麦克风以感测来自环境的声音并生成对应的音频信号。例如，有源噪声消除（anc）耳机包括参考麦克风以生成与感测到的环境噪声在大幅度近似相等、但在相位上相反的抗噪声信号。环境噪声和抗噪声信号在声学上相互抵消，从而允许用户听到期望的音频信号。
4.然而，传统的anc系统（和其他降噪或噪声消除系统）不完全消除所有噪声，从而留下残留噪声和/或生成可能分散用户注意力的听得见的伪假象（artefact）。例如，与在anc系统中消除的环境声音不同，风噪声可能响应于麦克风部件处的局部空气湍流而出现在麦克风处。风噪声可能与到达用户的耳道的环境噪声无关，并且对应的抗噪声信号对于用户可能是听得见的。试图从音频信号中移除背景噪声的噪声抑制系统在移除风噪声方面面临类似的挑战。
5.鉴于前述内容，存在对于可能包括感测到的风噪声的音频信号的改进的降噪和噪声消除系统和方法的持续需要。还存在对于耳机、耳塞和可能在有风环境中操作的其他个人收听设备的改进的有源噪声消除系统和方法的持续需要。


技术实现要素：

6.本文中公开了改进的系统和方法，其用于可以在有风环境中使用的音频设备中的有源噪声消除和/或噪声抑制。在一个或多个实施例中，一种系统包括：风检测器，其可操作以接收多个音频输入信号并输出多个风检测标志，该多个风检测标志包括单通道风检测标志和跨通道风检测标志，每个风检测标志指示风噪声的存在或不存在；以及融合平滑模块，其可操作以接收多个风检测标志并生成输出风检测标志，输出风检测标志。
7.该系统还可包括可操作以感测声音并生成多个音频输入信号的多个麦克风、以及存储程序指令的存储器、以及可操作以执行程序指令的数字信号处理器。在各种实施方式中，该系统可以包括：噪声抑制模块，其可操作以接收音频输入信号和输出风检测标志并降低在音频输入信号中检测到的风噪声；和/或有源噪声消除系统，其可操作以根据输出风检测标志生成抗噪声信号以消除音频输入信号的部分。
8.在各种实施例中，风检测器包括单通道检测器，其可操作以接收多个音频输入信号的单音频通道并生成单通道风检测标志。单通道检测器能够可操作以将单音频通道与风谱模型进行比较，该风谱模型包括频率分量的部分的功率比的均值和标准偏差以及频谱斜率。风检测器可操作以：如果功率比的均值小于阈值均值并且标准偏差大于阈值标准偏差（例如，当确定不存在风噪声时），则清除标志；以及如果频谱斜率大于预定阈值频谱斜率（例如，当确定存在风噪声时），则设置标志。风检测器还可包括跨通道检测器，其可操作以计算两个或更多个音频通道之间的自相关和互相关，并且如果自相关小于互相关则设置标志。
9.如果跨通道风检测标志为开并且至少一个单通道风检测标志为开，则融合平滑模块能够可操作以将输出风检测标志设置为“存在”，以及如果预定数量的先前生成的融合风标志为开，则融合平滑模块能够可操作以设置融合风标志。
10.在一个或多个实施例中，一种方法包括接收多个音频输入信号、生成多个初步风检测标志，所述多个初步风检测标志包括单通道风检测标志和跨通道风检测标志，每个风检测标志指示音频输入信号的部分中的风噪声的存在或不存在，并输出风检测标志。该方法还可以包括：如果风检测标志是有源的（active）则降低音频输入信号中的风噪声，和/或根据风检测标志生成抗噪声信号以消除音频输入信号的部分。
11.在各种实施例中，该方法包括接收音频输入信号的单音频通道并生成单通道风检测标志，通过计算特定频率分量的功率比的均值和标准偏差以及频谱斜率来生成风谱模型，并将单音频通道与风谱模型进行比较。如果功率比的均值小于阈值均值、并且标准偏差大于阈值标准偏差，则该方法可以设置单通道风检测标志以指示不存在风噪声。如果频谱斜率大于预定阈值频谱斜率，则该方法可以设置单通道风噪声标志以指示存在风噪声。
12.该方法还可以包括计算两个或更多个音频通道之间的自相关和互相关，并且如果自相关小于互相关则确定存在风噪声。如果跨通道检测器风噪声标志为开并且单通道音频标志中的至少一个为开，则最终风检测标志可以被设置为“存在”。该方法可以进一步基于先前确定的融合风检测标志值的数量来平滑融合风检测标志。
13.本发明的范围由权利要求限定，该权利要求通过引用并入本部分中。通过考虑一个或多个实施例的以下详细描述，将向本领域技术人员提供本公开的实施例的更完整的理解以及其附加优点的实现。将参考将首先被简要描述的附图的附页。
附图说明
14.参考以下附图和随后的详细描述可以更好地理解本公开的方面及其优点。应当理解，相似的参考标号用于标识在一个或多个附图中图示的相似元件，其中附图中的示出是出于说明本公开的实施例的目的而不是出于限制本公开的实施例的目的。附图中的部件不一定按比例，而是将重点放在清楚地说明本公开的原理上。
15.图1图示了根据本公开的一个或多个实施例的风检测系统。
16.图2图示了根据本公开的一个或多个实施例的单通道风检测器的流程图。
17.图3图示了根据本公开的一个或多个实施例的跨通道风检测器的流程图。
18.图4图示了根据本公开的一个或多个实施例的融合平滑模块中的融合阶段的流程图。
19.图5图示了融合平滑模块中的平滑阶段的流程图。
20.图6图示了根据本公开的一个或多个实施例的音频设备的实施例。
具体实施方式
21.公开了改进的风噪声检测系统和方法，其可以在各种音频处理系统中实现，所述音频处理系统包括有源噪声消除（anc）系统、移动电话、智能扬声器、语音命令和处理系统、汽车系统（例如，免提语音控制）和可能在有风环境中操作的其他音频处理系统。
22.在一个实施例中，风噪声检测系统包括两个或更多个在空间上分离的麦克风。每个麦克风感测环境中的声音，其可能包括由于每个麦克风本地的空气湍流而感测到的风噪声。因此，不同的麦克风可以独立地感测不同的风噪声事件。风噪声检测系统分析与每个麦克风相关联的单通道风特征和两个或更多个音频通道的跨通道风特征。在一个实施例中，单通道风特征表征风噪声的频谱，而跨通道风特征评估麦克风信号对之间的互相关。融合平滑阶段工作以融合结果特征、过滤检测结果、并改进系统稳定性。
23.本文中公开的系统和方法提供了相比于传统解决方案的许多优点。例如，本公开的风检测系统和方法探索单通道风特征和跨通道风特征两者并采用融合平滑阶段来过滤检测结果。例如，单通道特征检测器可以包括如本文中公开的独特的决策树结构，并且特征可以包括低频分量功率比的均值和标准偏差以及500 hz和1000 hz之间的频谱斜率。计算的比率均值和标准偏差为将风噪声与话音分离以供各种语音应用中使用提供了良好的指标。此外，频谱斜率允许区分风噪声和环境背景噪声（诸如办公室和街道噪声）。跨通道特征提供了两个通道信号的互相关。与在时域中工作的方法不同，所提出的风检测系统可以计算频域中的互相关。在各种实施例中，例如，可以丢弃相位信息，和/或可以对整个频带或仅使用低频分量执行互相关。
24.参考图1，现在将描述根据一个或多个实施例的风检测系统100。风检测系统100可以实现具有两个或更多个麦克风的音频处理系统以监测环境中风的存在。在一些实施例中，风检测系统100在音频设备的音频输入处理部件中实现，该音频设备可以包括被配置为抑制噪声、检测话音、分离目标信号和/或执行其他多通道音频输入处理的数字信号处理器（dsp）。风检测系统100可以生成风噪声信息，该风噪声信息可以用于优化音频设备的噪声抑制性能。例如，可以在配备有（例如，在左侧和右侧上的）两个外部麦克风的耳机上使用双通道风检测系统来监测环境声音。
25.风检测系统100包括多个麦克风或其他音频传感器，诸如左麦克风102和右麦克风104、风检测器模块110和融合平滑模块140。每个麦克风（102和104）感测外部环境中的声音，其可以包括来自期望目标源106的声音、来自噪声源的声音和由风在本地生成的声音。每个麦克风生成输入音频信号，该输入音频信号被数字采样并转换到频域作为左通道和右通道，其中f是频率。
26.风检测器模块110接收和作为输入。风检测器模块110包括被配置为分析输入信号的特征的多个检测器子模块。在所图示的实施例中，风检测器模块110包括单左通道检测器112、单右通道检测器116、和跨通道检测器114。风检测器系统100可以包括附加麦克风并且风检测器模块110可以包括与每个麦克风对应的附加单通道检测器和与多个麦
克风中的两个的分组对应的附加跨通道检测器。
27.单左通道检测器112将与风谱模型进行比较。比较中要考虑的特征可以包括：（1）低频分量和的功率比的均值和标准偏差；以及（2）频谱斜率。现在将描述低频分量和的功率比的均值和标准偏差的计算。据观察，风噪声通常集中在低频段（例如，< 1000 hz）处，而人类话音（例如，语音控制的设备中期望的目标音频）具有更高的高频功率，并且其功率分布是与时间相关的。因此，与语音信号相比，风噪声中低频分量的功率比与时间更不相关且更稳定。在一个实施例中，功率比由下式计算其中f
th
是低频阈值。单左通道检测器112将均值和标准偏差、和与其阈值和进行比较。如果或，则其指示不存在风噪声，并且语音在信号中占主导地位。
28.现在将参考图2描述频谱斜率的计算。据观察，风噪声通常具有在500 hz和1000 hz之间的线性频谱斜率。单左通道检测器112将与预期斜率阈值进行比较。如果，则其指示不存在风并且背景噪声在信号中占主导地位。图2图示了用于操作单左通道检测器112的过程200的实施例。过程200可以以硬件和软件的各种组合来实现，其包括例如如存储在存储器中以供由数字处理器执行的程序指令。
29.在步骤202中，单左通道检测器计算总信号功率。在步骤204中，单左通道检测器将低频分量的功率计算为。接下来，在步骤206中，计算功率比。接下来，在步骤206中，计算功率比，并在步骤208中，更新均值和标准偏差、和。在步骤210中，如果或，则当前信号为语音且不存在风。然后检测器清除风标志并在步骤218中提供风标志作为输出。如果或为假，则单左通道检测器在步骤212中计算500 hz和1000 hz之间的频谱斜率。在步骤214中，如果，则当前信号是背景噪声并且不存在风。检测器在步骤218中清除并输出风标志。如果为假，则当前信号既不是语音也不是背景噪声。在步骤216中确定存在风并且设置和输出风标志。
30.过程200还可用于通过单右通道检测器116检测噪声的存在或不存在。单右通道检测器116可以存储用于使处理器执行过程200的程序指令，该过程200应用于以设置右输入音频通道的风标志。
31.在各种实施例中，两级决策检查过程用于从语音和背景噪声中区分风噪声。该过程包括处理和两者的跨通道检测器114。在一些实施例中，跨通道检测器114被实现为存储在存储器中的程序指令，以用于指示数字信号处理器执行本文中公开的过程。在一个实施例中，跨通道检测器114被配置为如下计算左和右通道的自相关和互相关：
注意，在没有相位信息的情况下在上面的示例中计算相关参数、和。风噪声可能由每个麦克风处的局部空气湍流创建，其导致在左麦克风和右麦克风处观察到的风信号之间的差异。跨通道检测器将与进行比较，其中是阈值系数。如果，则确定存在风并设置风标志。
32.图3图示了用于操作跨通道检测器114的过程300的实施例。在步骤302中，跨通道检测器计算自相关检测器计算自相关和。在步骤304中，计算互相关。在步骤306中，如果，则在步骤308中确定存在风并且跨通道检测器114设置风标志。否则，在步骤310中，跨通道检测器114清除风标志。
33.返回参考图1，风检测器模块110将单左通道检测器112、单右通道检测器116、和跨通道检测器114的结果输出到融合平滑模块140。三个检测器中的每一个的结果通过确定风检测的规则进行融合。例如，当跨通道检测器114和单通道检测器112和116中的至少一个的风标志被设置时，可以通过确定风存在的规则来融合三个检测器中的每一个的输出。
34.参考图4，现在将描述融合模块142的操作的实施例。过程400可以以各种硬件和/或软件配置实现，所述硬件和/或软件配置包括例如如存储在音频处理器的存储器中以供由数字信号处理器执行的程序指令。在步骤402中，如果跨通道检测器114的风标志为关，则不存在风，则在步骤410中清除融合风标志。在步骤404中，如果跨通道检测器114风标志为开并且单左通道检测器112标志为开，则在步骤408中确定存在风并且设置融合风标志。在步骤406中，如果单左通道检测器标志不为开并且单右通道检测器116的风标志为开，则在步骤408中确定存在风并且设置融合风标志。否则，不存在风，并且在步骤410中清除融合风标志。
35.融合风标志被进一步平滑以解决遗漏检测和假警报事件。例如，在一个实施例中，平滑方法检查最后n个融合风标志以确定是否改变风检测状态。如果最后n个风标志全部为开，则已平滑风标志为开。如果最后n个风标志全部为关，则已平滑风标志为关。否则，已平滑风标志可以保持在其当前状态。取决于系统的目标，其他设置和算法也可用于增加或减少对风检测事件的敏感性。
36.参考图5，现在将描述由图1的平滑模块144执行的平滑操作的实施例。平滑操作500可以以各种硬件和软件配置实现，所述配置包括例如如存储在存储器中以供由数字信号处理器执行的程序指令。在步骤502中，如果已平滑风标志为“开”并且融合阶段风标志为“开”（步骤504），则在步骤506中重置融合标志计数器。如果融合阶段风标志为“关”，则在步骤508中将融合标志计数器递增一。返回参考步骤502，如果已平滑风标志为“关”并且融合阶段风标志为“关”（步骤510），则在步骤512中重置融合标志计数器。如果融合阶段风标志
为“开”（步骤510），则融合标志计数器在步骤508中递增一。在步骤514中，如果融合标志计数器大于或等于n（例如，其中n等于连续风标志的数量），则已平滑风标志被设置为等于融合风标志（步骤516）。
37.在各种实施例中，可以在具有两个或更多个麦克风的各种设备中实现风检测，所述设备诸如手机、pda、智能扬声器、智能手表、耳机、和助听器。存在麦克风信号的许多频域变换算法，诸如傅里叶变换和小波变换。本公开不限于一种具体算法。所提出的风检测器可以扩展到多个麦克风情况。风检测器模块可以输出、、和的特征值而不是检测器风标志。风检测器模块可以平滑特征、、和以在阈值比较之前获得长期特征估计。特征可以通过fir滤波器和iir滤波器进行平滑。融合平滑模块可以采用其他常见的机器学习算法来融合风检测器模块结果，诸如逻辑回归、朴素贝叶斯、和神经网络。融合平滑模块可以采用其他常用的滤波算法以执行结果平滑，诸如中值滤波、fir滤波、和iir滤波。
38.参考图6，现在将描述结合本公开的风检测处理的示例系统。音频设备600包括音频输入，诸如音频传感器阵列605、音频信号处理器620和主机系统部件650。音频传感器阵列605包括一个或多个传感器，每个传感器可以将声波转换成音频信号。在所图示的环境中，音频传感器阵列605包括多个麦克风605a
‑
605n，每个麦克风生成多通道音频信号的一个音频通道。
39.音频信号处理器620包括音频输入电路622、数字信号处理器624和可选的音频输出电路626。在各种实施例中，音频信号处理器620可以被实现为包括模拟电路、数字电路和数字信号处理器624的集成电路，所述数字信号处理器624可操作以执行存储在存储器中的程序指令。例如，音频输入电路622可以包括到音频传感器阵列605的接口、抗混叠滤波器、模数转换器电路、回声消除电路、和其他音频处理电路和部件。
40.数字信号处理器624可以包括处理器、微处理器、单核处理器、多核处理器、微控制器、可编程逻辑器件（pld）（例如，现场可编程门阵列（fpga））、数字信号处理（dsp）设备、或可以通过硬连线、执行软件指令、或两者的组合来配置以执行本文中针对本公开的实施例讨论的各种操作的其他逻辑设备中的一种或多种。
41.数字信号处理器624可操作以处理多通道数字音频输入信号以生成增强的音频信号，该增强的音频信号被输出到一个或多个主机系统部件650。数字信号处理器624可操作以诸如通过总线或其他电子通信接口与主机系统部件650接合并通信。在各种实施例中，多通道音频信号包括噪声信号和至少一个期望的目标音频信号（例如，人类话音）的混合，并且数字信号处理器624可操作以隔离或增强期望的目标信号，同时减少或消除不期望的噪声信号。数字信号处理器624能够可操作以执行风噪声检测、话音/关键字检测和处理、回声消除、噪声消除、目标信号跟踪和增强、后滤波、和其他音频信号处理。
42.在图示的实施例中，数字信号处理器624包括风检测器628（例如，图1的风检测器模块110）和融合平滑部件630（例如，图1的融合平滑模块140），其可操作以确定当前音频样本中是否存在风噪声。音频信号处理器620可以被配置为产生增强的目标信号以供由主机系统部件进一步处理（例如，用于语音通信的语音输入、语音命令处理等）。数字信号处理器624可以在噪声抑制过程中使用风噪声存在或不存在的指示来帮助移除检测到的风噪声。在另一个实施例中，音频信号处理器620可以被配置用于有源噪声消除，并且可以由数字信号处理器624使用风噪声存在或不存在的指示来帮助抗噪声信号的生成。数字信号处理器
624还可包括利用最终风检测标志的其他模块，诸如噪声抑制/消除模块632。在各种实施例中，噪声抑制/消除模块632可以提供输入音频信号中的风噪声的噪声抑制和/或在有风条件下生成用于有源噪声消除的抗噪声。
43.音频输出电路626处理从数字信号处理器624接收的音频信号以输出到至少一个扬声器，诸如扬声器610a和610b。音频输出电路626可以包括将一个或多个数字音频信号转换为对应的模拟信号的数模转换器和用于驱动扬声器610a和610b的一个或多个放大器。
44.音频设备600可以实现为可操作以接收和检测目标音频数据的任何设备，诸如例如移动电话、智能扬声器、平板电脑、膝上型计算机、台式计算机、语音控制的器具、或汽车。主机系统部件650可以包括用于操作音频设备600的各种硬件和软件部件。在图示的实施例中，主机系统部件650包括处理器652、用户接口部件654、用于与外部设备和网络（诸如网络680（例如，互联网、云、局域网、或蜂窝网络）和移动设备684）通信的通信接口656、和存储器658。
45.处理器652可以包括处理器、微处理器、单核处理器、多核处理器、微控制器、可编程逻辑器件（pld）（例如，现场可编程门阵列（fpga））、数字信号处理（dsp）设备、或可以通过硬连线、执行软件指令、或两者的组合来配置以执行本文中针对本公开的实施例讨论的各种操作的其他逻辑设备中的一种或多种。主机系统部件650可操作以诸如通过总线或其他电子通信接口与音频信号处理器620和其他主机系统部件650接合和通信。
46.将理解，虽然音频信号处理器620和主机系统部件650被示出为结合了硬件部件、电路和软件的组合，但在一些实施例中，硬件部件和电路可操作以执行的功能性中的至少一些或全部可以被实现为响应于存储在存储器658或数字信号处理器624的固件中的软件指令和/或配置数据而由处理器652和/或数字信号处理器624执行的软件模块。
47.存储器658可以实现为一个或多个存储器设备，其可操作以存储数据和信息，包括音频数据和程序指令。存储器658可以包括一种或多种不同类型的存储器设备，包括易失性和非易失性存储器设备，诸如ram（随机存取存储器）、rom（只读存储器）、eeprom（电可擦除只读存储器）、闪速存储器、硬盘驱动器、和/或其他类型的存储器。
48.处理器652能够可操作以执行存储在存储器658中的软件指令。在各种实施例中，话音识别引擎660可操作以处理从音频信号处理器620接收的增强的音频信号，包括识别和执行语音命令。语音通信部件662能够可操作以促进与一个或多个外部设备（诸如移动设备684或用户设备686）的语音通信，诸如通过移动或蜂窝电话网络上的语音呼叫或ip（互联网协议）网络上的voip呼叫。在各种实施例中，语音通信包括将增强的音频信号传输到外部通信设备。
49.用户接口部件654可以包括显示器、触摸板显示器、小键盘、一个或多个按钮和/或可操作以使得用户能够直接与音频设备600交互的其他输入/输出部件。通信接口656促进音频设备600和外部设备之间的通信。例如，通信接口656可以诸如通过网络680启用音频设备600和一个或多个本地设备（诸如移动设备684）、或提供对远程服务器682的网络访问的无线路由器之间的wi
‑
fi（例如，802.11）或蓝牙连接。在各种实施例中，通信接口656可以包括促进音频设备600和一个或多个其他设备之间的直接或间接通信的其他有线和无线通信部件。
50.前述公开并非旨在将本公开限制于所公开的精确形式或特定使用领域。因此，预
期的是，根据本公开，对本公开的各种替代实施例和/或修改（无论是在本文中明确描述还是暗示）都是可能的。已经如此描述了本公开的示例，本领域普通技术人员将认识到，在不脱离本公开的范围的情况下，可以在形式和细节方面进行改变。因此，本公开仅由权利要求限制。