首页 > 乐器声学 专利正文
基于beamforming的房间环境自适应后变焦可听化系统的制作方法

时间:2022-01-23 阅读: 作者:专利查询

基于beamforming的房间环境自适应后变焦可听化系统的制作方法

1.本发明涉及一种可听化系统,特别涉及基于beamforming的房间环境自适应后变焦可听化系统,属于可听化技术领域。


背景技术:

2.对于房间声学的研究可以追溯到20世纪早期,房间声学的研究多被用来辅助建筑声学的设计与实现可听化。近年来,随着计算机技术的发展,房间声学研究领域发展了许多建模技术,其应用领域也越来越广泛,包括电脑游戏以及认知研究等领域中虚拟声学环境的构建等,一项具有挑战性的任务是使用这些模型的计算结果实现声学环境的可听化,可听化这一术语由kleiner等人于1993年提出,根据他们的定义,可听化是一种通过物理或者数学模型生成空间某一声源产生的可听声场的过程,其实现方式能够模拟模型空间中给定位置的双耳听觉效果。可听化中另一项重要的技术是声重放技术,主要包括耳机重放、立体声扬声器重放和扬声器阵列重放等几种方式。
3.现有技术主要是简单地基于传声器阵列的系统,通过对采集到的信号进行波束形成(beamforming)的技术来提高某一方向,某一对象采集到信号的信噪比,该方法在空旷房间能达到较好的效果,但是在室内,尤其是房间混响较大的情况下难以获得所需要的信噪比,使得获取的对象音频不清晰。


技术实现要素:

4.本发明的目的在于提供基于beamforming的房间环境自适应后变焦可听化系统,以解决上述背景技术中提出的房间混响较大的情况下难以获得所需要的信噪比,使得获取的对象音频不清晰的问题。
5.为实现上述目的,本发明提供如下技术方案:基于beamforming的房间环境自适应后变焦可听化系统,所述可听化系统包括校准模块、设备对象方位模块、用户选择对象模块、波束形成模块、收取信号模块和降噪模型微调模块,其中:
6.校准模块:用于获取设备面的角度并进行噪声自适应校准,同时对房间的设备自适应校准;
7.设备对象方位模块:用于确定每个设备的边缘8个点,并进行测量,获取设备面的角度;
8.用户选择对象模块:用于确定监听对象设备;
9.波束形成模块:用于对对象进行收音,对应设备面的所有角度进行计算并叠加,获得整个设备的面辐射声;
10.收取信号模块:用于收取不同角度的面辐射声;
11.降噪模型微调模块:用于对总的面辐射声进行降噪,获得信噪比更高的设备辐射声。
12.作为本发明的一种优选技术方案,所述校准模块的校准模式为:用户拿着校准设
备绕检测设备边缘一圈,获取设备面各点角度,此时即可获得设备面的方位信息用于后期的波束形成。
13.作为本发明的一种优选技术方案,所述波束形成模块中,算法通过beamforming计算整个面关键点的辐射声并平均,以此作为设备dn位置获得该设备的辐射声y(t,dn),其中f(s,θ)是传感器s在角度θ的beamforming系数,xs(t)是传感器s采集到的信号,其中:
[0014][0015]
作为本发明的一种优选技术方案,所述降噪模型微调模块中的微调内容包括,
[0016]
通过采集一段时间的背景噪声(在室外采集或者室内声能量分布在20%以下的部分),来微调现有的模型,微调主要针对网络结构的最后几层,联合我们已有的故障噪声和背景噪声数据集进行场地个性化的调整。最后将beamforming后的信号y(t,dn)经由降噪网络,最后的到信噪比较高的信号y

(t,dn)回传给设备供用户监听,其中:
[0017]y′
(t,dn)=n(y(t,dn)。
[0018]
作为本发明的一种优选技术方案,基于beamforming的房间环境自适应后变焦可听化系统的使用方法,包括以下步骤:
[0019]
s1:设备进入房间后需要校准,通过设备的摄像头与校准的基础点对应,在每个设备的边缘8个点进行测量获取设备面的角度;
[0020]
s2:通过多日的测量获取厂房的整体背景噪声(能量较小的时间点认为是背景噪声);
[0021]
s3:用户选择开始监听,然后点击监听的设备对象;
[0022]
s4:算法开始对设备对象进行收音,主要通过波束形成的方法,对应设备面的所有角度进行计算并叠加,获得整个设备的面辐射声;
[0023]
s5:通过经由整体背景噪声数据微调过的降噪模型对面辐射声进行降噪,获得信噪比更高的设备辐射声,最后回传到用户的客户端,可以进行实时收听。
[0024]
与现有技术相比,本发明的有益效果是:
[0025]
1.本发明基于beamforming的房间环境自适应后变焦可听化系统,通过获取设备的面角度可以更好地进行波束形成来提高信噪比,通过房间噪声自适应的方法对已有的降噪模型进行微调,针对房间和设备进行定制化模型构建,提高设备辐射声获取的信噪波,在大混响的情况下仍然可以有效提高所需要收听的对象的辐射声的信噪比,同时减少其他设备与背景噪声的干扰,维护人员在异地也能实时监听设备的健康状态,及时判断出设备异音的出现。
附图说明
[0026]
图1为本发明可听化系统的校准示意图;
[0027]
图2为本发明可听化系统的流程示意图;
[0028]
图3为本发明降噪模型示意图。
具体实施方式
[0029]
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完
整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0030]
请参阅图1-3,本发明提供了基于beamforming的房间环境自适应后变焦可听化系统的技术方案:
[0031]
根据图1-3所示,基于beamforming的房间环境自适应后变焦可听化系统,可听化系统包括校准模块、设备对象方位模块、用户选择对象模块、波束形成模块、收取信号模块和降噪模型微调模块,其中:
[0032]
校准模块:用于获取设备面的角度并进行噪声自适应校准,同时对房间的设备自适应校准;
[0033]
设备对象方位模块:用于确定每个设备的边缘8个点,并进行测量,获取设备面的角度;
[0034]
用户选择对象模块:用于确定监听对象设备;
[0035]
波束形成模块:用于对对象进行收音,对应设备面的所有角度进行计算并叠加,获得整个设备的面辐射声;
[0036]
收取信号模块:用于收取不同角度的面辐射声;
[0037]
降噪模型微调模块:用于对总的面辐射声进行降噪,获得信噪比更高的设备辐射声。
[0038]
校准模块的校准模式为:用户拿着校准设备绕检测设备边缘一圈,获取设备面各点角度,此时即可获得设备面的方位信息用于后期的波束形成。
[0039]
波束形成模块中,算法通过beamforming计算整个面关键点的辐射声并平均,以此作为设备dn位置获得该设备的辐射声y(t,dn),其中f(s,θ)是传感器s在角度θ的beamforming系数,xs(t)是传感器s采集到的信号,其中:
[0040][0041]
降噪模型微调模块中的微调内容包括,
[0042]
通过采集一段时间的背景噪声(在室外采集或者室内声能量分布在20%以下的部分),来微调现有的模型,微调主要针对网络结构的最后几层,联合我们已有的故障噪声和背景噪声数据集进行场地个性化的调整。最后将beamforming后的信号y(t,dn)经由降噪网络,最后的到信噪比较高的信号y

(t,dn)回传给设备供用户监听,其中:
[0043]y′
(t,dn)=n(y(t,dn)。
[0044]
基于beamforming的房间环境自适应后变焦可听化系统的使用方法,包括以下步骤:
[0045]
s1:设备进入房间后需要校准,通过设备的摄像头与校准的基础点对应,在每个设备的边缘8个点进行测量获取设备面的角度;
[0046]
s2:通过多日的测量获取厂房的整体背景噪声(能量较小的时间点认为是背景噪声);
[0047]
s3:用户选择开始监听,然后点击监听的设备对象;
[0048]
s4:算法开始对设备对象进行收音,主要通过波束形成的方法,对应设备面的所有
角度进行计算并叠加,获得整个设备的面辐射声;
[0049]
s5:通过经由整体背景噪声数据微调过的降噪模型对面辐射声进行降噪,获得信噪比更高的设备辐射声,最后回传到用户的客户端,可以进行实时收听。
[0050]
具体使用时,本发明基于beamforming的房间环境自适应后变焦可听化系统,设备进入房间后需要校准,通过设备的摄像头与校准的基础点对应,在每个设备的边缘8个点进行测量获取设备面的角度;通过多日的测量获取厂房的整体背景噪声(能量较小的时间点认为是背景噪声);用户选择开始监听,然后点击监听的设备对象;算法开始对设备对象进行收音,主要通过波束形成的方法,对应设备面的所有角度进行计算并叠加,获得整个设备的面辐射声;通过经由整体背景噪声数据微调过的降噪模型对面辐射声进行降噪,获得信噪比更高的设备辐射声,最后回传到用户的客户端,可以进行实时收听,综上所述,本发明通过获取设备的面角度可以更好地进行波束形成来提高信噪比,通过房间噪声自适应的方法对已有的降噪模型进行微调,针对房间和设备进行定制化模型构建,提高设备辐射声获取的信噪波,在大混响的情况下仍然可以有效提高所需要收听的对象的辐射声的信噪比,同时减少其他设备与背景噪声的干扰,维护人员在异地也能实时监听设备的健康状态,及时判断出设备异音的出现。
[0051]
在本发明的描述中,需要理解的是,指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
[0052]
在本发明中,除非另有明确的规定和限定,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
[0053]
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。