首页 > 乐器声学 专利正文
智能家电麦克风的共享方法、智能家电和可读存储介质与流程

时间:2022-02-15 阅读: 作者:专利查询

智能家电麦克风的共享方法、智能家电和可读存储介质与流程

1.本发明涉及降噪领域,尤其涉及一种智能家电麦克风的共享方法、智能家电和可读存储介质。


背景技术:

2.智能家居常常出现语音交互的场景,通过用户在家中发出语音指令,然后智能设备做出相应的动作。语音交互涉及麦克风对语音指令的捕捉,不同设备的麦克风一般是相互独立的,而用户在家中的位置一般也不会是固定的,当用户远离需要语音交互的目标设备时,或者说当用户在家中的任意位置时,极端地,当用户在家中移动时发出语音指令时,现有的设备不能满足该要求,用户需要尽量地对着目标设备的麦克风发出指令,使用上存在不便,降低了用户的使用体验。


技术实现要素:

3.为解决现有技术中的问题,本发明的目的在于提供一种智能家电麦克风的共享方法、智能家电和可读存储介质。
4.为实现上述发明目的,本发明一实施方式提供一种智能家电麦克风的共享方法,包括如下步骤:
5.获取多个麦克风拾取的音频信息;
6.根据每个所述音频信息确定对应的频谱和能量谱,并确定所述频谱对应的原始幅值及所述能量谱对应的谱密度;
7.利用降噪处理及端点检测确定每个所述音频信息对应的人声信息;
8.计算每个所述人声信息对应的平均幅值和信噪比;
9.对每个所述音频信息的所述原始幅值、所述谱密度、所述平均幅值和所述信噪比与各自对应的权重值点积计算,获取每个所述音频信息的置信值;
10.将所述置信值最高的音频信息对应的麦克风设置为优选麦克风。
11.作为本发明的进一步改进,所述音频信息包括直达音频信号、回声信号、混响信号和底噪音频信号,所述能量谱设置为为所述直达音频信号的能量谱。
12.作为本发明的进一步改进,所述原始幅值包括所述直达音频信号的音频幅值、所述回声信号的音频幅值、所述混响信号的音频幅值和所述底噪音频信号的音频幅值。
13.作为本发明的进一步改进,还包括步骤:
14.当任一音频信息的直达音频信号的音频幅值高于最低幅值预设值时,对所述音频信息点积计算置信值。
15.作为本发明的进一步改进,所述直达音频信号的音频幅值、所述谱密度、所述回声信号的音频幅值、所述混响信号的音频幅值和所述底噪音频信号的音频幅值的权重的比值为2:2:1:1:1。
16.作为本发明的进一步改进,所述直达音频信号的音频幅值、所述平均幅值和所述
信噪比的权重的比值为2:8:5。
17.作为本发明的进一步改进,还包括步骤:
18.对所述优选麦克风拾取的音频信息语音识别。
19.作为本发明的进一步改进,还包括步骤:
20.当任一音频信息的信噪比低于最低信噪比预设值时,排除该信噪比对应的音频信息。
21.为实现上述发明目的之一,本发明一实施例提供了一种智能家电,包括:
22.接收模块,接收音频信息
23.存储器,存储计算机程序;
24.处理器,执行所述计算机程序时可实现上述的智能家电麦克风的共享方法中的步骤。
25.为实现上述发明目的之一,本发明一实施例提供了一种可读存储介质,其存储有计算机程序,该计算机程序被处理器执行时可实现上述的智能家电麦克风的共享方法中的步骤。
26.与现有技术相比,本发明具有以下有益效果:通过对多个麦克风拾取的音频信息的处理和计算,对该音频信息的原始幅值、谱密度、处理后的平均幅值和信噪比通过加权点积计算,获取到每个音频信息的置信值,采用其中置信值最高的麦克风设备的音频信息,该方法在多个麦克风中找出最能反映用户实际语音信息的音频信息,使用户身边的多个麦克风能够协同工作,解决了麦克风距离用户远,有些麦克风附近的噪音大而无法进一步地语音交互的问题。
附图说明
27.图1是本发明一实施例的智能家电麦克风的共享方法的流程图;
28.图2是本发明一实施例的控制模块示意图。
29.图3是本发明一实施例的麦克风选用的场景示意图。
30.其中:10、冰箱;11、存储器;12、处理器;13、接收模块;14、通信总线;e1、智能电视;e2、智能空调;e3、智能音箱;e4、智能灯;p1、用户甲;p2、用户乙;p3、用户丙。
具体实施方式
31.以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明,本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
32.本发明一实施例提供一种智能家电麦克风的共享方法、智能家电和可读存储介质,该方法对多个麦克风的音频信号处理分析,选出信息可靠度更高的麦克风,便于智能化地选用合适的麦克风与用户之间语音交互。
33.图1为本技术一个实施方式的一种智能家电麦克风的共享方法,虽然本技术提供了如下述实施方式或流程图所述的方法操作步骤,但是基于常规或者无需创造性的劳动,所述方法在逻辑性上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本技术实施方式中所提供的执行顺序。
34.具体地,包括如下步骤:
35.步骤101:获取多个麦克风拾取的音频信息;
36.这里,家中一般会有多个支持语音功能的电子设备,例如智能音箱、手机、遥控器及其他的支持语音交互的智能设备,例如智能的冰箱,都具有麦克风,这些智能设备分布在家中的各个位置,获取这些设备的麦克风接收到的音频信息,如图2所示,获取4个麦克风的音频信息。
37.步骤102:根据每个所述音频信息确定对应的频谱和能量谱,并确定所述频谱对应的原始幅值及所述能量谱对应的谱密度;
38.这里,用户发出的语音指令一般是有限长度,非周期性的信号,所以可对其采取能量谱的形式分析,能量谱的密度描述了信号的能量随着频率分布情况,通过计算其谱密度,反应了语音信号的能量在各频率点的分布情况。
39.原始幅值反应了该音频信号的强度,幅值越大则反应了该音频信号在一些频率上接收到的声音信号的强度越高,但当用户处于移动的过程中时,对于一段语音指令,不同的麦克风也可能在不同的频率上存在各自幅值较高的点。
40.步骤103:利用降噪处理及端点检测确定每个所述音频信息对应的人声信息;
41.步骤104:计算每个所述人声信息对应的平均幅值和信噪比;
42.这里,在对音频信息预处理后,为了使音频更清晰便于处理,需进行降噪和端点检测的操作,再计算处理后的音频的平均幅值和信噪比,平均幅值提现了整个语音指令过程中,该麦克风接收到的语音的整体强度,信噪比即为语音信息与背景噪音的比值,该比值越大,该语音信息的可靠度越高。
43.另外,上述对该音频信息进行判断时,主要分为两个步骤,对音频信息的预处理,以及对音频信息降噪和端点检测后的信息进行分析。对音频信息的降噪处理主要用于去除背景底噪,对音频信息的端点检测用于将用户的语音指令信息与环境背景音区分开来。对音频的降噪去除背景底噪的过程中,不可避免地对语音指令本身也有也有影响,且背景底噪一般都无法完全去除,背景底噪去除得越多,语音指令部分丢失的内容也越多,同样的,在端点检测的过程中也存在无法完全区分,以及区分时对语音指令本身存在影响的问题。所以,为了避免对音频信息的降噪和端点检测后,音频信息中的语音指令部分丢失的问题,对音频信息先进行预处理,即直接得到音频信息的频谱和能量谱,对原始的音频信息进行判断。
44.步骤105:对每个所述音频信息的所述原始幅值、所述谱密度、所述平均幅值和所述信噪比与各自对应的权重值点积计算,获取每个所述音频信息的置信值;
45.步骤106:将所述置信值最高的音频信息对应的麦克风设置为优选麦克风。
46.用户在发出语音指令时,一段话中可能会存在停顿,且该停顿的前后内容在语意上为一个指令的内容,但该停顿的时间一般区别于两个指令信息之间的停顿,即一个指令内的停顿时间一般不长,但在该停顿位置,音频的幅值会降低,使整个音频信息的平均幅值降低,若其他位置的麦克风接收到了无关语音指令的噪音,使平均幅值上升的话,则仅靠平均幅值不利于保障该麦克风接收到的音频信息的可靠程度。因此,通过上述的多个维度的信息加权再点积计算出置信值,由该置信值反应该音频信息的可靠程度,在接收用户的语音指令的强度高、背景噪音低、用户移动过程中,接收到的语音的整体的能量强度高,以及
平均的幅值高的角度,确定对一段语音指令可靠度最高的麦克风。
47.当用户在任一位置发出语音指令时,不同位置的麦克风检测到的音频信息存在差异,例如有的麦克风距离用户远,采样信息不清晰,有些麦克风附近的环境噪音大,不能准确识别其捕捉到的语音信息。因此,需要在不同的麦克风拾取到的音频信息中选出可靠度最高的音频信息。
48.进一步地,所述音频信息包括直达音频信号、回声信号、混响信号和底噪音频信号,所述能量谱设置为为所述直达音频信号的能量谱,该能量谱影响了端点检测后的音频的质量。
49.更进一步地,所述原始幅值包括所述直达音频信号的音频幅值、所述回声信号的音频幅值、所述混响信号的音频幅值和所述底噪音频信号的音频幅值。
50.上述四个音频幅值均在不同程度上影响了端点检测和降噪后的信噪比。
51.在步骤105中的原始幅值加权值,即为原始幅值包含的多个音频幅值,并对每个音频幅值赋予各自的权重后进行点积计算后的值,权重1为谱密度对应的权重值,权重2为平均幅值对应的权重值,权重3为信噪比对应的权重值。
52.进一步地,还包括步骤:
53.当任一音频信息的直达音频信号的音频幅值高于最低幅值预设值时,对所述音频信息点积计算置信值。当任一音频信息的直达音频信号的音频幅值低于最低幅值预设值时,该音频信息对应的麦克风可能距离用户过远,未接受到合适强度的语音指令,所以为了减小资源的占用,则不分析该麦克风的音频信息,仅对大致判断处于距离用户更近、接受到更高强度的音频信息的麦克风的音频信息进行处理。
54.进一步地,所述直达音频信号的音频幅值、所述谱密度、所述回声信号的音频幅值、所述混响信号的音频幅值和所述底噪音频信号的音频幅值的权重的比值为2:2:1:1:1。
55.更进一步地,所述直达音频信号的音频幅值、所述平均幅值和所述信噪比的权重的比值为2:8:5。
56.本实施例中,置信值=直达音频信号的音频幅值*10%+谱密度*10%+回声信号的音频幅值*5%+混响信号的音频幅值*5%+底噪音频信号的音频幅值*5%+平均幅值*40%+信噪比*25%,对优选麦克风的选取,是概率问题,该权重的分配也是通过概率的形式,对影响因素更大的指标配置更高的权重,通过实验模拟和一些经验值的预设,在这样的权重配置下置信值的可靠性更高。
57.当选出合适的麦克风作为优选麦克风后,对所述优选麦克风拾取的音频信息语音识别,用于与用户进行语音交互,可以对该有选麦克风的音频信息进行语音识别,分析出其中的语音指令进行更多的智能化的操作。
58.另外,还包括步骤:
59.当任一音频信息的信噪比低于最低信噪比预设值时,排除该信噪比对应的音频信息。当信噪比过低时,可能检测到的音频信息质量不高,也可能是噪音过大,反应了该音频信息不能很好的反应语音指令,为了避免做出错误的反馈以及尽量减少资源的浪费,对信噪比过低的音频信息内容不进行更多的判断处理,仅分析信噪比高于最低信噪比预设值的音频。
60.为实现上述发明目的之一,本发明一实施例提供了一种智能家电,其模块示意图
如图2所示,包括:
61.接收模块13,接收音频信息;
62.存储器11,存储计算机程序;
63.处理器12,执行所述计算机程序时可实现上述的智能家电麦克风的共享方法中的任意一个步骤,也就是说,实现上述智能家电麦克风的共享方法中的任意一个技术方案中的步骤。
64.另外智能家电还可以包括通信总线14,该通信总线14用于在接收模块13、处理器12与存储器11之间建立连接,通信总线14可包括一通路,在上述的接收模块13、处理器12和存储器11之间传送信息。
65.接收模块13,使用任何收发器一类的装置,用于与其它设备或通信网络通信,如以太网,无线接入网(ran),无线局域网(wlan)等。存储器11可以是独立存在,通过通信总线14与处理器12相连接。存储器11也可以和处理器12集成在一起。处理器12可以是一个通用中央处理器(cpu),微处理器,特定应用集成电路(asic),或一个或多个用于控制本技术方案程序执行的集成电路。
66.本实施例中,该智能家电可设置为冰箱10,上述的接收模块13、处理器12、存储器11和通信总线14均集成于冰箱10上,冰箱10通过接收模块13接收来自其他设备的麦克风采集到的音频信息,并对这些音频信息以上述的麦克风的共享方法进行分析处理,或者说冰箱10上的接收模块13接收各个设备的麦克风的音频信息,对这些音频信息按上述的共享麦克风的控制方法处理,判断出最可靠的麦克风设备进行其他的智能操作。
67.为实现上述发明目的之一,本发明一实施例提供了一种计算机可读存储介质,其存储有计算机程序,该计算机程序被处理器12执行时可实现上述的智能家电麦克风的共享方法中的任意一个步骤,也就是说,实现上述智能家电麦克风的共享方法中的任意一个技术方案中的步骤。
68.在上述的说明中,应该理解到,所揭露的系统,系统和方法,可以通过其它的方式实现。例如,以上所描述的系统实施方式仅仅是示意性的,例如,设备模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,系统或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
69.例如,在本技术的处理器12可以集中在一个处理模块中,也可以是各个模块单独物理存在,也可以2个或2个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
70.上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机系统(可以是个人计算机,服务器,或者网络系统等)或处理器12(processor)执行本技术各个实施方式所述方法的部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器11(read-only memory,rom)、随机存取存储器11(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
71.下面以具体的场景为例进行说明,可参图3所示,用户家中的智能冰箱10、智能电
视e1、智能音箱e3、智能灯e4、智能空调e2均自带麦克风,上述的用于处理智能家电麦克风的共享方法的智能家电设置为智能冰箱10,即使用智能冰箱10内的处理器12对各智能设备采集的的音频信息分析处理,当用户在家中的任何位置,例如在用户甲p1、用户乙p2、用户丙p3的不同位置时,对不同的智能设备的音频信息的处理结果存在差别。
72.当用户在家中的任一位置发出语音指令时,例如在用户乙p2的位置发出指令,假设该语音指令的声波被智能电视e1、智能音箱e3和智能空调e2的麦克风接收到,麦克风将声波信号转化为电信号,三个设备将该音频信息的电信号通过有线或无线的形式传输到冰箱10的处理器12,处理器12对上述麦克风传输来的音频信息按上述的智能家电麦克风的共享方法进行处理,确定对应的频谱和能量谱,以及计算这些音频信息的原始幅值、谱密度、平均幅值和信噪比,计算出置信值,确定置信值最高的麦克风为优选麦克风,假设智能电视e1的麦克风输出的音频信息的置信值最高,则智能电视e1的麦克风更能反映用户乙p2的人声指令信息,对智能电视e1的麦克风的音频信息语音识别并进行进一步的人机互动动作。
73.与现有技术相比,本实施例具有以下有益效果:
74.通过对多个麦克风拾取的音频信息的处理和计算,对该音频信息的原始幅值、谱密度、处理后的平均幅值和信噪比通过加权点积计算,获取到每个音频信息的置信值,采用其中置信值最高的麦克风设备的音频信息,该方法在多个麦克风中找出最能反映用户实际语音信息的音频信息,使用户身边的多个麦克风能够协同工作,解决了麦克风距离用户远,有些麦克风附近的噪音大而无法进一步地语音交互的问题。
75.应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施方式中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
76.上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明,它们并非用以限制本发明的保护范围,凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。