1.本技术涉及语音处理技术领域，尤其涉及一种语音朝向检测方法和装置。


背景技术：

2.目前，在电话会议的场景中，可以通过摄像头采集到的视频数据来确定发言者的面部朝向，以此来确定发言者是否受到了干扰；在摄像头禁用的场景下，现有的方案中提供了一种基于声源进行定位的方式，可以对用户的方位进行估计，但是当发言者位于设备的前方时，却无法区分发言者是位于设备的正向还是侧向，从而无法确定用户是否受到了干扰。


技术实现要素：

3.本技术目的在于提供一种语音朝向检测方法和装置，以至少解决现有技术中存在的以上技术问题。
4.本技术一方面提供一种语音朝向检测方法，包括：
5.通过语音采集装置采集语音信号，获得两路语音信号；
6.对所述两路语音信号进行相关性估计，得到所述两路语音信号的互相关曲线，所述互相关曲线表示所述两路语音信号的互相关系数随语音采集装置信号接收角度的变化率；
7.基于所述互相关曲线获得语音采集装置信号接收角度的中心角度对应的互相关系数；
8.根据所述中心角度对应的互相关系数确定语音朝向的检测结果为正向或侧向。
9.其中，所述通过语音采集装置采集语音信号，获得两路语音信号，包括：
10.通过双语音采集装置采集语音信号，获得两路语音信号；或者，
11.通过多于两个语音采集装置采集语音信号，获得多路语音信号，将所述多路语音信号合成为两路语音信号；
12.根据所述中心角度对应的互相关系数确定语音朝向的检测结果为正向或侧向，包括：
13.比较所述中心角度对应的互相关系数与互相关系数阈值的大小，如果中心角度对应的互相关系数大于等于互相关系数阈值，确定语音朝向的检测结果为麦克风语音采集装置的正向；否则，确定语音朝向的检测结果为麦克风语音采集装置的侧向。
14.其中，如果所述两路语音信号为首达语音信号，根据所述两路语音信号确定所述互相关系数阈值；
15.如果所述两路语音信号为非首达语音信号，则对所述两路语音信号进行相关性估计。
16.其中，在静音抑制状态由静音切换为非静音的时刻，通过语音采集装置采集语音信号，在采集的语音信号达到设定时长，获得首达语音信号；
17.在所述设定时长之后通过语音采集装置采集的语音信号为非首达语音信号。
18.根据所述两路语音信号确定所述互相关系数阈值，包括：
19.确定设定时长的两路首达语音信号的互相关系数，根据确定出的互相关系数对互相关系数设定阈值进行调整，得到所述互相关系数阈值；
20.所述对所述两路语音信号进行相关性估计，包括：
21.对设定时长的两路非首达语音信号进行相关性估计。
22.所述从所述互相关曲线中获取语音采集装置信号接收角度的中心角度对应的互相关系数，包括：
23.根据语音信号采样点和语音采集装置信号接收角度的对应关系，确定所述中心角度包含的所有采样点；
24.基于所述互相关曲线确定所述中心角度包含的每个采样点的互相关系数；
25.根据所述中心角度包含的所有采样点的互相关系数确定所述中心角度对应的互相关系数。
26.该方法还包括：
27.根据语音采集装置的间距、声速和语音信号采样率确定语音信号的采样点数，并根据采样点数建立采样点和语音采集装置信号接收角度的对应关系。
28.该方法还包括：
29.将所述中心角度包含的所有采样点的互相关系数中的最大值作为峰值，如果所述互相关曲线中存在副峰值，确定所述语音朝向检测结果为无效值；否则，根据所述中心角度包含的所有采样点的互相关系数确定所述中心角度对应的互相关系数；
30.所述副峰值满足如下条件：所述副峰值的大小与所述峰值的大小相比满足设定条件、且所述副峰值对应的采样点位于以所述中心角度起设定角度范围以外的接收角度。
31.该方法还包括：
32.获得本次比较结果和存储的多个历史比较结果；
33.如果包括本次比较结果和历史比较结果的所有比较结果均大于等于互相关系数阈值，则确定本次语音朝向检测结果为麦克风语音采集装置正向；或者，如果包括本次比对结果和历史比较结果的所有比较结果均小于互相关系数阈值，则确定本次语音朝向检测结果为麦克风语音采集装置侧向。
34.本技术一方面提供一种语音朝向检测装置，包括：
35.采集模块，用于采集语音信号，获得两路语音信号；
36.估计模块，用于对所述两路语音信号进行相关性估计，得到所述两路语音信号的互相关曲线，所述互相关曲线表示所述两路语音信号的互相关系数随语音采集装置信号接收角度的变化率；
37.获得模块，用于基于所述互相关曲线获得语音采集装置信号接收角度的中心角度对应的互相关系数；
38.确定模块，用于根据所述中心角度对应的互相关系数确定语音朝向的检测结果为正向或侧向。
39.通过语音采集装置对语音信号进行采集，从而得到两路语音信号，通过相关性估计可以获知两路语音信号的相关程度(用互相关系数来表示，互相关系数越大表示两路语
音信号的相关程度越大)，还可以获知在不同的语音采集装置的信号接收角度上互相关系数的变化情况(即互相关曲线)，如此，基于该互相关曲线就可以获知在设备的正向范围和侧向范围内两路语音信号的互相关系数，那么根据中心角度、即正向范围的互相关系数即可确定该发言用户位于设备的正向还是侧向。
附图说明
40.图1示出了一个示例中语音朝向检测的应用场景示意图；
41.图2示出了一实施例所示的语音朝向检测方法流程示意图；
42.图3示出了一实施例所示的语音朝向的检测结果确定流程示意图；
43.图4示出了一实施例所示的中心角度对应的互相关系数确定流程示意图
44.图5示出了一实施例所示的互相关曲线示意图；
45.图6示出了一实施例所示的语音朝向检测装置结构示意图。
具体实施方式
46.为使本技术的目的、特征、优点能够更加的明显和易懂，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而非全部实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
47.在电话会议的场景中，可能存在用户被干扰的情形，此时用户可能会侧身与他人进行对话，如图1所示。当用户被干扰时，用户的语音仍然能够被会议终端的语音采集装置采集到，从而可能会影响会议的进行。在一个示例中，本公开提供了一种语音朝向检测方法，以实现对发言用户朝向的检测，如图2所示，该方法包括：
48.步骤201，通过语音采集装置采集语音信号，获得两路语音信号；
49.步骤202，对所述两路语音信号进行相关性估计，得到所述两路语音信号的互相关曲线，所述互相关曲线表示所述两路语音信号的互相关系数随语音采集装置信号接收角度的变化率；
50.步骤203，基于所述互相关曲线获得语音采集装置信号接收角度的中心角度对应的互相关系数；
51.步骤204，根据所述中心角度对应的互相关系数确定语音朝向的检测结果为正向或侧向。
52.在该示例中，通过语音采集装置对语音信号进行采集，从而得到两路语音信号，通过相关性估计可以获知两路语音信号的相关程度(用互相关系数来表示，互相关系数越大表示两路语音信号的相关程度越大)，还可以获知在不同的语音采集装置的信号接收角度上互相关系数的变化情况(即互相关曲线)，如此，基于该互相关曲线就可以获知在设备的正向范围和侧向范围内两路语音信号的互相关系数。
53.通过相关性估计计算得到的信号的互相关系数，经归一化后是0～1之间的浮点数，其值越大，表示两信号间的相关程度越高。当发言用户位于设备前方的正向时，用户的声音直达语音采集装置，当用户位于设备前方的侧向时，用户的部分声音会经过周围环境的反射进入语音采集装置，而当麦克风等语音信号采集装置接收到的两路信号中的直达声
成分较高时，其互相关系数越高，两路信号中的反射声成分较高时，其互相关系数越低。
54.在该示例中，将设备的正向范围对应的信号接收角度称为中心角度，那么根据中心角度的互相关系数即可确定该发言用户是否位于设备的正向。
55.在一个示例中，上述步骤204，根据所述中心角度对应的互相关系数确定语音朝向的检测结果为正向或侧向的实现方式如图3所示包括：
56.步骤301，比较所述中心角度对应的互相关系数与互相关系数阈值的大小；
57.步骤302，如果中心角度对应的互相关系数大于等于互相关系数阈值，确定语音朝向的检测结果为麦克风语音采集装置的正向；
58.步骤303，如果中心角度对应的互相关系数小于互相关系数阈值，确定语音朝向的检测结果为麦克风语音采集装置的侧向。
59.这里，语音采集装置的正向即设备前方的正向，语音采集装置的侧向即设备前方的侧向。
60.在另一个示例中，在步骤301进行比较，得到比较结果后，并不立即输出语音朝向检测正向或侧向的检测结果，可以对语音朝向检测结果进行平滑处理，包括：
61.记录本次的比较结果，获得存储的多个历史比较结果，如果包括本次比较结果和历史比较结果的所有比较结果均大于等于互相关系数阈值，则确定本次语音朝向检测结果为麦克风语音采集装置正向；如果包括本次比对结果和历史比较结果的所有比较结果均小于互相关系数阈值，则确定本次语音朝向检测结果为麦克风语音采集装置侧向。
62.这一平滑处理有利于“正向”和“侧向”两种状态的平滑切换，可以减小语音朝向检测结果的错误概率，例如发言用户只是在很短的时间内发生了侧向的发言又很快切换到正向发言，如果因为一次的比较结果为小于互相关系数阈值就确定为用户在侧向发言，并以此认为用户受到了干扰，那么这个检测结果其实是与实际情况不符的。反之，如果用户在和别人交谈时偶然移动到了设备的正向，如果因为一次的比较结果为大于等于互相关系数阈值就确定为用户在正向发言，并以此认为用户在正常参与会议未受到干扰，那么这个检测结果也是与实际情况不符的。
63.在一个示例中，本公开可以在缓存中配置一个设定长度的buffer，用于存储比较结果，例如buffer长度为5，那么该buffer可以存储连续的5次比较结果，如果5次(包括本次比较结果)均为大于等于互相关系数阈值，则确定本次语音朝向检测结果为麦克风语音采集装置正向，否则，仍然采用上一次的语音朝向检测结果；如果5次(包括本次比较结果)均为小于互相关系数阈值，则确定本次语音朝向检测结果为麦克风语音采集装置侧向，否则，仍然采用上一次的语音朝向检测结果。
64.在一个示例中，上述的语音采集装置可以位于会议终端上，会议终端可以是手机、平板电脑、笔记本电脑等具有会议客户端的设备。本公开提供的语音朝向检测方法可以适用于具有双语音采集装置的设备，也可以适用于具有多于两个语音采集装置的设备。
65.双语音采集装置采集语音信号，即可获得两路语音信号；多于两个语音采集装置采集语音信号，获得多路语音信号，进而，本公开将所述多路语音信号合成为两路语音信号。
66.需要指出的是，两路语音信号为首达语音信号时，本公开根据该两路语音信号确定出上述的互相关系数阈值；两路语音信号为非首达语音信号时，则对该两路语音信号进
行相关性估计。这里的首达声为用户开始发言时的前几帧信号，此后的即为非首达声。
67.为了适应环境的变化，本公开需要确定出适应于当前环境的互相关系数阈值，如此才能准确的判断语音朝向，为此，本公开采用了静音抑制(vad，voice activity detection)方式来实时检测用户发言的状态(称为vad状态)，即有声音或无声音，每当vad状态由无声音(静音)切换为有声音(非静音)时，均进行首达声的采集，并以此计算互相关系数阈值。相应的，基于首达声之后的语音信号，即非首达声进行步骤202的相关性估计。
68.具体的，vad状态由静音切换为非静音的时刻，通过语音采集装置采集语音信号，在采集的语音信号达到设定时长，获得首达语音信号；在所述设定时长之后通过语音采集装置采集的语音信号为非首达语音信号。在一个示例中，对设定时长的两路非首达语音信号进行相关性估计。这里首达语音信号的设定时长和非首达语音信号的设定时长可以相同。
69.在一个示例中，可以预先设置缓冲区用于缓存足够多的语音信号用于计算，例如，语音信号的发送频率为10ms一帧，那么当vad状态由静音切换为非静音时，语音信号会连续的存入缓冲区，当语音信号足够多、例如缓冲区缓存了100ms(设定时长)的语音信号时，即可基于该100ms的首达声语音信号进行互相关系数阈值的计算。此后，每当缓冲区中缓存了100ms(设定时长)的非首达声语音信号时，即可进行一次步骤202所述的相关性估计。
70.在一个示例中，互相关系数阈值的确定方式为：确定设定时长的两路首达语音信号的互相关系数，根据确定出的互相关系数对互相关系数设定阈值进行调整，得到所述互相关系数阈值。本公开中，可以预先配置一个互相关系数设定阈值，该阈值可以是经验值，在获得两路首达语音信号之后，进行相关性计算可得到两路首达语音信号的互相关系数，根据这个互相关系数，可以动态的对互相关系数设定阈值进行调整，从而得到互相关系数阈值。例如，根据经验确定若要确定为发言方向为正向互相关系数至少为0.4时，那么互相关系数设定阈值可设置为0.4。若本次计算出的两路首达语音信号的互相关系数为0.7，那么为了适应当前的环境，可以调高互相关系数设定阈值，例如调整到0.6，那么0.6即为互相关系数阈值。再例如，根据经验确定若要确定为发言方向为正向互相关系数至少为0.5时，那么互相关系数设定阈值可设置为0.5。若本次计算出的两路首达语音信号的互相关系数为0.38，那么为了适应当前的环境，可以调低互相关系数设定阈值，例如调整到0.4，那么0.4即为互相关系数阈值。因此，本公开的互相关系数阈值会随着环境的变化而有所波动，如此判断出的语音朝向更加的准确。
71.在获取到非首达语音信号的互相关曲线后，需要从所述互相关曲线中获取语音采集装置信号接收角度的中心角度对应的互相关系数，如图4所示，包括：
72.步骤401，根据语音信号采样点和语音采集装置信号接收角度的对应关系，确定所述中心角度包含的所有采样点。
73.本公开中，需要先确定语音信号的采样点数，在一个示例中，可根据语音采集装置的间距、声速和语音信号采样率确定语音信号的采样点数。这里，当设备具有双语音采集装置时，语音采集装置的间距即为两个语音采集装置之间的距离；当设备具有多于两个语音采集装置时，语音采集装置的间距可为多个语音采集装置中相距最远的两个语音采集装置之间的距离。
74.在一个示例中，可通过如下公式计算采样点数n：
[0075][0076]
其中，d表示语音采集装置的间距，单位为米(m)，c表示室温下的声速，一般取值为343m/s，fs表示语音信号的采样率，例如可为48khz。例如，语音采集装置的间距为0.2m、声速为343m/s、采样率为48khz时，采样点数为个。
[0077]
确定了采样点数之后，建立采样点和语音采集装置信号接收角度的对应关系，例如，设定语音采集装置信号接收角度为0至180度，那么可将这些采样点数均分到0至180度范围内，得到每个采样点对应的角度。
[0078]
在一个示例中，还可以为每个采样点生成对应的索引，例如，55个采样点的索引可以依次为0～54。
[0079]
步骤402，基于所述互相关曲线确定所述中心角度包含的每个采样点的互相关系数。
[0080]
在该示例中，中心角度至少包含了三个采样点，即n个采样点按照索引排序的中间三个采样点，例如n＝55时，中间三个采样点的索引分别为27/28/29。
[0081]
步骤403，根据所述中心角度包含的所有采样点的互相关系数确定所述中心角度对应的互相关系数。
[0082]
在计算出了互相关曲线之后，可以直接在互相关曲线中找到中心角度包含的三个采样点的互相关系数。如图5所示的互相关曲线中，中心角度包含的索引分别为26/27/28的三个采样点的互相关系数分别为：0.5、0.53、0.52。
[0083]
那么，根据中心角度包含的采样点的互相关系数即可确定出中心角度对应的互相关系数，例如，可以通过求平均值的方式，也可以采用加权求和的方式。如此可以显著提高用户在小角度转头、头部小范围偏离中点等情况的判定冗余度。
[0084]
进而，根据中心角度的互相关系数执行步骤301，即可判断出语音的朝向。
[0085]
在一个示例中，由于房间混响、背景噪声、其他说话人等环境因素的影响，直接使用互相关曲线中心角度的采样点作为语音朝向的判定依据是非常不稳定的，因此还可以结合实际情况对检测方法增加冗余度和平滑度，具体的，可通过如下的方式检测是否存在干扰：
[0086]
将中心角度包含的所有采样点的互相关系数中的最大值作为峰值；
[0087]
如果所述互相关曲线中存在副峰值，确定本次语音朝向检测结果为无效值，仍然采用上一次的语音检测结果；否则，根据所述中心角度包含的所有采样点的互相关系数确定所述中心角度对应的互相关系数；
[0088]
其中，副峰值满足如下条件：所述副峰值的大小与所述峰值的大小相比满足设定条件、且所述副峰值对应的采样点位于以所述中心角度起设定角度范围以外的接收角度。
[0089]
在一个示例中，所述副峰值的大小与所述峰值的大小相比满足设定条件可为：副峰值大于峰值的50％；
[0090]
在另一个示例中，副峰值的索引和峰值的索引之间的距离大于n
interfere
时，即可认为副峰值对应的采样点位于以所述中心角度起设定角度范围以外的接收角度。其中，
[0091][0092]
若要确定中心角度45度以外是否存在干扰(即副峰值)，可将θ取值为45
°
，则计算得到n
interfere
＝19，即峰值的索引和副峰值的索引的距离大于19，结合图5，峰值的索引为27、互相关系数为0.53，那么在满足与27的距离大于19的索引中，索引为7的采样点的互相关系数为0.28，大于0.53的50％，那么索引为7的采样点为副峰。如此，可以确定基于本次100ms的非首达语音信号的语音朝向检测无效。
[0093]
若不存在副峰，则根据中心角度对应的互相关系数和互相关系数阈值进行比较，即可确定出语言的朝向。
[0094]
为了实现上述的语音朝向检测方法，本公开一示例还提供了一种语音朝向检测装置，如图6所示，包括：
[0095]
采集模块10，用于采集语音信号，获得两路语音信号；
[0096]
估计模块20，用于对所述两路语音信号进行相关性估计，得到所述两路语音信号的互相关曲线，所述互相关曲线表示所述两路语音信号的互相关系数随语音采集装置信号接收角度的变化率；
[0097]
获得模块30，用于基于所述互相关曲线获得语音采集装置信号接收角度的中心角度对应的互相关系数；
[0098]
确定模块40，用于根据所述中心角度对应的互相关系数确定语音朝向的检测结果为正向或侧向。
[0099]
在一个示例中，采集模块10，还用于通过双语音采集装置采集语音信号，获得两路语音信号；或者，还用于通过多于两个语音采集装置采集语音信号，获得多路语音信号，将所述多路语音信号合成为两路语音信号；
[0100]
在一个示例中，确定模块40，还用于比较所述中心角度对应的互相关系数与互相关系数阈值的大小，如果中心角度对应的互相关系数大于等于互相关系数阈值，确定语音朝向的检测结果为麦克风语音采集装置的正向；否则，确定语音朝向的检测结果为麦克风语音采集装置的侧向。
[0101]
如果所述两路语音信号为首达语音信号，估计模块20还用于根据所述两路语音信号确定所述互相关系数阈值；
[0102]
如果所述两路语音信号为非首达语音信号，估计模块20还用于对所述两路语音信号进行相关性估计。
[0103]
在一个示例中，采集模块10，还用于在静音抑制状态由静音切换为非静音的时刻，采集语音信号，在采集的语音信号达到设定时长，获得首达语音信号；在所述设定时长之后采集模块10采集的语音信号为非首达语音信号。
[0104]
在一个示例中，估计模块20还用于确定设定时长的两路首达语音信号的互相关系数，根据确定出的互相关系数对互相关系数设定阈值进行调整，得到所述互相关系数阈值；
[0105]
估计模块20还用于对设定时长的两路非首达语音信号进行相关性估计。
[0106]
在一个示例中，获得模块30还用于根据语音信号采样点和语音采集装置信号接收角度的对应关系，确定所述中心角度包含的所有采样点；基于所述互相关曲线确定所述中心角度包含的每个采样点的互相关系数；根据所述中心角度包含的所有采样点的互相关系
数确定所述中心角度对应的互相关系数。
[0107]
其中，估计模块20还用于根据语音采集装置的间距、声速和语音信号采样率确定语音信号的采样点数，并根据采样点数建立采样点和语音采集装置信号接收角度的对应关系。
[0108]
在一个示例中，获得模块30还用于将所述中心角度包含的所有采样点的互相关系数中的最大值作为峰值，如果所述互相关曲线中存在副峰值，确定所述语音朝向检测结果为无效值；否则，根据所述中心角度包含的所有采样点的互相关系数确定所述中心角度对应的互相关系数；
[0109]
所述副峰值满足如下条件：所述副峰值的大小与所述峰值的大小相比满足设定条件、且所述副峰值对应的采样点位于以所述中心角度起设定角度范围以外的接收角度。
[0110]
在一个示例中，确定模块40，还用于获得本次比较结果和存储的多个历史比较结果；如果包括本次比较结果和历史比较结果的所有比较结果均大于等于互相关系数阈值，则确定本次语音朝向检测结果为麦克风语音采集装置正向；或者，如果包括本次比对结果和历史比较结果的所有比较结果均小于互相关系数阈值，则确定本次语音朝向检测结果为麦克风语音采集装置侧向。
[0111]
在一个示例中，本公开还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现所述语音朝向检测的方法步骤。
[0112]
在一个示例中，本公开还提供了一种计算机存储介质，其特征在于，所述存储介质存储有计算机可执行指令，当所述指令被执行时用执行所述语音朝向检测的方法。
[0113]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0114]
除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的方法中的步骤。
[0115]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0116]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点
可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0117]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0118]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。