首页 > 乐器声学 专利正文
音频识别方法、装置、电子设备及存储介质与流程

时间:2022-02-06 阅读: 作者:专利查询

音频识别方法、装置、电子设备及存储介质与流程

1.本技术涉及计算机技术领域,特别涉及一种音频识别方法、装置、电子设备及存储介质。


背景技术:

2.随着音频识别技术的快速发展,在人们的日常生活中,用户通过输入包括唤醒词的音频数据,能够控制电子设备执行相应的操作,例如唤醒亮屏、唤醒解锁、唤醒语音对话功能等。
3.相关技术中,通常是由电子设备采集到用户发出的音频数据后,识别该音频数据中是否包括唤醒词。但是经常出现用户还未说完唤醒词,电子设备就基于音频数据识别出某个唤醒词的情况,但是所识别出的唤醒词不一定是用户真正要说的那个唤醒词本身,因此音频识别的准确率较低。


技术实现要素:

4.本技术实施例提供了一种音频识别方法、装置、电子设备及存储介质,能够提高音频识别的准确率,所述技术方案如下:
5.根据本技术实施例的一方面,提供了一种音频识别方法,所述方法包括:
6.在采集到音频帧时,将当前采集的音频帧与之前采集的音频帧构成一个音频片段,并获取所述音频片段的第一特征值和第二特征值;
7.在多个所述音频片段的所述第二特征值中出现极大值,且所述第一特征值的变化幅度小于第一阈值的情况下,确定识别到唤醒词;
8.其中,所述音频片段包括n个音频帧,相邻的两个音频片段包括至少一个相同的音频帧,n为正整数,且n等于所述唤醒词包含的音素的数量;所述第一特征值表示所述音频片段属于所述唤醒词的概率,所述第二特征值与所述第一特征值正相关,且与所述音频片段的第三特征值负相关,所述第三特征值表示所述音频片段属于每个词语的概率中的最大概率。
9.在一种可能的实现方式中,所述在多个所述音频片段的所述第二特征值中出现极大值,且所述第一特征值的变化幅度小于第一阈值的情况下,确定识别到唤醒词,包括:
10.在第一音频片段的所述第二特征值大于第二音频片段的所述第二特征值,且所述第一音频片段的所述第二特征值大于第三音频片段的所述第二特征值的情况下,确定所述第一音频片段的所述第二特征值是极大值;其中,所述第一音频片段为所述第三音频片段的前一个音频片段,所述第二音频片段为所述第一音频片段的前一个音频片段;
11.在所述第三音频片段的所述第一特征值与所述第一音频片段的所述第一特征值之间的差值小于所述第一阈值的情况下,确定识别到所述唤醒词;
12.在所述第三音频片段的所述第一特征值与所述第二音频片段的所述第一特征值之间的差值不小于所述第一阈值的情况下,继续采集音频帧,直至本次构成的音频片段的
所述第一特征值与上一次构成的音频片段的所述第一特征值之间的差值小于所述第一阈值,确定识别到所述唤醒词。
13.在一种可能的实现方式中,所述获取所述音频片段的第一特征值和第二特征值,包括:
14.获取所述音频片段的所述第一特征值和所述第三特征值;
15.基于所述第一特征值和所述第三特征值,确定所述第二特征值。
16.在一种可能的实现方式中,所述获取所述音频片段的所述第一特征值和所述第三特征值,包括:
17.获取所述音频片段中每个音频帧的第一特征分量和第二特征分量,其中,第k个音频帧的第一特征分量表示所述第k个音频帧属于所述唤醒词中的第k个音素的概率,所述第k个音频帧的第二特征分量表示所述第k个音频帧属于多个音素的概率中的最大概率,k为不大于n的正整数;
18.将每个所述音频帧的第一特征分量相加,得到所述音频片段的所述第一特征值;
19.将每个所述音频帧的第二特征分量相加,得到所述音频片段的所述第三特征值。
20.在一种可能的实现方式中,所述方法还包括:
21.每次采集到一个音频帧时,对所述音频帧进行音频识别,得到所述多个音素的特征分量,所述音素的特征分量表示所述音频帧为所述音素的概率;
22.所述获取所述音频片段中每个音频帧的第一特征分量和第二特征分量,包括:
23.对于所述音频片段中的第k个音频帧,在所述第k个音频帧的多个所述特征分量中,将所述唤醒词中的第k个音素的特征分量确定为所述第k个音频帧的第一特征分量,将最大的特征分量确定为所述音频帧的第二特征分量。
24.在一种可能的实现方式中,所述在多个所述音频片段的所述第二特征值中出现极大值,且所述第一特征值的变化幅度小于第一阈值的情况下,确定识别到唤醒词,包括:
25.在多个所述音频片段的所述第二特征值中出现极大值,所述极大值大于第二阈值,且所述第一特征值的变化幅度小于所述第一阈值的情况下,确定识别到所述唤醒词。
26.在一种可能的实现方式中,所述在多个所述音频片段的所述第二特征值中出现极大值,且所述第一特征值的变化幅度小于第一阈值的情况下,确定识别到唤醒词之后,所述方法还包括:
27.基于识别到所述唤醒词之后采集到的至少一个音频帧识别语音控制指令,执行所述语音控制指令对应的控制操作。
28.根据本技术实施例的另一方面,提供了一种音频识别装置,所述装置包括:
29.组合模块,用于在采集到音频帧时,将当前采集的音频帧与之前采集的音频帧构成一个音频片段;
30.获取模块,用于获取所述音频片段的第一特征值和第二特征值;
31.确定模块,用于在多个所述音频片段的所述第二特征值中出现极大值,且所述第一特征值的变化幅度小于第一阈值的情况下,确定识别到唤醒词;
32.其中,所述音频片段包括n个音频帧,相邻的两个音频片段包括至少一个相同的音频帧,n为正整数,且n等于所述唤醒词包含的音素的数量;所述第一特征值表示所述音频片段属于所述唤醒词的概率,所述第二特征值与所述第一特征值正相关,且与所述音频片段
的第三特征值负相关,所述第三特征值表示所述音频片段属于每个词语的概率中的最大概率。
33.在一种可能的实现方式中,所述确定模块,包括:
34.第一确定单元,用于在第一音频片段的所述第二特征值大于第二音频片段的所述第二特征值,且所述第一音频片段的所述第二特征值大于第三音频片段的所述第二特征值的情况下,确定所述第一音频片段的所述第二特征值是极大值;其中,所述第一音频片段为所述第三音频片段的前一个音频片段,所述第二音频片段为所述第一音频片段的前一个音频片段;
35.第二确定单元,用于在所述第三音频片段的所述第一特征值与所述第一音频片段的所述第一特征值之间的差值小于所述第一阈值的情况下,确定识别到所述唤醒词;
36.所述第二确定单元,还用于在所述第三音频片段的所述第一特征值与所述第一音频片段的所述第一特征值之间的差值不小于所述第一阈值的情况下,继续采集音频帧,直至本次构成的音频片段的所述第一特征值与上一次构成的音频片段的所述第一特征值之间的差值小于所述第一阈值,确定识别到所述唤醒词。
37.在一种可能的实现方式中,所述获取模块,包括:
38.获取单元,用于获取所述音频片段的所述第一特征值和所述第三特征值;
39.第三确定单元,用于基于所述第一特征值和所述第三特征值,确定所述第二特征值。
40.在一种可能的实现方式中,所述获取单元,用于:
41.获取所述音频片段中每个音频帧的第一特征分量和第二特征分量,其中,第k个音频帧的第一特征分量表示所述第k个音频帧属于所述唤醒词中的第k个音素的概率,所述第k个音频帧的第二特征分量表示所述第k个音频帧属于多个音素的概率中的最大概率,k为不大于n的正整数;
42.将每个所述音频帧的第一特征分量相加,得到所述音频片段的所述第一特征值;
43.将每个所述音频帧的第二特征分量相加,得到所述音频片段的所述第三特征值。
44.在一种可能的实现方式中,所述装置还包括:
45.识别模块,用于每次采集到一个音频帧时,对所述音频帧进行音频识别,得到所述多个音素的特征分量,所述音素的特征分量表示所述音频帧为所述音素的概率;
46.所述获取单元,用于:
47.对于所述音频片段中的第k个音频帧,在所述第k个音频帧的多个所述特征分量中,将所述唤醒词中的第k个音素的特征分量确定为所述第k个音频帧的第一特征分量,将最大的特征分量确定为所述音频帧的第二特征分量。
48.在一种可能的实现方式中,所述确定模块,包括:
49.第四确定单元,用于在多个所述音频片段的所述第二特征值中出现极大值,所述极大值大于第二阈值,且所述第一特征值的变化幅度小于所述第一阈值的情况下,确定识别到所述唤醒词。
50.在一种可能的实现方式中,所述装置还包括:
51.执行模块,用于基于识别到所述唤醒词之后采集到的至少一个音频帧识别语音控制指令,执行所述语音控制指令对应的控制操作。
52.根据本技术实施例的另一方面,提供了一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现上述任一种可能的实现方式中所述的音频识别方法。
53.根据本技术实施例的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现上述任一种可能的实现方式中所述的音频识别方法。
54.根据本技术实施例的另一方面,提供了一种计算机程序产品,所述计算机程序产品包括至少一条程序代码,所述至少一条程序代码由处理器执行以实现上述任一种可能的实现方式中所述的音频识别方法。
55.本技术实施例提供的技术方案带来的有益效果至少包括:
56.本技术实施例提供的技术方案,将连续的多个音频帧进行组合,构成音频片段,并获取每个音频片段的第一特征值和第二特征值,由于第二特征值与第一特征值正相关,且与音频片段的第三特征值负相关,则在第二特征值出现极大值的情况下,还需要保证第一特征值的变化幅度小于第一阈值,才能说明音频片段属于唤醒词的概率不再上涨或者涨幅较小,确定在音频片段中识别到完整的唤醒词,采用这种音频识别方法,能够确保已识别到完整的唤醒词,提高了音频识别的准确率。
附图说明
57.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
58.图1是本技术实施例提供的一种实施环境的示意图;
59.图2是本技术实施例提供的一种音频识别方法的流程图;
60.图3是本技术实施例提供的另一种音频识别方法的流程图;
61.图4是本技术实施例提供的一种音频识别装置的结构示意图;
62.图5是本技术实施例提供的另一种音频识别装置的结构示意图;
63.图6是本技术实施例提供的一种终端的结构示意图;
64.图7是本技术实施例提供的一种服务器的结构示意图。
具体实施方式
65.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合附图对本技术实施方式作进一步地详细描述。
66.可以理解,本技术所使用的术语“第一”、“第二”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本技术的范围的情况下,可以将第一特征值称为第二特征值,将第二特征值称为第一特征值。
67.本技术所使用的术语“至少一个”、“多个”、“每个”、“任一”等,至少一个包括一个、两个或两个以上,多个包括两个或两个以上,每个是指对应的多个中的每一个,任一是指多
个中的任意一个。举例来说,多个音频帧包括3个音频帧,而每个音频帧是指这3个音频帧中的每一个音频帧,任一是指这3个音频帧中的任意一个,可以是第一个,可以是第二个,也可以是第三个。
68.图1是本技术实施例提供的一种实施环境的示意图,参见图1,该实施环境包括:终端101和服务器102。终端101与服务器102之间通过无线或者有线网络连接。
69.可选地,终端101为智能手机、平板电脑、智能穿戴设备或者智能家居设备等任一种类型的终端,智能家居设备为智能音箱、智能电视、智能冰箱、智能空调、智能机器人、智能灯具、智能锁等。服务器102为一台服务器,或者由若干服务器组成的服务器集群,或者是一个云计算服务中心。
70.可选地,终端101上安装有服务器102提供服务的应用,终端101能够通过该应用实现例如数据传输、消息交互等功能。可选地,该应用为终端101操作系统中的应用,或者为第三方提供的应用。例如,该应用为语音助手,该语音助手应用具有音频识别功能,当然,该应用还能够具有其他功能,例如,执行语音命令的功能、缓存功能等。
71.在用户通过语音唤醒终端101的场景中,终端101对采集到的音频片段进行识别,在终端101确定识别到完整唤醒词的情况下,继续采集音频帧,从而将采集到的至少一个音频帧发送给服务器102,服务器102接收该至少一个音频帧,并确定该至少一个音频帧对应的语音控制指令,之后,将识别到的语音控制指令发送给终端101,使得终端101执行该语音控制指令对应的控制操作。
72.需要说明的是,上述图1的实施例仅以终端101将采集到的音频片段发送给服务器102为例来说明。在另一实施例中,终端101无需将采集到的音频片段发送给服务器102,而是由终端101来识别该音频片段中的唤醒词,在终端101确定识别到完整唤醒词的情况下,直接执行唤醒词对应的控制操作。
73.本技术实施例提供的方法可以应用于多种场景下。
74.例如,本技术实施例提供的方法应用于通过语音唤醒手机的场景下。用户在开车的过程中,不方便操控手机,但是用户想要使用手机进行导航,则可以说出与手机对应的唤醒词,当手机识别到该唤醒词,便从待机状态被唤醒,从而启动识别服务,其中,该识别服务用于识别语音控制指令。之后,用户说出打开导航应用以及如何导航等,手机便可以基于采集到的音频帧识别到打开导航应用的指令,从而打开导航应用进行导航。
75.再例如,本技术实施例提供的方法还可以应用于通过语音控制智能电视的场景下。用户可以说出与智能电视对应的唤醒词,当智能电视识别到该唤醒词后,启动识别服务,在识别到更换电视频道的语音控制指令时,控制智能电视执行更换电视频道的操作。
76.需要说明的是,本技术实施例仅是以手机或者智能电视识别出唤醒词为例进行说明,并不对本技术的音频识别方法的场景进行限定。
77.图2是本技术实施例提供的一种音频识别方法的流程图。本技术实施例的执行主体为电子设备。参见图2,该方法包括以下步骤:
78.201、在采集到音频帧时,将当前采集的音频帧与之前采集的音频帧构成一个音频片段,并获取该音频片段的第一特征值和第二特征值。
79.其中,该音频片段包括n个音频帧,相邻的两个音频片段包括至少一个相同的音频帧,n为正整数,且n等于唤醒词包含的音素的数量。唤醒词用于唤醒电子设备来执行对应的
控制操作,例如控制手机接听电话、控制导航系统进行导航或者控制智能电视调节音量等。可选地,该唤醒词是电子设备预先设置的。其中,唤醒词由多个音素组成,音素是根据音频的自然属性划分出来的最小音频单位,依据音节里的发音动作来分析,一个发音动作构成一个音素。
80.电子设备在采集到音频帧的情况下,将当前采集的音频帧与之前采集的音频帧进行组合,构成一个包含n个音频帧的音频片段,其中,n为正整数,且唤醒词包含n个音素,也即是音频片段包含的音频帧的数量与唤醒词包含的音素的数量相等。之后,继续采集音频帧,并将当前采集的音频帧与之前采集的音频帧进行组合,构成另一个音频片段。
81.例如,当前采集的音频帧的数量为m个,且m为小于n的正整数,电子设备将采集到的音频帧按照采集时间的先后顺序进行排列,为了构成一个包含n个音频帧的音频片段,需获取位于当前采集的m个音频帧之前的n

m个音频帧,从而将当前采集到的m个音频帧和这n

m个音频帧进行组合,得到一个包含n个音频帧的音频片段,该音频片段中的n个音频帧是连续的。之后,继续对音频帧进行采集,在再次采集到m个音频帧的情况下,重新获取位于新采集的m个音频帧之前的n

m个音频帧,构成另一个包含n个音频帧的音频片段,电子设备重复执行上述步骤,从而构成多个音频片段。
82.需要说明的是,由于m为小于n的正整数,每个音频片段中包含的n个音频帧是连续的,则对于相邻的两个音频片段,前一个音频片段中后面的n

m个音频帧与后一个音频片段中前面的n

m个音频帧是相同的,也即是相邻的两个音频片段之间存在重叠部分,相邻的两个音频片段之间至少存在一个相同的音频帧。
83.对于构成的每个音频片段,分别获取其对应的第一特征值和第二特征值,其中,第一特征值表示该音频片段属于唤醒词的概率,也即是该音频片段中内容为唤醒词的概率,第二特征值与第一特征值正相关,且与该音频片段的第三特征值负相关,第三特征值表示音频片段属于每个词语的概率中的最大概率。其中,每个词语由多个音素中的至少两个音素组成。基于该多个音素进行组合,能够得到多个词语,该多个词语中包括唤醒词以及非唤醒词。可选地,多个音素为预先设置的多个音素。每个词语的概率表示该音频片段属于该词语的概率,第三特征值为多个词语的概率中的最大概率,因此,该最大概率对应的词语即为该音频片段所属的词语。
84.202、在多个音频片段的第二特征值中出现极大值,且第一特征值的变化幅度小于第一阈值的情况下,确定识别到唤醒词。
85.电子设备将获取到的音频片段的第一特征值和第二特征值进行缓存,并根据多个音频片段分别对应的第二特征值来确定第二特征值的变化情况,由于第二特征值与第一特征值正相关,可以认为第二特征值达到极大值的时候,音频片段中包括唤醒词的概率比较大。但是,第二特征值还与音频片段属于每个词语的概率中的最大概率负相关,第二特征值达到极大值还可能因为音频片段的第三特征值大幅度增长,而实际上第一特征值还未停止上涨,也即是在音频片段中仅包括部分唤醒词的情况下,第二特征值也可能达到极大值。因此,为了确保音频片段中包含完整的唤醒词,还需要确定第一特征值的变化幅度。
86.为此,电子设备确定当前的第一特征值与前一个第一特征值之间的变化幅度,若第一特征值的变化幅度小于第一阈值,说明第一特征值不再上涨或者涨幅较小,则认为当前的音频片段属于唤醒词的概率不再上涨或者涨幅较小,即可确定已识别到完整的唤醒
词。
87.本技术实施例提供的方法,将连续的多个音频帧进行组合,构成音频片段,并获取每个音频片段的第一特征值和第二特征值,由于第二特征值与第一特征值正相关,且与音频片段的第三特征值负相关,则在第二特征值出现极大值的情况下,还需要保证第一特征值的变化幅度小于第一阈值,才能说明音频片段属于唤醒词的概率不再上涨或者涨幅较小,确定在音频片段中识别到完整的唤醒词,采用这种音频识别方法,能够确保已识别到完整的唤醒词,提高了音频识别的准确率。
88.图3是本技术实施例提供的另一种音频识别方法的流程图。本技术实施例的执行主体为电子设备。参见图3,该方法包括以下步骤:
89.301、每次采集到一个音频帧时,将当前采集的音频帧与之前采集的n

1个音频帧构成一个音频片段。
90.本技术实施例中,电子设备对音频帧进行实时采集,依次采集多个音频帧,以便从采集到的多个音频帧中识别出唤醒词。可选地,在用户说话的过程中,电子设备依次采集多个音频帧,电子设备通过识别采集到的音频帧,来识别用户是否说出唤醒词。
91.其中,该音频片段包括n个音频帧,相邻的两个音频片段包括n

1个相同的音频帧,n为正整数,且n等于唤醒词包含的音素的数量。其中,一个音频帧对应一个音素,或者说每个音频帧表示一个音素。由于唤醒词包含n个音素,为了识别连续采集的音频帧是否属于该唤醒词,则需要识别连续的n个音频帧是否属于该唤醒词中的n个音素,因此每次构成的音频片段需包含n个音频帧,来识别该音频片段是否为唤醒词。
92.电子设备每次采集到一个音频帧,将当前采集的音频帧与之前采集的n

1个音频帧进行组合,从而构成一个包含n个音频帧的音频片段,使得音频片段中包含的音频帧的数量与唤醒词包含的音素数量相等。之后,在再次采集到音频帧时,重复执行上述步骤,也即是将当前采集到的该音频帧与位于该音频帧之前的n

1个音频帧进行组合,以构成下一个音频片段。其中,相邻的两个音频片段之间存在重叠部分,包含n

1个相同的音频帧,即前一个音频片段中后面的n

1个音频帧与后一个音频片段中前面的n

1个音频帧是相同的,也即是仅有一个音频帧不同。
93.需要说明的是,上述步骤301中每次采集到一个音频帧,都会构成一个音频片段,从而实时识别采集到的音频帧所构成的音频片段是否包含唤醒词,以便能够及时在音频片段中识别到完整的唤醒词。而在另一实施例中,在采集到音频帧时,将当前采集的音频帧与之前采集的音频帧构成一个音频片段。例如,每采集到m个音频帧,且m为小于n的正整数,电子设备获取之前采集到的n

m个音频帧,从而将获取到的n个音频帧进行组合,以构成包含n个音频帧的该音频片段。之后,每采集到m个音频帧,均执行一次构成音频片段的操作,每次构成的音频片段都包括n个音频帧,则相邻的两个音频片段之间存在重叠部分,相邻的两个音频片段包括至少一个相同的音频帧。
94.302、获取该音频片段的第一特征值和第三特征值。
95.其中,该第一特征值表示该音频片段属于唤醒词的概率,该第三特征值表示该音频片段属于每个词语的概率中的最大概率。
96.在一种可能实现方式中,电子设备获取该音频片段中每个音频帧的第一特征分量和第二特征分量,将每个音频帧的第一特征分量相加,得到该音频片段的第一特征值,将每
个音频帧的第二特征分量相加,得到该音频片段的第三特征值。
97.其中,该音频片段中的第k个音频帧的第一特征分量表示第k个音频帧属于唤醒词中的第k个音素的概率,第k个音频帧的第二特征分量表示第k个音频帧属于多个音素的概率中的最大概率,k为不大于n的正整数。
98.该音频片段包含n个音频帧,每个音频帧都对应一个第一特征分量和一个第二特征分量,因此会得到n个第一特征分量和n个第二特征分量。由于音频片段中的音频帧和唤醒词中的音素是一一对应的,如果音频片段中每个位置上的音频帧均为唤醒词中相同位置上的音素,则说明该音频片段属于该唤醒词。由于每个位置上的音频帧的第一特征分量表示该音频帧为唤醒词中相同位置上的音素的概率,则每个位置上的音频帧的第一特征分量之和,能够表示该音频片段属于该唤醒词的概率。由于每个位置上的音频帧的第二特征分量表示该音频帧为多个音素的概率中的最大概率,则每个位置上的音频帧的第二特征分量之和,能够表示该音频片段属于每个词语的概率中的最大概率。因此电子设备对得到的n个第一特征分量进行相加,得到该音频片段的第一特征值,对得到的n个第二特征分量进行相加,得到该音频片段的第三特征值。
99.在一种可能实现方式中,电子设备对于该音频片段中的第k个音频帧,在该音频帧的多个特征分量中,将唤醒词中的第k个音素的特征分量确定为该音频帧的第一特征分量,将最大的特征分量确定为该音频帧的第二特征分量。
100.每个音素的特征分量表示该音频帧为该音素的概率,可选地,该多个音素为预先设置的多个音素。由于第k个音频帧的第一特征分量表示该音频帧属于唤醒词中的第k个音素的概率,因此直接在该多个特征分量中将第k个音素的特征分量确定为第k个音频帧的第一特征分量即可。由于第k个音频帧的第二特征分量表示第k个音频帧属于多个音素的概率中的最大概率,而除了第k个音素之外的其他音素的数量为至少一个,在全部的特征分量中,最大特征分量更能表示该第k个音频帧所属的音素的概率,因此将该最大特征分量确定为第k个音频帧的第二特征分量,使得该第二特征分量更加准确。
101.每次采集到一个音频帧时,对该音频帧进行音频识别,得到多个音素的特征分量。其中,每个音素的特征分量表示该音频帧为该音素的概率。对采集到的音频帧进行音频识别后,即可得到该音频帧分别为多个音素中每个音素的概率。
102.可选地,电子设备每次采集到一个音频帧时,调用音频识别模型,对音频帧进行音频识别,得到多个音素的特征分量。
103.其中,音频识别模型用于对任一音频帧进行识别,得到该音频帧分别对应的多个音素的概率。可选地,电子设备中存储有该音频识别模型,该音频识别模型是已训练好的模型。电子设备在采集到一个新的音频帧的情况下,将该音频帧输入到该音频识别模型中,由音频识别模型对该音频帧进行音频识别,即可输出该音频帧的多个特征分量,该多个特征分量也即是该音频帧分别为多个音素中每个音素的概率。
104.303、基于音频片段的第一特征值和第三特征值,确定音频片段的第二特征值。
105.其中,该第二特征值与第一特征值正相关,且与第三特征值负相关。
106.在一种可能实现方式中,电子设备采用以下公式,基于第一特征值和第三特征值,确定第二特征值。
[0107][0108]
其中,g为第二特征值,x为第一特征值,y为第三特征值,a、a、b和c为系数。
[0109]
304、在多个音频片段的第二特征值中出现极大值,且第一特征值的变化幅度小于第一阈值的情况下,确定识别到唤醒词。
[0110]
在用户说出唤醒词之前或之后,以及用户说出唤醒词的过程中,电子设备就会获取到一个或多个音频片段,而在音频片段包含的唤醒词中的音素的数量增加的情况下,音频片段的第一特征值将会增长,并且音频片段属于非唤醒词的概率比较大,此时该音频片段的第二特征值受到该第一特征值的影响较大,也会有所增长。因此在第二特征值出现极大值的情况下,说明第二特征值已经开始减小了,由于该第二特征值与第一特征值正相关,且与第三特征值负相关,则该第二特征值的下降可能是由第一特征值的涨幅较小导致的,此时,极大值对应的音频片段中包含唤醒词的音素的数量较多,该音频片段属于唤醒词的概率较大。然而,该第二特征值的下降也可能是由第三特征值的增长引起的,此时,第一特征值还在上涨,也即是极大值对应的音频片段中仅包含唤醒词的一部分,该音频片段包含唤醒词的音素的数量还会继续增长。因此,如果仅在第二特征值出现极大值的情况下,就确定识别到唤醒词,会出现误判的情况。
[0111]
为避免由于第三特征值上涨而导致第二特征值出现极大值,被误判为识别到唤醒词的情况,则需要确定第一特征值的变化幅度。如果第二特征值中出现极大值,且第一特征值的变化幅度小于第一阈值,可以认为第二特征值的下降是由于第一特征值不再上涨或涨幅较小导致的,也即是音频片段包含唤醒词的音素的数量不再继续增长,音频片段已经包含了唤醒词中的每个音素,能够确定已经识别到唤醒词了,从而提高了音频识别的准确率。
[0112]
在一种可能实现方式中,电子设备在第一音频片段的第二特征值大于第二音频片段的第二特征值,且第一音频片段的第二特征值大于第三音频片段的第二特征值的情况下,确定该第一音频片段的第二特征值是极大值。在第三音频片段的第一特征值与第一音频片段的第一特征值之间的差值小于第一阈值的情况下,确定识别到唤醒词。
[0113]
也即是,将相邻两个音频片段的第二特征值进行对比,直到任一音频片段的第二特征值既大于该音频片段的前一个音频片段的第二特征值,又大于该音频片段的后一个音频片段的第二特征值,此时,将该音频片段的第二特征值确定为极大值。之后,需要将该音频片段的后一个音频片段的第一特征值与该音频片段的第一特征值进行对比,并确定两者之间的差值,在差值小于第一阈值的情况下,可以确定采集到的音频片段属于唤醒词的概率不再上涨或者涨幅较小,则视为在采集到的音频片段中已包含完整的唤醒词。
[0114]
在第三音频片段的第一特征值与第一音频片段的第一特征值之间的差值不小于第一阈值的情况下,继续采集音频帧,直至本次构成的音频片段的第一特征值与上一次构成的音频片段的第一特征值之间的差值小于第一阈值,确定识别到唤醒词。
[0115]
在一种可能实现方式中,电子设备在多个该音频片段的第二特征值中出现极大值,该极大值大于第二阈值,且第一特征值的变化幅度小于第一阈值的情况下,确定识别到唤醒词。
[0116]
由于第二特征值不仅与第一特征值正相关,还与第三特征值负相关,第二特征值出现极大值,仅能说明第二特征值开始变小了,也即是第一特征值变小了或者第三特征值
变大了。而为了保证确实识别到唤醒词,需要保证音频片段属于唤醒词的概率较大,以及音频片段属于非唤醒词的概率较小,也即是该第二特征值较大。因此还需要确定极大值的大小,在极大值大于第二阈值的情况下,才视为该音频片段属于唤醒词的概率较大。
[0117]
例如,唤醒词为“你好”,该唤醒词所包含的音素为“nihao”,也即是唤醒词所包含的五个音素分别为“n”、“i”、“h”、“a”以及“o”,且五个音素是按顺序排列的。在用户说出“nihao”的过程中,电子设备对语音进行实时采集,每采集到一个音频帧,便与之前采集到的四个音频帧进行组合,构成一个包含五个音频帧的音频片段。之后,继续采集音频帧,重复执行上述构成音频片段的操作,从而得到多个音频片段。
[0118]
在用户说出“nihao”的过程中,音频片段中包含的唤醒词的音素越来越多,则第一特征值越来越大,第二特征值也越来越大,直到该音频片段中包含完整的唤醒词,即该音频片段所包含的5个音频帧为该唤醒词中的音素“nihao”。之后,在采集到下一个音频帧时,构成的下一个音频片段的第三特征值持续上涨,第一特征值不再上涨或涨幅较小,则第二特征值会出现极大值,且第一特征值的变化幅度小于第一阈值,因此确定已识别到唤醒词中的所有音素“nihao”,也即是识别到唤醒词“你好”,从而唤醒电子设备执行对应的控制操作。
[0119]
305、基于识别到唤醒词之后采集到的音频帧识别语音控制指令,执行该语音控制指令对应的控制操作。
[0120]
唤醒词用于唤醒电子设备,在电子设备确定识别到唤醒词后即可被唤醒。之后,电子设备继续采集音频帧,并启动识别服务,对识别到唤醒词之后采集到的音频帧进行识别,来确定语音控制指令以及该语音控制指令对应的控制操作,从而执行该语音控制指令对应的控制操作。
[0121]
上述通过语音控制电子设备的过程分为两个阶段:唤醒阶段和控制阶段。
[0122]
其中,在唤醒阶段,电子设备每采集到一个音频帧,便与之前采集的音频帧共同构成一个音频片段,从而对音频片段进行识别,得到多个音频片段的第一特征值和第二特征值,在第二特征值出现极大值且第一特征值的变化幅度小于第一阈值的情况下,确定已识别到完整的唤醒词,此时,电子设备由待机状态被唤醒。
[0123]
在电子设备被唤醒后,将继续采集新的音频帧,并基于采集到的音频帧识别用户发出的语音控制指令,从而执行该语音控制指令对应的控制操作。相关技术中,会存在用户还没有说完唤醒词,电子设备就确定识别出唤醒词而被唤醒的情况,导致唤醒词对应的剩余音频帧被误认为是语音控制指令对应的音频帧,使得对语音控制指令的识别准确率不高。然而,本技术实施例中,电子设备在识别到完整的唤醒词后才会被唤醒,能够保证被唤醒后所采集到的音频帧都属于语音控制指令,而不包括唤醒词对应的音频帧,提高了音频识别的准确率。
[0124]
需要说明的是,本技术实施例中仅是以根据唤醒词唤醒电子设备后,执行语音控制指令对应的控制操作为例进行说明的。而在另一实施例中,唤醒词还用于唤醒电子设备执行相应的控制操作。因此,在电子设备确定识别到唤醒词后,即可直接执行相应的控制操作。可选地,电子设备中存储有任一唤醒词与控制操作之间的对应关系,则电子设备识别到唤醒词后,查询与该唤醒词对应的控制操作,并执行该控制操作。
[0125]
例如,在用户使用手机的过程中,如果不方便双手操作手机,就可以通过说出唤醒
词来实现人机交互。例如,唤醒词为“接听电话”,在有电话打来的情况下,用户说出“接听电话”,手机识别到“接听电话”后,执行将电话接通的操作。或者,唤醒词为“挂断电话”,用户说出“挂断电话”,手机识别到“挂断电话”后,执行将电话挂断的操作。
[0126]
本技术实施例提供的方法,将连续的多个音频帧进行组合,构成音频片段,并获取每个音频片段的第一特征值和第二特征值,由于第二特征值与第一特征值正相关,且与音频片段的第三特征值负相关,则在第二特征值出现极大值的情况下,还需要保证第一特征值的变化幅度小于第一阈值,才能说明音频片段属于唤醒词的概率不再上涨或者涨幅较小,确定在音频片段中识别到完整的唤醒词,采用这种音频识别方法,能够确保已识别到完整的唤醒词,提高了音频识别的准确率。
[0127]
并且,每次采集到一个音频帧,就执行一次构成音频片段的操作,从而实时识别采集到的音频帧所构成的音频片段是否包含唤醒词,确保能够及时在音频片段中识别出完整的唤醒词。
[0128]
并且,在第二特征值出现极大值,且第一特征值的变化幅度小于第一阈值的情况下,还需要确保极大值大于第二阈值才确定识别到唤醒词,能够保证音频片段属于唤醒词的概率足够大,从而提高了音频识别的准确率。
[0129]
图4是本技术实施例提供的一种音频识别装置的结构示意图。参见图4,该装置包括:
[0130]
组合模块401,用于在采集到音频帧时,将当前采集的音频帧与之前采集的音频帧构成一个音频片段;
[0131]
获取模块402,用于获取音频片段的第一特征值和第二特征值;
[0132]
确定模块403,用于在多个音频片段的第二特征值中出现极大值,且第一特征值的变化幅度小于第一阈值的情况下,确定识别到唤醒词;
[0133]
其中,音频片段包括n个音频帧,相邻的两个音频片段包括至少一个相同的音频帧,n为正整数,且n等于唤醒词包含的音素的数量;第一特征值表示该音频片段属于唤醒词的概率,第二特征值与第一特征值正相关,且与该音频片段的第三特征值负相关,第三特征值表示音频片段属于每个词语的概率中的最大概率。
[0134]
本技术实施例提供的装置,将连续的多个音频帧进行组合,构成音频片段,并获取每个音频片段的第一特征值和第二特征值,由于第二特征值与第一特征值正相关,且与音频片段的第三特征值负相关,则在第二特征值出现极大值的情况下,还需要保证第一特征值的变化幅度小于第一阈值,才能说明音频片段属于唤醒词的概率不再上涨或者涨幅较小,确定在音频片段中识别到完整的唤醒词,采用这种音频识别方法,能够确保已识别到完整的唤醒词,提高了音频识别的准确率。
[0135]
在一种可能实现方式中,图5是本技术实施例提供的另一种音频识别装置的结构示意图,参见图5,确定模块403,包括:
[0136]
第一确定单元4031,用于第一音频片段的第二特征值大于第二音频片段的第二特征值,且第一音频片段的第二特征值大于第三音频片段的第二特征值的情况下,确定该第一音频片段的第二特征值是极大值;
[0137]
第二确定单元4032,用于在第三音频片段的第一特征值与第一音频片段的第一特征值之间的差值小于第一阈值的情况下,确定识别到唤醒词;
[0138]
第二确定单元4032,还用于在第三音频片段的第一特征值与第一音频片段的第一特征值之间的差值不小于第一阈值的情况下,继续采集音频帧,直至本次构成的音频片段的第一特征值与上一次构成的音频片段的第一特征值之间的差值小于第一阈值,确定识别到唤醒词。
[0139]
在一种可能实现方式中,参见图5,获取模块402,包括:
[0140]
获取单元4021,用于获取音频片段的第一特征值和第三特征值;
[0141]
第三确定单元4022,用于基于第一特征值和第三特征值,确定第二特征值。
[0142]
在一种可能实现方式中,参见图5,获取单元4021,用于:
[0143]
获取音频片段中每个音频帧的第一特征分量和第二特征分量,其中,第k个音频帧的第一特征分量表示第k个音频帧属于唤醒词中的第k个音素的概率,第k个音频帧的第二特征分量表示第k个音频帧属于多个音素的概率中的最大概率,k为不大于n的正整数;
[0144]
将每个音频帧的第一特征分量相加,得到该音频片段的第一特征值;
[0145]
将每个音频帧的第二特征分量相加,得到该音频片段的第三特征值。
[0146]
在一种可能实现方式中,参见图5,装置还包括:
[0147]
识别模块404,用于每次采集到一个音频帧时,对该音频帧进行音频识别,得到多个音素的特征分量,该音素的特征分量表示该音频帧为该音素的概率;
[0148]
获取单元4021,用于:
[0149]
对于音频片段中的第k个音频帧,在该第k个音频帧的多个特征分量中,将唤醒词中的第k个音素的特征分量确定为该第k个音频帧的第一特征分量,将最大的特征分量确定为该音频帧的第二特征分量。
[0150]
在一种可能实现方式中,参见图5,确定模块403,包括:
[0151]
第四确定单元4033,用于在多个音频片段的第二特征值中出现极大值,该极大值大于第二阈值,且第一特征值的变化幅度小于第一阈值的情况下,确定识别到唤醒词。
[0152]
在一种可能实现方式中,参见图5,装置还包括:
[0153]
执行模块405,用于基于识别到唤醒词之后采集到的音频帧识别语音控制指令,执行该语音控制指令对应的控制操作。
[0154]
上述所有可选技术方案,可以采用任意结合形成本技术的可选实施例,在此不再一一赘述。
[0155]
需要说明的是:上述实施例提供的音频识别装置在进行音频识别时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将检测设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的状态检测装置与状态检测方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
[0156]
本技术实施例还提供了一种电子设备,该电子设备包括处理器和存储器,存储器中存储有至少一条程序代码,该至少一条程序代码由处理器加载并执行,以实现上述实施例的音频识别方法所执行的操作。
[0157]
可选地,该电子设备提供为终端。图6是本技术实施例提供的一种终端600的结构示意图。该终端600可以是便携式移动终端,比如:智能手机、平板电脑、mp3播放器(moving picture experts group audio layer iii,动态影像专家压缩标准音频层面3)、mp4
(moving picture experts group audio layer iv,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
[0158]
终端600包括有:处理器601和存储器602。
[0159]
处理器601可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器601可以采用dsp(digital signal processing,数字信号处理)、fpga(field-programmable gate array,现场可编程门阵列)、pla(programmable logic array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(central processing unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601可以集成有gpu(graphics processing unit,图像处理器),gpu用于负责显示屏所需要显示的内容的渲染和绘制。在一些实施例中,处理器601还可以包括ai(artificial intelligence,人工智能)处理器,该ai处理器用于处理有关机器学习的计算操作。
[0160]
存储器602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一条程序代码,该至少一条程序代码用于被处理器601所执行以实现本技术中方法实施例提供的音频识别方法。
[0161]
在一些实施例中,终端600还可选包括有:外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地,外围设备包括:射频电路604、音频电路605和电源606中的至少一种。
[0162]
外围设备接口603可被用于将i/o(input/output,输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中,处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上;在一些其他实施例中,处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
[0163]
射频电路604用于接收和发射rf(radio frequency,射频)信号,也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路604包括:天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity,无线保真)网络。在一些实施例中,射频电路604还可以包括nfc(near field communication,近距离无线通信)有关的电路,本技术对此不加以限定。
[0164]
音频电路605可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器601进行处理,或者输入至射频电路604以实现语音通信。
出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路605还可以包括耳机插孔。
[0165]
电源606用于为终端600中的各个组件进行供电。电源606可以是交流电、直流电、一次性电池或可充电电池。当电源606包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
[0166]
本领域技术人员可以理解,图6中示出的结构并不构成对终端600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
[0167]
可选地,该电子设备提供为服务器。图7是本技术实施例提供的一种服务器的结构示意图,该服务器700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,cpu)701和一个或一个以上的存储器702,其中,存储器702中存储有至少一条程序代码,该至少一条程序代码由处理器701加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
[0168]
在示例性实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条程序代码,该至少一条程序代码由电子设备中的处理器加载并执行,以实现上述实施例中的音频识别方法。该计算机可读存储介质可以是存储器。例如,该计算机可读存储介质可以是rom(read

only memory,只读存储器)、ram(random access memory,随机存取存储器)、cd

rom(compact disc read

only memory,紧凑型光盘只读储存器)、磁带、软盘和光数据存储设备等。
[0169]
在示例性实施例中,还提供了一种计算机程序产品,该计算机程序产品包括至少一条程序代码,上述至少一条程序代码可由电子设备的处理器执行,以实现上述实施例音频识别方法。
[0170]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
[0171]
以上仅为本技术实施例的可选实施例,并不用以限制本技术实施例,凡在本技术实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本技术的保护范围之内。