1.本技术涉及计算机技术领域，尤其涉及基于多模态特征的语音对话处理方法、装置和电子设备。


背景技术：

2.在语音对话系统中，用户讲话时，语音对话系统需要判断在合适的时机接过话语权，即语音对话系统在听者和说话者的角色间来回转换，使得人机交互流畅自然。
3.目前，多数语音对话系统采用语音活动检测(voice activity detection,vad)检测用户静默时长的方式，当用户静默时长超过阈值(比如0.8s～1s)时，系统接过话语权。但是，这种固定静默时长的方式存在一些问题：如用户并未讲完且在思考中，但是静默时长超过阈值，这时系统响应就会过于迅速敏感；而有时用户的交互迅速简明，这时系统仍然等待静默时长达到设定阈值才接过话语权，这时系统响应迟钝，可能造成用户重复回答。因此，如何确定语音对话系统何时接过话语权是目前亟需解决的问题。


技术实现要素：

4.本技术提出一种基于多模态特征的语音对话处理方法、装置和电子设备。
5.本技术一方面实施例提出了一种基于多模态特征的语音对话处理方法，包括：在与用户进行对话交互的过程中，获取用户当前输入的第一语音信息，其中，所述第一语音信息包括静默段；根据所述第一语音信息的文本信息和所述第一语音信息的历史上下文信息，确定所述文本信息的语义特征信息；根据所述第一语音信息中在所述静默段之前的语音片段，确定所述第一语音信息的语音特征信息；获取所述第一语音信息的时间特征信息；根据所述语义特征信息、所述语音特征信息和所述时间特征信息，确定所述用户是否结束语音输入。
6.在本技术的一个实施例中，所述根据所述第一语音信息的文本信息和所述第一语音信息的历史上下文信息，确定所述文本信息的语义特征信息，包括：对所述第一语音信息进行语音识别，以得到所述第一语音信息的文本信息；获取所述第一语音信息的历史上下文信息；将所述文本信息和所述历史上下文信息输入到语义表示模型中，以得到所述文本信息的语义特征信息。
7.在本技术的一个实施例中，所述根据所述第一语音信息中在所述静默段之前的语音片段，确定所述第一语音信息的语音特征信息，包括：获取所述第一语音信息中在所述静默段之前的第一预设时间长度的语音片段；按照第二预设时间长度，对所述语音片段进行分段，以得到多段语音片段；提取所述多段语音片段各自对应的声学特征信息，并分别对所述多段语音片段各自对应的声学特征信息进行拼接，以得到所述多段语音频段各自对应的拼接特征；将所述拼接特征输入到深度残差网络中，以得到所述第一语音信息的语音特征信息。
8.在本技术的一个实施例中，所述获取所述第一语音信息的时间特征信息，包括：获
取所述第一语音信息的语音时长、语速和文本长度；将所述语音时长、所述语速和文本长度输入到预先训练好的多层感知机mlp模型，以得到所述第一语音信息的时间特征信息。
9.在本技术的一个实施例中，所述根据所述语义特征信息、所述语音特征信息和所述时间特征信息，确定所述用户是否结束语音输入，包括：将所述语义特征信息、所述语音特征信息和所述时间特征信息输入到多模态融合模型中；根据所述多模态融合模型的输出结果，确定所述用户是否结束语音输入。
10.在本技术的一个实施例中，还包括：在确定所述用户结束语音输入的情况下，确定所述第一语音信息所对应的第一回复语音信息，并输出所述第一回复语音信息。
11.在本技术的一个实施例中，还包括：在确定所述用户未结束语音输入的情况下，获取所述用户再次输入的第二语音信息；根据所述第一语音信息和所述第二语音信息，确定对应的第二回复语音信息，并输出所述第二回复语音信息。
12.本技术实施例的基于多模态特征的语音对话处理方法，在与用户进行对话交互的过程中，结合用户当前输入的语音信息的文本信息和第一语音信息的历史上下文信息，确定文本信息的语义特征信息，根据第一语音信息中在静默段之前的语音片段，确定第一语音信息的语音特征信息，获取第一语音信息的时间特征信息；根据语义特征信息、语音特征信息和时间特征信息，确定所述用户是否结束语音输入。由此，在与用户进行对话交互的过程中，结合语义特征信息、语音特征信息和时间特征信息，准确确定出了系统是否可接过话语权。
13.本技术一方面实施例提出了一种基于多模态特征的语音对话处理装置，包括：第一获取模块，用于在与用户进行对话交互的过程中，获取用户当前输入的第一语音信息，其中，所述第一语音信息包括静默段；第一确定模块，用于根据所述第一语音信息的文本信息和所述第一语音信息的历史上下文信息，确定所述文本信息的语义特征信息；第二确定模块，用于根据所述第一语音信息中在所述静默段之前的语音片段，确定所述第一语音信息的语音特征信息；第二获取模块，用于获取所述第一语音信息的时间特征信息；第三确定模块，用于根据所述语义特征信息、所述语音特征信息和所述时间特征信息，确定所述用户是否结束语音输入。
14.在本技术的一个实施例中，所述第一确定模块，具体用于：对所述第一语音信息进行语音识别，以得到所述第一语音信息的文本信息；获取所述第一语音信息的历史上下文信息；将所述文本信息和所述历史上下文信息输入到语义表示模型中，以得到所述文本信息的语义特征信息。
15.在本技术的一个实施例中，所述第二确定模块，具体用于：获取所述第一语音信息中在所述静默段之前的第一预设时间长度的语音片段；按照第二预设时间长度，对所述语音片段进行分段，以得到多段语音片段；提取所述多段语音片段各自对应的声学特征信息，并分别对所述多段语音片段各自对应的声学特征信息进行拼接，以得到所述多段语音频段各自对应的拼接特征；将所述拼接特征输入到深度残差网络中，以得到所述第一语音信息的语音特征信息。
16.在本技术的一个实施例中，所述第二获取模块，具体用于：获取所述第一语音信息的语音时长、语速和文本长度；将所述语音时长、所述语速和文本长度输入到预先训练好的多层感知机mlp模型，以得到所述第一语音信息的时间特征信息。
17.在本技术的一个实施例中，所述第三确定模块，包括：多模态处理单元，用于将所述语义特征信息、所述语音特征信息和所述时间特征信息输入到多模态融合模型中；确定单元，用于根据所述多模态融合模型的输出结果，确定所述用户是否结束语音输入。
18.在本技术的一个实施例中，还包括：第一处理模块，用于在确定所述用户结束语音输入的情况下，确定所述第一语音信息所对应的第一回复语音信息，并输出所述第一回复语音信息。
19.在本技术的一个实施例中，还包括：第三获取模块，用于在确定所述用户未结束语音输入的情况下，获取所述用户再次输入的第二语音信息；第二处理模块，用于根据所述第一语音信息和所述第二语音信息，确定对应的第二回复语音信息，并输出所述第二回复语音信息。
20.本技术实施例的基于多模态特征的语音对话处理装置，在与用户进行对话交互的过程中，结合用户当前输入的语音信息的文本信息和第一语音信息的历史上下文信息，确定文本信息的语义特征信息，根据第一语音信息中在静默段之前的语音片段，确定第一语音信息的语音特征信息，获取第一语音信息的时间特征信息；根据语义特征信息、语音特征信息和时间特征信息，确定所述用户是否结束语音输入。由此，在与用户进行对话交互的过程中，结合语义特征信息、语音特征信息和时间特征信息，准确确定出了系统是否可接过话语权。
21.本技术另一方面实施例提出了一种电子设备，包括：存储器，处理器；所述存储器中存储有计算机指令，当所述计算机指令被所述处理器执行时，实现本技术实施例的基于多模态特征的语音对话处理方法。
22.本技术另一方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本技术实施例公开的基于多模态特征的语音对话处理方法。
23.本技术另一方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时实现本技术实施例中的基于多模态特征的语音对话处理方法。
24.上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
25.附图用于更好地理解本方案，不构成对本技术的限定。其中：
26.图1是根据本技术一个实施例的基于多模态特征的语音对话处理方法的流程示意图。
27.图2是根据本技术一个具体实施例的结合模型框架图对语音对话处理方法进行描述的示例图。
28.图3是根据本技术一个实施例的基于多模态特征的语音对话处理装置的结构示意图。
29.图4是根据本技术另一个实施例的基于多模态特征的语音对话处理装置的结构示意图。
30.图5是根据本技术一个实施例的电子设备的框图。
具体实施方式
31.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
32.下面参考附图描述本技术实施例的基于多模态特征的语音对话处理方法、装置和电子设备。
33.图1是根据本技术一个实施例的基于多模态特征的语音对话处理方法的流程示意图。其中，需要说明的是，本实施例提供的基于多模态特征的语音对话处理方法的执行主体为基于多模态特征的语音对话处理装置，该基于多模态特征的语音对话处理装置可以由软件和/或硬件的方式实现，该实施例中的基于多模态特征的语音对话处理装置语音对话系统中，该语音对话系统可以配置在电子设备中，其中，电子设备可以包括终端设备或者服务器等，该实施例对此不作具体限定。
34.如图1所示，该基于多模态特征的语音对话处理方法可以包括：
35.步骤101，在与用户进行对话交互的过程中，获取用户当前输入的第一语音信息，其中，第一语音信息包括静默段。
36.步骤102，根据第一语音信息的文本信息和第一语音信息的历史上下文信息，确定文本信息的语义特征信息。
37.在本技术的一个实施例中，可对第一语音信息进行语音识别，以得到第一语音信息的文本信息，并获取第一语音信息的历史上下文信息，以及将文本信息和历史上下文信息输入到语义表示模型中，以得到文本信息的语义特征信息。
38.在一些实施例中，为了可以捕获文本信息与历史上下文信息之间的长距离依赖关系，并基于长距离依赖关系准确地确定出文本信息的语义特征信息，上述语义表示模型可以为基于自注意力机制的转换器transformer模型。
39.其中，transformer模型可以包括多层编码层。其中，每层编码层中均包括基于transformer的编码结构，对应编码结构对输入内容进行编码，并将输出结果输入至对应的下一层编码层进行处理。
40.在一些实施例中，获取第一语音信息的历史上下文信息的一种示例性的实施方式为：可获取在第一语音信息之前的多条历史语音对话信息，并根据多条历史语音对话信息，获取第一语音信息的历史上下文信息。
41.步骤103，根据第一语音信息中在静默段之前的语音片段，确定第一语音信息的语音特征信息。
42.在一些实施例中，可获取第一语音信息中在静默段之前的第一预设时间长度的语音片段；按照第二预设时间长度，对语音片段进行分段，以得到多段语音片段；提取多段语音片段各自对应的声学特征信息，并分别对多段语音片段各自对应的声学特征信息进行拼接，以得到多段语音频段各自对应的拼接特征；将拼接特征输入到深度残差网络中，以得到第一语音信息的语音特征信息。
43.其中，第一预设时间长度是预先设置的，例如，上述第一预设时间长度可以为2秒，也就是说，可截取第一语音信息中在静默段之前的一段时长长度为2秒的语音片段。
44.其中，第二预设时间长度是预先设置的，第一预设时间长度大于第二预设时长长
度，例如，第一预设时间长度为2秒，上述第二预设时间长度可以为50毫秒(ms)，具体地，在获取2秒长度的语音片段后，可按照50ms，对该语音片段进行分段，以得到多段语音片段，其中，每段语音频段场50ms。
45.其中，声学特征信息可以包括但不限于能量、音量、音高、过零率等。
46.步骤104，获取第一语音信息的时间特征信息。
47.具体地，可取第一语音信息的语音时长、语速和文本长度，将语音时长、语速和文本长度输入到预先训练好的多层感知机(multi layer perceptron，mlp)模型，以得到第一语音信息的时间特征信息。
48.其中，文本长度可以是基于第一语音信息对应的文本信息所确定出的。
49.步骤105，根据语义特征信息、语音特征信息和时间特征信息，确定用户是否结束语音输入。
50.在一些实施例中，为了可以准确确定出用户是否结束语音输入，可将语义特征信息、语音特征信息和时间特征信息输入到多模态融合模型中，根据多模态融合模型的输出结果，确定用户是否结束语音输入。
51.其中，多模态融合模型在获取语义特征信息、语音特征信息和时间特征信息，可获取上述语义特征信息、语音特征信息和时间特征信息各自对应的权重，并基于权重，对语义特征信息、语音特征信息和时间特征信息进行加权处理，并将加权结果输入到多模态融合模型的激活函数中，以得到多模态融合模型的输出结果。
52.在一些实施例中，在多模态融合模型的输出结果指示用户结束语音输入的情况下，可确定用户结束语音输入，此时，可确定对话系统可以接过话语权。在另一些实施例中，在多模态融合模型的输出结果指示用户未结束语音输入的情况下，可确定用户未结束语音输入，此时，对话系统可继续倾听，并在确定用户输入结束后进行回复。
53.本技术实施例的基于多模态特征的语音对话处理方法，在与用户进行对话交互的过程中，结合用户当前输入的语音信息的文本信息和第一语音信息的历史上下文信息，确定文本信息的语义特征信息，根据第一语音信息中在静默段之前的语音片段，确定第一语音信息的语音特征信息，获取第一语音信息的时间特征信息；根据语义特征信息、语音特征信息和时间特征信息，确定用户是否结束语音输入。由此，在与用户进行对话交互的过程中，结合语义特征信息、语音特征信息和时间特征信息，准确确定出了系统是否可接过话语权。
54.基于上述实施例的基础上，为了使得对话系统准确对用户输入的语音信息进行回复，在一些实施例中，在确定用户结束语音输入的情况下，确定第一语音信息所对应的第一回复语音信息，并输出第一回复语音信息。
55.在另一些实施例中，在确定用户未结束语音输入的情况下，获取用户再次输入的第二语音信息；根据第一语音信息和第二语音信息，确定对应的第二回复语音信息，并输出第二回复语音信息。由此，结合用户当前输入的第一语音信息和再次输入的第二语音信息进行准确回复。
56.为了使得本领域技术人员可以清楚了解本技术，下面结合图2对该实施例的方法进行进一步阐述。
57.通过图2可以看出，本实施例中在确定用户是否结束语音输入的过程中，使用了语
音特征信息、语义特征信息和时间特征信息三个不同维度上的特征，来确定用户是否结束语音输入，即，本实施例中使用了语义特征信息、语音特征信息和时间特征信息三个不同维度上的特征，来确定对话系统是否可以接过话语权，即，确定对话系统是否输出对应回复。
58.下面分别对获取语义特征信息、语音特征信息和时间特征信息的过程进行描述：
59.1)获取语义特征信息。
60.其中，语义特征信息来源于语音识别后的文本信息，它对于话语权决策的重要性是不言而喻的，尤其是考虑到“语义完整性”是话语权切换的基本要素，也就是说当，在确定用户已经完整表述其意图之后，往往意味着系统可以接过话语权。而语义完整性一般也是结合上下文语境来判断的，例如下面的简单示例：
[0061][0062]
左边的例子中，用户进行了确定性的答复，语义明确，此时，对话系统可以接过话语权；而右边的例子里用户出现了短暂的犹豫，但，根据用户当前输入的内容，可以确定用户没有讲完，此时，对话系统可以该选择继续倾听，等待用户把话讲完。
[0063]
为了建模这种语义的完整性，在用户与对话系统进行对话交互的过程汇总，在获取用户当前输入的语音信息后，可对该语音信息进行语音识别，以得到当前文本信息，可对当前输入的语音信息的历史上上下文context信息以及当前文本信息进行编码，以得到该文本信息的语义特征信息。
[0064]
在一些实施例中，可采用基于自注意力机制的transformer模型对当前输入的语音信息的历史上上下文context信息以及当前文本信息所对应的文本信息进行编码。
[0065]
其中，可以理解的是，transformer模型中的自注意力机制可以捕获历史上下文信息与文本信息之间的长距离依赖关系。最终语义特征表示为：
[0066]rs
＝transformer(e)
[0067]
2)获取语音特征信息
[0068]
其中，可以理解的是，在对话过程中，一些语音特征例如音调的转变、音量的高低等都判断是否进行话语权切换的重要线索。因此，在与用户进行对话的过程中，在获取用户当前输入的语音信息后，可从语音信息中截取用户静默前的一段音频(2s)，然后将其切分成固定长度的小段，即分帧(每桢50ms)。接下来对每帧音频提取其对应的声学特征，如能量,音量,音高、过零率等，并将其拼接成一维向量，得到每一帧音频的特征表示f_i。最后，可将序列帧的特征f＝[f1,f2,
…
,fn]输入到一个多层的深度残差(residual network,resnet)网络中，得到最终的语音特征表示：
[0069]
ra＝resnet(f)
[0070]
3)时间特征
[0071]
其中，需要理解的是，时间特征(例如语音片段的时长、语速、文本长度等)对于判断话语权的切换与否也是有一定作用的。比如在以系统为主导的外呼对话场景，多数情况下，在用户进行简短的回复之后系统便可接过话语权；而需要系统进行倾听的情况则大多
是由于用户因为犹豫等因素而产生了比较长的答复，因此，为了可以准确确定出对话系统是否可以接过话语权，在与用户进行对话交互的过程中，可获取用户当前输入的语音信息的语音时长、语速和文本长度，并将语音时长、语速和文本长度分别进行分桶处理，并根据处理后的语音时长、语速和文本长度输入到mlp模型中，以得到语音信息的低维度的时间特征信息。
[0072]
其中，通过多层感知网络提取其低维特征表示：
[0073]rt
＝mlp(t)
[0074]
4)多模态特征融合
[0075]
具体地，在获取各个模态的特征表示，接下来通过将其输入到多模态融合模型，融合三种不同特征进行话语权的判断：
[0076]
y＝σ(w
srs
+wara+w
trt
+b)
[0077]
其中，σ(
·
)指的是sigmoid函数，y即预测的二分类标签：1-表示用户结束讲话，系统接过话语权；0-则表示系统应该继续倾听用户回复，b表示偏置值。
[0078]
其中，上述多模态融合模型可以是基于前馈神经网络而建立的。
[0079]
与上述几种实施例提供的基于多模态特征的语音对话处理方法相对应，本技术的一种实施例还提供一种基于多模态特征的语音对话处理装置，由于本技术实施例提供的基于多模态特征的语音对话处理装置与上述几种实施例提供的基于多模态特征的语音对话处理方法相对应，因此在基于多模态特征的语音对话处理方法的实施方式也适用于本实施例提供的基于多模态特征的语音对话处理装置，在本实施例中不再详细描述。
[0080]
图3是根据本技术一个实施例的基于多模态特征的语音对话处理装置的结构示意图。
[0081]
如图3所示，该基于多模态特征的语音对话处理装置300包括第一获取模块301、第一确定模块302、第二确定模块303、第二获取模块304和第三确定模块305，其中：
[0082]
第一获取模块301，用于在与用户进行对话交互的过程中，获取用户当前输入的第一语音信息，其中，第一语音信息包括静默段。
[0083]
第一确定模块302，用于根据第一语音信息的文本信息和第一语音信息的历史上下文信息，确定文本信息的语义特征信息。
[0084]
第二确定模块303，用于根据第一语音信息中在静默段之前的语音片段，确定第一语音信息的语音特征信息。
[0085]
第二获取模块304，用于获取第一语音信息的时间特征信息。
[0086]
第三确定模块305，用于根据语义特征信息、语音特征信息和时间特征信息，确定用户是否结束语音输入。
[0087]
在本技术的一个实施例中，第一确定模块302，具体用于：对第一语音信息进行语音识别，以得到第一语音信息的文本信息；获取第一语音信息的历史上下文信息；将文本信息和历史上下文信息输入到语义表示模型中，以得到文本信息的语义特征信息。
[0088]
在本技术的一个实施例中，第二确定模块303，具体用于：获取第一语音信息中在静默段之前的第一预设时间长度的语音片段；按照第二预设时间长度，对语音片段进行分段，以得到多段语音片段；提取多段语音片段各自对应的声学特征信息，并分别对多段语音片段各自对应的声学特征信息进行拼接，以得到多段语音频段各自对应的拼接特征；将拼
接特征输入到深度残差网络中，以得到第一语音信息的语音特征信息。
[0089]
在本技术的一个实施例中，上述第二获取模块304，具体用于：获取第一语音信息的语音时长、语速和文本长度；将语音时长、语速和文本长度输入到预先训练好的多层感知机mlp模型，以得到第一语音信息的时间特征信息。
[0090]
在本技术的一个实施例中，在图3所示的装置实施例的基础上，如图4所示，上述第三确定模块305，可以包括：
[0091]
多模态处理单元3051，用于将语义特征信息、语音特征信息和时间特征信息输入到多模态融合模型中。
[0092]
确定单元3052，用于根据多模态融合模型的输出结果，确定用户是否结束语音输入。
[0093]
在本技术的一个实施例中，如图4所示，该装置还包括：
[0094]
第一处理模块306，用于在确定用户结束语音输入的情况下，确定第一语音信息所对应的第一回复语音信息，并输出第一回复语音信息。
[0095]
在本技术的一个实施例中，如图4所示，该装置还包括：
[0096]
第三获取模块307，用于在确定用户未结束语音输入的情况下，获取用户再次输入的第二语音信息。
[0097]
第二处理模块308，用于根据第一语音信息和第二语音信息，确定对应的第二回复语音信息，并输出第二回复语音信息。
[0098]
本技术实施例的基于多模态特征的语音对话处理装置，在与用户进行对话交互的过程中，结合用户当前输入的语音信息的文本信息和第一语音信息的历史上下文信息，确定文本信息的语义特征信息，根据第一语音信息中在静默段之前的语音片段，确定第一语音信息的语音特征信息，获取第一语音信息的时间特征信息；根据语义特征信息、语音特征信息和时间特征信息，确定用户是否结束语音输入。由此，在与用户进行对话交互的过程中，结合语义特征信息、语音特征信息和时间特征信息，准确确定出了系统是否可接过话语权。
[0099]
根据本技术的实施例，本技术还提供了一种电子设备和一种可读存储介质。
[0100]
如图5所示，是根据本技术一个实施例的电子设备的框图。
[0101]
如图5所示，该电子设备该电子设备包括：
[0102]
存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机指令。
[0103]
处理器502执行指令时实现上述实施例中提供的基于多模态特征的语音对话处理方法。
[0104]
进一步地，电子设备还包括：
[0105]
通信接口503，用于存储器501和处理器502之间的通信。
[0106]
存储器501，用于存放可在处理器502上运行的计算机指令。
[0107]
存储器501可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0108]
处理器502，用于执行程序时实现上述实施例的基于多模态特征的语音对话处理方法。
[0109]
如果存储器501、处理器502和通信接口503独立实现，则通信接口503、存储器501和处理器502可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(industry standard architecture，简称为isa)总线、外部设备互连(peripheral component，简称为pci)总线或扩展工业标准体系结构(extended industry standard architecture，简称为eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0110]
可选的，在具体实现上，如果存储器501、处理器502及通信接口503，集成在一块芯片上实现，则存储器501、处理器502及通信接口503可以通过内部接口完成相互间的通信。
[0111]
处理器502可能是一个中央处理器(central processing unit，简称为cpu)，或者是特定集成电路(application specific integrated circuit，简称为asic)，或者是被配置成实施本技术实施例的一个或多个集成电路。
[0112]
本技术还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时实现本技术实施例的基于多模态特征的语音对话处理方法。
[0113]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0114]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0115]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
[0116]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介
质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
[0117]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0118]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0119]
此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0120]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。