用于无监督语言模型权重选择的最佳路径变化率
1.相关申请的交叉引用
2.本技术要求于2019年2月19日提交的第16/279,491号美国申请的优先权，该美国申请的公开内容通过引用整体并入本文。


背景技术：

3.在现有技术的语音识别系统中，独立地训练声学模型p(a|w)和语言模型p(w)。在解码期间，来自声学模型的似然得分和来自语言模型的概率在不同的标度上，因此它们需要与特定的标度组合：score(w)＝log(p(a|w))+lmw
×
log(p(w))，其中lmw是称为语言模型权重的标度值。
4.在许多实词应用中，一个训练过的声学模型可与领域特定的语言模型一起用于不同识别任务。lmw需要针对每个任务进行调节。
5.图1示出了现有技术的lmw选择方法100，lmw选择方法100通过针对不同任务的不同开发集合的性能来选择lmw。这通常需要与真实测试数据非常相似的人类转录的开发数据集。然后模型需要用于以不同lm权重进行解码。然后将解码结果与真实参考进行比较以获得字错误率(wer)。最后，选择具有最小wer的lmw作为最优lmw。
6.现有技术的这种选择最优lmw的方法需要与测试数据非常相似的开发数据集。可能难以收集这种开发数据，这种开发数据也足够大而不能提供可靠的wer。此外，这种现有技术的方法需要对每个lmw计算wer。


技术实现要素：

7.在一个实施例中，提供一种用于选择用于执行自动语音识别的最优语言模型权重(lmw)的方法，该方法包括：使用语言模型将测试音频解码成词格；使用多个lmw中的第一lmw分析词格，以确定第一多个最佳路径；使用多个lmw中的第二lmw分析词格，以确定第二多个最佳路径；基于第一多个最佳路径和第二多个最佳路径之间的最佳路径变化的数量，确定对应于第一lmw的第一最佳路径变化率(bcpr)；以及基于第一bcpr为对应于多个lmw的多个bcpr中的最小bcpr，确定第一lmw为最优lmw。
8.在一个实施例中，提供一种用于选择用于执行自动语音识别的最优lmw的设备，该设备包括：至少一个存储器，配置成存储程序代码；以及至少一个处理器，配置成读取程序代码并根据程序代码的指令操作，程序代码包括：解码代码，配置成使得至少一个处理器使用语言模型将测试音频解码成词格；第一分析代码，配置成使得至少一个处理器使用多个lmw中的第一lmw分析词格，以确定第一多个最佳路径；第二分析代码，配置成使得至少一个处理器使用多个lmw中的第二lmw分析词格，以确定第二多个最佳路径；第一确定代码，配置成使得至少一个处理器基于第一多个最佳路径和第二多个最佳路径之间的最佳路径变化的数量，确定对应于第一lmw的第一最佳路径变化率(bcpr)；以及第二确定代码，配置成使得至少一个处理器基于第一bcpr为对应于多个lmw的多个bcpr中的最小bcpr，确定第一lmw为最优lmw。
9.在一个实施例中，提供一种非暂时性计算机可读介质，该非暂时性计算机可读介质存储多个指令，多个指令包括一个或多个指令，当由用于选择用于执行自动语音识别的最优语言模型权重(lmw)的设备的一个或多个处理器运行时，一个或多个指令使得一个或多个处理器：使用语言模型将测试音频解码成词格；使用多个lmw中的第一lmw分析词格，以确定第一多个最佳路径；使用多个lmw中的第二lmw分析词格，以确定第二多个最佳路径；基于第一多个最佳路径和第二多个最佳路径之间的最佳路径变化的数量，确定对应于第一lmw的第一最佳路径变化率(bcpr)；以及基于第一bcpr为对应于多个lmw的多个bcpr中的最小bcpr，确定第一lmw为最优lmw。
附图说明
10.图1是用于选择语言模型权重的方法的图。
11.图2是根据实施例的可实现本文描述的方法、装置和系统的环境的图。
12.图3是图2的一个或多个设备的示例组件的图。
13.图4是根据实施例的用于选择最优语言模型权重的方法的流程图。
14.图5是演示根据实施例的最佳路径变化率的变化的流程图。
15.图6是根据实施例的用于选择用于执行自动语音识别的最优语言模型权重的方法的流程图。
具体实施方式
16.语言模型权重(lmw)在语音识别系统中用作将声学模型和语言模型组合的缩放因子。用于评估的lmw通常选择为在开发集合上产生最佳性能的lmw。假设开发集合的数据分布和评估集合的数据分布相似。在实践中，满足该假设并保持开发集合较小，可能不容易实现。因为选择lmw进行评估，所以最好直接在评估集合上找到最优lmw。
17.本文描述的实施例包括一种基于最佳路径变化率(bpcr)的无监督lmw选择方法。基本思想是基于这样的观察：当语言模型权重在一定范围内移动时，由wer测量的1-最佳解码结果通常是凸形状。此外，当lmw接近最优点时，最佳路径变化率非常小。对各种语料的实验结果表明：基于bpcr的方法可以以高精度找到最优lmw。所提出的方法可用于许多实际应用，例如lmw对不同领域的快速适应。
18.在详细描述中出现的缩略语和术语的定义包括如下：
19.语音识别系统：一种计算机程序，能够识别语音信号并将语音信号转换成书写的字符/单词。
20.语言模型权重(lmw)：语言模型权重在语音识别系统中用作将声学模型和语言模型组合的缩放因子。
21.词格：词格是表示识别的变体的有向图。解码词格包含数百个或数千个可能的解码路径及其声学得分和语言模型得分。
22.最佳路径：词格中具有最大得分的路径，该得分是由语言模型权重平衡的声学得分和语言模型得分的组合。最佳路径通常用作解码假设。
23.字错误率(wer)：语音识别系统的性能的度量。它是实现对除以引用长度的假设进行引用所需的操作(插入、删除和替换)的最少数量。
24.图2是可实现本文描述的系统和/或方法的示例环境200的图。如图2所示，环境200可包括用户设备210、平台220和网络230。环境200的设备可经由有线连接、无线连接或者有线连接和无线连接的组合来互连。
25.用户设备210包括能够接收、生成、存储、处理和/或提供与平台220相关联的信息的一个或多个设备。例如，用户设备210可包括计算设备(例如台式计算机、膝上型计算机、平板计算机、手持式计算机、智能扬声器、服务器等)、移动电话(例如智能电话、无线电电话等)、可穿戴设备(例如，一对智能眼镜或智能手表)或类似设备。在一些实现方式中，用户设备210可从平台220接收信息和/或向平台220发送信息。
26.平台220包括能够选择用于执行自动语音识别的最优lmw的一个或多个设备，如本文别处所述。在一些实现方式中，平台220可包括云服务器或一组云服务器。在一些实现方式中，平台220可被设计成模块化平台，使得某些软件组件可根据特定需要而被调入或调出。因此，平台220可针对不同用途而容易地和/或快速地重新配置。
27.在一些实现方式中，如图所示，平台220可驻留在云计算环境222中。值得注意，虽然本文描述的实现方式将平台220描述成驻留在云计算环境222中，但是在一些实现方式中，平台220不基于云(即，可以在云计算环境之外实现)或者可部分地基于云。
28.云计算环境222包括托管平台220的环境。云计算环境222可提供不需要终端用户(例如，用户设备210)知道托管平台220的系统和/或设备的物理位置和配置的计算、软件、数据访问、存储等服务。如图所示，云计算环境222可包括一组计算资源224(统称为“计算资源224”，单独称为“计算资源224”)。
29.计算资源224包括一个或多个个人计算机、工作站计算机、服务器设备或其他类型的计算和/或通信设备。在一些实现方式中，计算资源224可控制平台220。云资源可包括在计算资源224中运行的计算实例、在计算资源224中提供的存储设备、由计算资源224提供的数据传输设备等。在一些实现方式中，计算资源224可经由有线连接、无线连接或者有线连接和无线连接的组合与其他计算资源224通信。
30.如图2进一步所示，计算资源224包括一组云资源，例如一个或多个应用程序(“app”)224-1、一个或多个虚拟机(“vm”)224-2、虚拟化存储器(“vs”)224-3、一个或多个管理程序(“hyp”)224-4等。
31.应用程序224-1包括可提供给用户设备210和/或传感器设备220或者由用户设备210和/或传感器设备220访问的一个或多个软件应用程序。应用程序224-1可消除在用户设备210上安装和运行软件应用程序的需要。例如，应用224-1可包括与平台220相关联的软件和/或能够经由云计算环境222提供的任何其他软件。在一些实现方式中，一个应用程序224-1可经由虚拟机224-2向一个或多个其他应用程序224-1发送信息/从一个或多个其他应用程序224-1接收信息。
32.虚拟机224-2包括运行类似于物理机的程序的机器(例如计算机)的软件实现。根据虚拟机224-2对任何实机的对应程度和用途，虚拟机224-2可以是系统虚拟机或过程虚拟机。系统虚拟机可提供支持完整操作系统(“os”)的运行的完整系统平台。过程虚拟机可运行单个程序，且可支持单个过程。在一些实现方式中，虚拟机224-2可代表用户(例如用户设备210)来运行，且可管理云计算环境222的基础设施，例如数据管理、同步或长时间数据传输。
33.虚拟化存储器224-3包括在计算资源224的存储系统或设备内使用虚拟化技术的一个或多个存储系统和/或一个或多个设备。在一些实现方式中，在存储系统的上下文中，虚拟化的类型可包括块虚拟化和文件虚拟化。块虚拟化可以指逻辑存储与物理存储的抽象化(或分离)，使得可在不考虑物理存储或异构结构的情况下访问存储系统。分离可允许存储系统的管理员在管理员如何管理终端用户的存储方面具有灵活性。文件虚拟化可消除以文件级访问的数据和物理地存储文件的位置之间的依赖性。这可实现存储器使用、服务器整合和/或无中断文件迁移性能的优化。
34.管理程序224-4可提供硬件虚拟化技术，硬件虚拟化技术允许多个操作系统(例如“客户操作系统”)同时在主控计算机例如计算资源224上运行。管理程序224-4可给客户操作系统呈现虚拟操作平台，且可管理客户操作系统的运行。各种操作系统的多个实例可共享虚拟化硬件资源。
35.网络230包括一个或多个有线网络和/或无线网络。例如，网络230可包括蜂窝网络(例如第五代(5g)网络、长期演进(lte)网络、第三代(3g)网络、码分多址(cdma)网络等)、公共陆地移动网络(plmn)、局域网(lan)、广域网(wan)、城域网(man)、电话网(例如公共交换电话网(pstn))、专用网络、自组网络、内部网、因特网、基于光纤的网络等，和/或这些网络或其他类型网络的组合。
36.图2所示的设备和网络的数量和布置作为示例提供。在实践中，可存在额外的设备和/或网络、较少的设备和/或网络、不同的设备和/或网络、或与图2所示的设备和/或网络不同地布置的设备和/或网络。此外，图2所示的两个或更多个设备可在单个设备内实现，或者图2所示的单个设备可实现为多个分布式设备。另外，或者可选地，环境200的一组设备(例如，一个或多个设备)可执行被描述成由环境200的另一组设备执行的一个或多个功能。
37.图3是设备300的示例组件的图。设备300可对应于用户设备210和/或平台220。如图3所示，设备300可包括总线310、处理器320、存储器330、存储组件340、输入组件350、输出组件360和通信接口370。
38.总线310包括允许设备300的组件之间通信的组件。处理器320以硬件、固件或硬件和软件的组合来实现。处理器320是中央处理单元(cpu)、图形处理单元(gpu)、加速处理单元(apu)、微处理器、微控制器、数字信号处理器(dsp)、现场可编程门阵列(fpga)、专用集成电路(asic)或另一类型的处理组件。在一些实现方式中，处理器320包括能够被编程以执行功能的一个或多个处理器。存储器330包括随机存取存储器(ram)、只读存储器(rom)，和/或存储供处理器320使用的信息和/或指令的另一类型的动态或静态存储设备(例如，闪存、磁存储器和/或光存储器)。
39.存储组件340存储与设备300的操作和使用相关的信息和/或软件。例如，存储组件340可包括硬盘(例如，磁盘、光盘、磁-光盘和/或固态盘)、紧凑盘(cd)、数字多功能盘(dvd)、软盘、盒式磁盘、磁带和/或另一类型的非暂时性计算机可读介质、以及相应的驱动器。
40.输入组件350包括允许设备300例如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关和/或麦克风)接收信息的组件。另外，或者可选地，输入组件350可包括用于感测信息的传感器(例如，全球定位系统(gps)组件、加速计、陀螺仪和/或致动器)。输出组件360包括提供来自设备300的输出信息的组件(例如，显示器、扬声器、和/或一个或
多个发光二极管(led))。
41.通信接口370包括类似于收发器的组件(例如收发器和/或单独的接收器和发射器)，其使得设备300能够例如经由有线连接、无线连接或者有线连接和无线连接的组合与其他设备通信。通信接口370可允许设备300接收来自另一设备的信息和/或向另一设备提供信息。例如，通信接口370可包括以太网接口、光接口、同轴接口、红外接口、射频(rf)接口、通用串行总线(usb)接口、wi-fi接口、蜂窝网络接口等。
42.设备300可执行本文描述的一个或多个过程。设备300可响应于处理器320运行由诸如存储器330和/或存储组件340的非暂时性计算机可读介质存储的软件指令来执行这些过程。计算机可读介质在本文中定义为非暂时性存储器设备。存储器设备包括单个物理存储设备内的存储器空间或散布在多个物理存储设备上的存储器空间。
43.软件指令可经由通信接口370从另一计算机可读介质或从另一设备读入存储器330和/或存储组件340中。当运行时，存储在存储器330和/或存储组件340中的软件指令可以使处理器320执行本文描述的一个或多个过程。另外，或者可选地，可使用硬连线电路来代替软件指令或者与软件指令组合，以执行本文描述的一个或多个过程。因此，本文描述的实现方式不限于硬件电路和软件的任何特定组合。
44.图3所示的组件的数量和布置作为示例提供。在实践中，设备300可包括额外的组件、较少的组件、不同的部件、或与图3所示的组件不同地布置的组件。另外，或者可选地，设备300的一组组件(例如，一个或多个组件)可执行被描述成由设备300的另一组组件执行的一个或多个功能。
45.本公开的实施例涉及基于最佳路径变化率(bpcr)的无监督lmw选择方法。根据实施例，这些方法在不知道真实参考的情况下基于对评估集合的解码结果的统计来选择lmw。图4示出了示例性lmw选择方法400。测试音频被解码成具有预定标度的词格。brcr计算需要在词格上进行多次正向处理，但不计算wer。关于各种标准卡尔迪(kaldi)语音识别系统的实验结果表明：这些方法可获得与现有技术的lmw选择方法相当或者甚至更好的lmw。此外，对于每一个lmw，计算wer，在计算真实wer数时，本公开的实施例能够比现有技术的方法更快地操作。
46.本公开的实施例适用于所有传统的语音识别任务，其中声学模型和语言模型独立地进行训练，且声学模型的得分和语言模型的得分在解码期间需要平衡。例如，当难以收集与具有高质量人类转录的测试数据类似的大量开发数据时，本文描述的实施例可能有用。
47.根据实施例的示例bpcr方法首先将测试音频解码成具有初始权重的解码词格。然后，以权重w和固定步长ε开始，对每一时刻t执行维特比(viterbi)解码，其中w+t*ε，t＝0...n。对于测试音频中的每个话语，将最佳路径与先前的最佳路径进行比较，如果最佳路径变化，则给出值1，否则给出值0。在每个时刻t，收集最佳路径变化的总数，其记为r(w)。然后计算相邻r(w)之间的差。选择具有最小|r(w)-r(w+ε)|的权重作为最优语言模型权重。
48.最佳路径可以指词格中具有最高后验概率的输出序列。对于每个话语，当lmw发生变化时，最佳路径ps(w)可发生变化。当lmw从w变成w+ε时，整个数据集上的最佳路径变化的数量可表示为c(w)，如等式1所示：
49.50.其中，s表示整个数据集中的话语，δ(
·
)表示克罗内克δ(指示符)函数。w的范围从w0到wn，步长为ε。应注意，不管在该路径中有多少字发生变化，我们只关心最佳路径是否发生变化。bpcr被定义为最佳路径变化的数量除以数据集中的话语总数。在等式2中，bpcr表示为r(w)，话语总数表示为n：
[0051][0052]
设r(w)是通过用线性函数连接离散点[w，w+ε，w+2ε...w+(n-1)ε]处的r(w)值而定义的连续函数。因此，r(w)限定在连续区域[w0，wn]上。类似地，定义ir(w)和dr(w)。ir(w)表示在lmw变化之后增加wer的最佳路径的归一化数量。dr(w)表示在lmw变化之后减少wer的最佳路径的归一化数量。应注意，一些最佳路径变化不会导致wer发生变化。这些数量一分为二，分别添加到ir(w)和dr(w)，使得ir(w)和dr(w)之和为r(w)，如等式3所示：
[0053]
r(wc)＝ir(wc)+dr(wc)
ꢀꢀꢀ
(等式3)
[0054]
其中wc是在[w0，wn]范围内的连续变量。曲线ir(w)和dr(w)的交点表示当w从w变成w+ε时，有相等数量的最佳路径发生变化以增加或减少wer。
[0055]
当语言模型权重为wc时，设e(wc)为wer。在许多asr系统中，e(wc)是凸形的，在[w0，wn]范围内具有一个最小点。因为e(wc)在最优lmw的左边减小而在右边增大，所以假设ir(wc)和dr(wc)在wc＝wopt附近对称。在不丧失一般性的情况下，等式4和等式5中的线性函数可分别表示接近wopt的ir(wc)和dr(wc)：
[0056][0057][0058]
其中k(k≥0)表示线的斜率。bi和bd分别是ir(wc)的截距和dr(wc)的截距。根据等式3，接近wopt的r(wc)可写成等式6：
[0059][0060][0061]
然后可使用等式6来导出等式7。应注意，可能不能找到这样的wopt，因此选择对应于r'(wopt)的最小值的lmw来进行评估。换句话说，如果使w移动ε，导致最小的最佳路径变化率，则选择w作为最优lmw：
[0062][0063]
图5给出了dr(w)、ir(w)和bpcr(w)关系的示例，假设给出了参考。bpcr(w)是r(w)。在表示语言模型权重的x轴的左部，使w移动到w+ε，通常改进了wer，使得更多的最佳路径变化落入d集合而不是i集合。在一些点之后，更多的路径变化落入i集合而不是d集合。选择最小r(w)，该最小r(w)是最佳路径变化的总和，而不管最佳路径变化是来自d还是i。
[0064]
图6是根据实施例的选择用于执行自动语音识别的最优语言模型权重(lmw)的方法600的流程图。在一些实现方式中，可由平台220执行图6的一个或多个处理块。在一些实现方式中，可由与平台220分离的另一设备或一组设备或者包括平台220的另一设备或一组设备(例如用户设备210)执行图6的一个或多个处理块。
[0065]
如图6所示，在操作610中，方法600可包括使用语言模型将测试音频解码成词格。
[0066]
如图6进一步所示，在操作620处，方法600可包括使用多个lmw中的第一lmw分析词格，以确定第一多个最佳路径。
[0067]
如图6进一步所示，在操作620处，方法600可包括使用多个lmw中的第二lmw分析词格，以确定第二多个最佳路径。
[0068]
如图6进一步所示，在操作620处，方法600可包括基于第一多个最佳路径和第二多个最佳路径之间的最佳路径变化的数量，确定对应于第一lmw的第一最佳路径变化率(bcpr)。
[0069]
如图6进一步所示，在操作650处，方法600可包括确定第一bcpr是否为对应于多个lmw的多个bcpr中的最小bcpr。如果在操作650处的答案确定为是，则在操作660处，可确定第一lmw为最优lmw。如果在操作650处的答案确定为否，则在操作670处，可使用多个lmw中的另一个lmw来重复方法600。操作600可以以这种方式进行，直到找到最优lmw为止。
[0070]
在一个实施例中，多个lmw可包括用于将语言模型与声学模型组合的多个缩放因子。
[0071]
在一个实施例中，多个lmw中的每个lmw可与多个lmw中的相邻lmw以固定步长分隔开。
[0072]
在一个实施例中，对应于第一多个最佳路径的多个得分中的每个得分可包括由第一lmw平衡的声学得分和语言模型得分的组合，且第一多个最佳路径中的每个最佳路径可包括词格中具有最大得分的路径。
[0073]
在一个实施例中，可基于在多个bcpr中第一bcpr最接近r'(w
opt
)的最小值，确定第一lmw为最优lmw。
[0074]
虽然图6示出了方法600的示例性块，但是在一些实现方式中，方法600可包括额外的块、较少的块、不同的块、或与图6所描绘的块不同地布置的块。另外，或者可选地，可并行地执行方法600的两个或更多个块。
[0075]
在上述实施例中，bpcr可基于路径变化，即，每个话语的值为1或0。然而，本公开不限于此。例如，在实施例中，可考虑字变化的数量，比较新的最佳路径和先前的最佳路径之间的编辑距离。
[0076]
在四个基准数据集上测试本公开的实施例：switchboard交换机-1第二版(swbd)、华尔街日报(wsj)、chime-4和librispeech。swbd语料库是与来自美国所有地区的发言人的双向电话对话的集合。wsj语料库主要由来自华尔街日报新闻的朗读语音组成。chime-4可看作是wsj的多信道扩展，用于在嘈杂环境中进行远距离说话的语音识别。librispeech是相对大的语料库，包含大约1000小时的音频书籍的英语朗读语音。在这四个语料库上，使用相应的卡尔迪方法训练六个声学模型。语言模型(lm)利用使用srilm工具包的插值kneser-ney平滑来构建。
[0077]
swbd语料库包含543个发言人之间大约260小时的英语电话对话。两个基于深度神
经网络(dnn)的声学模型对mfcc特征进行训练。一个声学模型使用逐帧交叉熵训练准则，另一个声学模型使用状态级最小贝叶斯风险(smbr)准则来进一步训练。在解码期间，对swbd训练副本的3m个字进行训练的三元lm应用于两个声学模型。对于smbr训练的声学模型，进行额外的实验，利用对费舍尔(fisher)英语第1部分副本的11m个单词进行训练的三元lm对swbd三元lm进行插值。包含4458个话语的hub5’00集合用作实验中的测试集。
[0078]
wsj训练集(即wsj0 si-84)包含来自84个发言人的大约80小时的录音。声学模型是用交叉熵损失训练的dnn。在解码期间使用词汇大小为146k的三元lm。包含333个话语的nov’92arpa wsj集合用于评估。在chime-4语料库上的实验遵循陈等人的卡尔迪方法。应用基于双向lstm的广义特征值(gev)波束形成器。对于声学建模，使用无词格版最大互信息(lf-mmi)来训练子采样时延神经网络(tdnn)。5元lm用于解码。在chime-4挑战的330
×
6个实际记录上对这些模型进行评估。librispeech语料库上的声学模型利用smbr准则来进行训练，并利用大的4元lm进行解码。对于评估，使用“测试-其它”集合中的2939个话语。
[0079]
利用根据本公开的实施例的声学模型和语言模型，可利用缩放值10生成评估集上的词格。在实验中发现，对于给定的词格，lm成本变化总是对应于最佳路径变化，而不是通过比较从词格中提取的1-最佳路径来使用真实的最佳路径变化。因此，lm成本变化可用作等式1中的最佳路径变化ps(w)的指示符。在实施例中，lm成本由估计转录的长度归一化。表1示出了各种语料库和模型上的理论最优值(oracle)、常规和bpcr lmw。交叉熵训练准则表示为ce。
[0080]
表1理论最优值、常规和bpcr lmw
[0081][0082]
即使不使用开发集合，根据实施例的bpcr获得与现有技术的方法相当或者更好的lmw估计。这证明了在快速lmw选择和适应性是比较重要的任务中，bpcr作为现有技术的lmw选择方法的替代的前景。
[0083]
前述公开内容提供了图示和描述，但是不旨在穷举或将实现方式限制为所公开的精确形式。根据上述公开内容可进行修改和变化，或者可从实现方式的实践中获得修改和变化。
[0084]
如本文所使用的，术语“组件”意在广义地解释为硬件、固件或者硬件和软件的组合。
[0085]
显然，本文描述的系统和/或方法可以以不同形式的硬件、固件或者硬件和软件的
组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码不限制实现方式。因此，本文描述系统和/或方法的操作和行为，而不参考特定的软件代码-应理解，软件和硬件可设计成实现基于本文的描述的系统和/或方法。
[0086]
即使在权利要求中记载和/或在说明书中公开了特征的特定组合，这些组合并不旨在限制可能的实现方式的公开内容。实际上，这些特征中的许多特征可以以未在权利要求中具体记载和/或在说明书中公开的方式组合。虽然下面列出的每个从属权利要求可仅直接从属于一个权利要求，但是可能的实现方式的公开内容包括每个从属权利要求与权利要求集中的每一个其它权利要求的组合。
[0087]
本文使用的任何元素、动作或指令不应被理解为关键的或必要的，除非如此明确描述。此外，如本文所使用的，约束“一”和“一个”旨在包括一个或多个项目，且可以与“一个或多个”互换地使用。此外，如本文所使用的，术语“集合”旨在包括一个或多个项目(例如，相关项目、非相关项目、相关项目和非相关项目的组合等)，且可以与“一个或多个”互换地使用。在意图仅是一个项目的情况下，使用术语“一”或类似的语言。此外，如本文所使用的，术语“具有”、“含有”、“有”或类似术语旨在是开放式术语。此外，短语“基于”意图是指“至少部分地基于”，除非另有明确说明。