1.本发明涉及数据处理技术领域，具体涉及一种语音操作的纠错方法及系统。


背景技术：

2.目前用户在对诸如手机、平板电脑和电视等智能电子设备进行语音操作时，通常是基于语音指令对智能电子设备的界面上的元素执行相应的操作。但在执行对智能电子设备进行语音操作的过程中，可能会出现执行错误的情况，因此目前亟需一种能够解决在语音操作过程中所出现的执行错误的方法。


技术实现要素：

3.有鉴于此，本发明实施例提供一种语音操作的纠错方法及系统，以解决在语音操作过程中所出现的执行错误。
4.为实现上述目的，本发明实施例提供如下技术方案：
5.本发明实施例第一方面公开一种语音操作的纠错方法，所述方法包括：
6.获取待处理交互路径在智能电子设备中的执行状态，所述待处理交互路径基于待处理用户用于操作所述智能电子设备的语音指令确定得到，所述待处理交互路径为用于触发所述智能电子设备的对应功能的操作相关信息，所述待处理交互路径至少包含：待执行操作和与之对应的被操作的元素；
7.根据所述执行状态确定所述待处理交互路径是否存在执行错误；
8.若所述待处理交互路径存在所述执行错误，确定所述执行错误的具体错误信息；
9.若所述具体错误信息指示所述智能电子设备的界面中未存在目标元素，基于预设的界面跳转关系图，在所述智能电子设备的界面中重现所述目标元素并重新执行所述待处理交互路径，所述目标元素为所述待处理交互路径中的任一所述被操作的元素，所述界面跳转关系图基于预先收集的样本用户操作与之对应的智能电子设备的操作相关信息构建得到，所述界面跳转关系图用于表示智能电子设备的各个元素之间的关联关系。
10.优选的，还包括：
11.若所述具体错误信息指示语义理解错误，播放用于确认所述待执行操作对应的操作参数的询问消息，并收集所述待处理用户的语音回复消息；
12.根据所述语音回复消息，重新确认所述待执行操作对应的操作参数并重新执行所述待处理交互路径。
13.优选的，所述界面跳转关系图中的每个节点指代智能电子设备的界面中的元素，所述基于预设的界面跳转关系图，在所述智能电子设备的界面中重现所述目标元素并重新执行所述待处理交互路径，包括：
14.确定所述智能电子设备的当前界面中所有元素在预设的界面跳转关系图中所对应的待处理节点；
15.以使所述目标元素在所述智能电子设备的界面中重新出现为目标，利用广度优先
搜索方式和所有所述待处理节点，从所述界面跳转关系图中确定最短操作路径；
16.通过所述最短操作路径操作所述智能电子设备，使所述智能电子设备的界面中重现所述目标元素。
17.优选的，还包括：
18.若从所述界面跳转关系图中未能确定最短操作路径，输出用于指示处理所述执行错误失败的指示信息。
19.优选的，所述通过所述最短操作路径操作所述智能电子设备之后，还包括：
20.在通过所述最短操作路径操作所述智能电子设备的过程中，若确定得到用于指示所述最短操作路径执行异常的异常信息，返回执行确定所述智能电子设备的当前界面中所有元素在预设的界面跳转关系图中所对应的待处理节点这一步骤。
21.优选的，所述根据所述语音回复消息重新确认所述待执行操作对应的操作参数之前，还包括：
22.若所述语音回复消息用于否定所述询问消息，输出用于指示处理所述执行错误失败的指示信息。
23.本发明实施例第二方面公开一种语音操作的纠错系统，所述系统包括：
24.获取单元，用于获取待处理交互路径在智能电子设备中的执行状态，所述待处理交互路径基于待处理用户用于操作所述智能电子设备的语音指令确定得到，所述待处理交互路径为用于触发所述智能电子设备的对应功能的操作相关信息，所述待处理交互路径至少包含待执行操作和与之对应的被操作的元素；
25.确定单元，用于根据所述执行状态确定所述待处理交互路径是否存在执行错误，若所述待处理交互路径存在所述执行错误，确定所述执行错误的具体错误信息；
26.第一处理单元，用于若所述具体错误信息指示所述智能电子设备的界面中未存在目标元素，基于预设的界面跳转关系图，在所述智能电子设备的界面中重现所述目标元素并重新执行所述待处理交互路径，所述目标元素为所述待处理交互路径中的任一所述被操作的元素，所述界面跳转关系图基于预先收集的样本用户操作与之对应的智能电子设备的操作相关信息构建得到，所述界面跳转关系图用于表示智能电子设备的各个元素之间的关联关系。
27.优选的，所述系统还包括：
28.第二处理单元，用于若所述具体错误信息指示语义理解错误，播放用于确认所述待执行操作对应的操作参数的询问消息，并收集所述待处理用户的语音回复消息，根据所述语音回复消息，重新确认所述待执行操作对应的操作参数并重新执行所述待处理交互路径。
29.优选的，所述第一处理单元包括：
30.确定模块，用于确定所述智能电子设备的当前界面中所有元素在预设的界面跳转关系图中所对应的待处理节点；
31.搜索模块，用于以使所述目标元素在所述智能电子设备的界面中重新出现为目标，利用广度优先搜索方式和所有所述待处理节点，从所述界面跳转关系图中确定最短操作路径；
32.操作模块，用于通过所述最短操作路径操作所述智能电子设备，使所述智能电子
设备的界面中重现所述目标元素。
33.优选的，所述搜索模块还用于：若从所述界面跳转关系图中未能确定最短操作路径，输出用于指示处理所述执行错误失败的指示信息。
34.基于上述本发明实施例提供的一种语音操作的纠错方法及系统，该方法为：获取待处理交互路径在智能电子设备中的执行状态；根据执行状态确定待处理交互路径是否存在执行错误；若存在执行错误，确定执行错误的具体错误信息；若具体错误信息指示智能电子设备的界面中未存在目标元素，基于预设的界面跳转关系图，在智能电子设备的界面中重现目标元素并重新执行待处理交互路径；在执行待处理交互路径的过程中引入纠错机制，提高语音操作的稳定性和准确性。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
36.图1为本发明实施例提供的一种语音操作的纠错方法的流程图；
37.图2为本发明实施例提供的在智能电子设备的界面中重现目标元素的流程图；
38.图3为本发明实施例提供的一种语音操作的纠错系统的结构框图；
39.图4为本发明实施例提供的一种语音操作的纠错系统的另一结构框图；
40.图5为本发明实施例提供的一种语音操作的纠错系统的另一结构框图。
具体实施方式
41.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.在本技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
43.由背景技术可知，在对智能电子设备进行语音操作时，通常是根据用户的语音指令对智能电子设备的界面上的元素执行相应的操作。而在对智能电子设备进行语音操作的过程中可能会出现执行错误，因此目前亟需一种能够解决语音操作的过程中产生的执行错误的方法。
44.故，本发明实施例提供一种语音操作的纠错方法及系统，获取待处理交互路径在智能电子设备中的执行状态。根据执行状态确定待处理交互路径是否存在执行错误。若存在执行错误，确定执行错误的具体错误信息。若具体错误信息指示智能电子设备的界面中未存在目标元素，基于预设的界面跳转关系图，在智能电子设备的界面中重现目标元素并
重新执行待处理交互路径。在执行待处理交互路径的过程中引入纠错机制，以提高语音操作的稳定性和准确性。
45.需要说明的是，待处理用户在对智能电子设备进行语音操作时，通常是基于待处理用户用于操作智能电子设备的语音指令确定得到待处理交互路径，再按照待处理交互路径操作智能电子设备以实现对应的功能(相当于按照待处理交互路径模拟待处理用户在智能电子设备上的操作)。也就是说，在本发明实施例中所涉及的待处理交互路径，可用于触发智能电子设备的某一功能。
46.其中，用于触发某一功能的待处理交互路径(也就是可用于操作智能电子设备的交互路径)至少包含：待执行操作、待执行操作的顺序、待执行操作的对象(也就是智能电子设备的界面中被操作的元素)和待执行操作的操作参数等操作相关信息。
47.参见图1，示出了本发明实施例提供的一种语音操作的纠错方法的流程图，该纠错方法包括：
48.步骤s101：获取待处理交互路径在智能电子设备中的执行状态。
49.需要说明的是，待处理交互路径基于待处理用户用于操作智能电子设备的语音指令确定得到，待处理交互路径为用于触发所述智能电子设备的对应功能的操作相关信息，待处理交互路径至少包含待执行操作和与之对应的被操作的元素，即每个待执行操作都对应一个被操作的元素。
50.也就是说，待处理用户通过语音操作智能电子设备时，根据待处理用户的待处理语音指令确定得到待处理交互路径，再执行待处理交互路径以操作智能电子设备，该待处理交互路径中至少包含了各个待执行操作和被操作的元素(该元素为智能电子设备的图形界面中的元素)。
51.在具体实现步骤s101的过程中，在执行待处理交互路径以操作智能电子设备的过程中，获取该待处理交互路径的执行状态，解析该执行状态，并根据解析结果确定待处理交互路径是否成功被执行(即确定是否成功触发智能电子设备中与该待处理交互路径对应的功能)，也就是说，该执行状态用于指示待处理交互路径是否存在相应的执行错误。
52.步骤s102：根据执行状态确定待处理交互路径是否存在执行错误。若待处理交互路径存在执行错误，执行步骤s103及后续步骤，若待处理交互路径不存在执行错误，确定待处理交互路径已完成执行。
53.在具体实现步骤s102的过程中，利用待处理交互路径的执行状态，确定该待处理交互路径是否存在执行错误。
54.若待处理交互路径存在执行错误，则执行步骤s103确定该执行错误的具体错误信息。
55.若待处理交互路径不存在执行错误，则表示该待处理交互路径已完成执行。
56.步骤s103：确定执行错误的具体错误信息。
57.可以理解的是，在执行待处理交互路径以操作智能电子设备的过程中，主要是在智能电子设备的界面中确定被操作的元素并执行相应的待执行操作，与此同时，结合对待处理用户的语音数据进行语义理解的结果，完成对智能电子设备的操作从而触发与待处理交互路径对应的功能。
58.因此，在执行待处理交互路径的过程中，可能出现以下两种执行错误，其一为在智
能电子设备的界面中找不到被操作的元素，其二为进行语义理解时出现语义理解错误的异常情况。
59.在具体实现步骤s103的过程中，当存在执行错误时，解析该执行错误，并根据解析该执行错误得到的结果，确定产生该执行错误的原因，进而得到该执行错误的具体错误信息，该具体错误信息主要指示待处理交互路径的执行错误的类型。
60.若该具体错误信息指示待处理交互路径的执行错误的类型为：在智能电子设备的界面中找不到被操作的元素，执行步骤s104。
61.若该具体错误信息指示待处理交互路径的执行错误的类型为：进行语义理解时出现语义理解错误，执行步骤s105。
62.步骤s104：若具体错误信息指示智能电子设备的界面中未存在目标元素，基于预设的界面跳转关系图，在智能电子设备的界面中重现目标元素并重新执行待处理交互路径。
63.需要说明的是，目标元素为待处理交互路径中的任一被操作的元素，界面跳转关系图基于预先收集的样本用户(多个用户，其中可包含待处理用户)操作与之对应的智能电子设备的操作相关信息构建得到，界面跳转关系图用于表示智能电子设备的各个元素之间的关联关系。
64.也就是说，预先收集样本用户对智能电子设备进行每一次操作时所对应的操作相关信息，例如：当样本用户对智能电子设备进行点击屏幕、点击鼠标、敲击键盘、按下按键、做出手势和给出语音指令等任意一个或多个操作时，均记录各操作所对应的操作相关信息，操作相关信息包括但不仅限于：操作的具体信息(包含所操作的元素)、操作前后的页面截图(也就是界面截图)和操作前后的页面布局(也就是界面布局)等信息；该页面布局包括但不仅限于：该页面中的所有元素(例如按钮、列表、标签、文本框和菜单等)、元素之间的并列和包含关系。
65.所构建的界面跳转关系图中的每个节点均指示智能电子设备的界面中的某一元素。
66.进一步需要说明的是，由于智能电子设备的界面和待处理交互路径的状态存在差别，因此可能导致智能电子设备的界面中未存在目标元素，例如：微信聊天的文本输入界面和按住说话界面，假设此时的界面为按住说话界面，当需要进行文本输入时，会导致找不到被操作的元素(也就是文本输入框)。
67.在具体实现步骤s104的过程中，若具体错误信息指示智能电子设备的界面中未存在目标元素，利用智能电子设备的当前界面的所有元素，从界面跳转关系图确定得到使目标元素在智能电子设备的界面中重新出现的最短操作路径，根据该最短操作路径对该智能电子设备进行操作，使智能电子设备的界面中重现目标元素，并重新执行待处理交互路径。
68.步骤s105：若具体错误信息指示语义理解错误，播放用于确认待执行操作对应的操作参数的询问消息，并收集待处理用户的语音回复消息，执行步骤s106。
69.在具体实现步骤s105的过程中，若待处理交互路径的执行错误的具体错误信息指示语义理解错误，播放用于确认待执行操作对应的操作参数的询问消息，该询问消息基于待处理用户的语义理解结果确定。例如：向待处理用户询问“是不是要选择xxx”，或者，向待处理用户询问“是不是需要填入xxx”。
70.在向待处理用户播放询问消息后，收集待处理用户的语音回复消息。
71.可以理解的是，在向待处理用户播放询问消息时，依旧处于与待处理用户进行语音交互的模式，此时用户并不会感知到目前出现执行错误，也不会感知到正在处理执行错误。
72.步骤s106：根据语音回复消息，重新确认待执行操作对应的操作参数并重新执行待处理交互路径。
73.在具体实现步骤s106的过程中，解析待处理用户的语音回复消息，并根据解析得到的结果，重新确认待处理交互路径中的待执行操作对应的操作参数，并重新执行待处理交互路径。
74.可以理解的是，待处理用户的语音回复消息可能用于否定所播放的询问消息，优选的，若语音回复消息用于否定询问消息，输出用于指示处理执行错误失败的指示信息。同理，若语音回复消息用于否定询问消息，也可重新执行该待处理交互路径，并再次进行语义理解。
75.在本发明实施例中，获取待处理交互路径在智能电子设备中的执行状态，并根据执行状态确定待处理交互路径是否存在执行错误。若存在执行错误，确定执行错误的具体错误信息。当具体错误信息指示智能电子设备的界面中未存在目标元素，基于预设的界面跳转关系图，在智能电子设备的界面中重现目标元素并重新执行待处理交互路径。当具体错误信息指示语义理解错误，播放用于确认待执行操作对应的操作参数的询问消息，并收集待处理用户的语音回复消息，根据语音回复消息，重新确认待执行操作对应的操作参数并重新执行待处理交互路径。在执行待处理交互路径的过程中引入纠错机制，提高语音操作的稳定性和准确性。
76.上述本发明实施例图1步骤s104中涉及的重现目标元素的过程，参见图2，示出了本发明实施例提供的在智能电子设备的界面中重现目标元素的流程图，包括以下步骤：
77.步骤s201：确定智能电子设备的当前界面中所有元素在预设的界面跳转关系图中所对应的待处理节点。
78.由上述内容可知，界面跳转关系图中的每一节点对应智能电子设备的界面中的某一元素，在具体实现步骤s201的过程中，根据智能电子设备的当前界面中所有元素的属性，在界面跳转关系图中确定与该当前界面中所有元素对应的待处理节点(也就是与当前界面中的元素对应的节点)。
79.步骤s202：以使目标元素在所述智能电子设备的界面中重新出现为目标，利用广度优先搜索方式和所有待处理节点，从界面跳转关系图中确定最短操作路径。
80.在具体实现步骤s202的过程中，利用广度优先搜索方式和所有待处理节点，从界面跳转关系图中，确定一条能够使目标元素在智能电子设备的界面中重新出现的最短操作路径。
81.步骤s203：通过最短操作路径操作智能电子设备，使智能电子设备的界面中重现目标元素并重新执行待处理交互路径。
82.在具体实现步骤s203的过程中，通过最短操作路径操作智能电子设备(相当于模拟待处理用户的操作来完成该最短操作路径)，使智能电子设备的界面中重现目标元素，并重新执行待处理交互路径。
83.可以理解的是，在步骤s201至步骤s203的执行过程中，也可能出现异常情况，其一为找不到该最短操作路径，其二为通过最短操作路径操作智能电子设备的过程中出现异常。
84.优选的，若从界面跳转关系图中未能确定最短操作路径，输出用于指示处理执行错误失败的指示信息。
85.优选的，在通过最短操作路径操作智能电子设备的过程中，若确定得到用于指示最短操作路径执行异常的异常信息(也就是执行最短操作路径时出现异常)，返回执行步骤s201继续确定最短操作路径并据此操作智能电子设备。可以理解的是，在返回执行步骤s201继续确定最短操作路径并据此操作智能电子设备时，若依旧确定得到用于指示最短操作路径执行异常的异常信息，再重复若干次(以实际情况确定具体次数)“返回执行步骤s201继续确定最短操作路径并据此操作智能电子设备”这一过程，如果依旧确定最短操作路径执行异常，则输出用于指示处理执行错误失败的指示信息。
86.在本发明实施例中，若在智能电子设备的界面中未找到目标元素，利用界面跳转关系图和智能电子设备的当前界面中所有元素，从界面跳转关系图中确定得到一条能使目标元素重现的最短操作路径，并按照最短操作路径操作智能电子设备，使智能电子设备的界面中重现目标元素并重新执行待处理交互路径，从而成功处理待处理交互路径的执行错误，提高语音操作的稳定性和准确性。
87.与上述本发明实施例提供的一种语音操作的纠错方法相对应，参见图3，本发明实施例还提供了一种语音操作的纠错系统的结构框图，该纠错系统包括：获取单元301、确定单元302、第一处理单元303；
88.获取单元301，用于获取待处理交互路径在智能电子设备中的执行状态，待处理交互路径基于待处理用户用于操作智能电子设备的语音指令确定得到，待处理交互路径为用于触发智能电子设备的对应功能的操作相关信息，待处理交互路径至少包含待执行操作和与之对应的被操作的元素。
89.确定单元302，用于根据执行状态确定待处理交互路径是否存在执行错误，若待处理交互路径存在执行错误，确定执行错误的具体错误信息。
90.第一处理单元303，用于若具体错误信息指示智能电子设备的界面中未存在目标元素，基于预设的界面跳转关系图，在智能电子设备的界面中重现目标元素并重新执行待处理交互路径，目标元素为所述待处理交互路径中的任一被操作的元素，界面跳转关系图基于预先收集的样本用户操作与之对应的智能电子设备的操作相关信息构建得到，界面跳转关系图用于表示智能电子设备的各个元素之间的关联关系。
91.在本发明实施例中，获取待处理交互路径在智能电子设备中的执行状态，并根据执行状态确定待处理交互路径是否存在执行错误。若存在执行错误，确定执行错误的具体错误信息。当具体错误信息指示智能电子设备的界面中未存在目标元素，基于预设的界面跳转关系图，在智能电子设备的界面中重现目标元素并重新执行待处理交互路径。在执行待处理交互路径的过程中引入纠错机制，提高语音操作的稳定性和准确性。
92.优选的，结合图3，参见图4，示出了本发明实施例提供的一种语音操作的纠错系统的另一结构框图，该纠错系统还包括：
93.第二处理单元304，用于若具体错误信息指示语义理解错误，播放用于确认待执行
操作对应的操作参数的询问消息，并收集待处理用户的语音回复消息，根据语音回复消息，重新确认待执行操作对应的操作参数并重新执行待处理交互路径。
94.在具体实现中，第二处理单元304具体用于：若语音回复消息用于否定询问消息，输出用于指示处理执行错误失败的指示信息。
95.优选的，结合图3，参见图5，示出了本发明实施例提供的一种语音操作的纠错系统的另一结构框图，第一处理单元303包括：确定模块3031、搜索模块3032和操作模块3033；
96.确定模块3031，用于确定智能电子设备的当前界面中所有元素在预设的界面跳转关系图中所对应的待处理节点。
97.搜索模块3032，用于以使目标元素在智能电子设备的界面中重新出现为目标，利用广度优先搜索方式和所有待处理节点，从界面跳转关系图中确定最短操作路径。
98.操作模块3033，用于通过最短操作路径操作所述智能电子设备，使智能电子设备的界面中重现目标元素并重新执行待处理交互路径。
99.优选的，搜索模块3032还用于：若从界面跳转关系图中未能确定最短操作路径，输出用于指示处理执行错误失败的指示信息。
100.优选的，操作模块3033还用于：在通过最短操作路径操作智能电子设备的过程中，若确定得到用于指示最短操作路径执行异常的异常信息，返回执行确定模块3031。
101.在本发明实施例中，若在智能电子设备的界面中未找到目标元素，利用界面跳转关系图和智能电子设备的当前界面中所有元素，从界面跳转关系图中确定得到一条能使目标元素重现的最短操作路径，并按照最短操作路径操作智能电子设备，使智能电子设备的界面中重现目标元素并重新执行待处理交互路径，从而成功处理待处理交互路径的执行错误，提高语音操作的稳定性和准确性。
102.综上所述，本发明实施例提供一种语音操作的纠错方法及系统，获取待处理交互路径在智能电子设备中的执行状态。根据执行状态确定待处理交互路径是否存在执行错误。若存在执行错误，确定执行错误的具体错误信息。若具体错误信息指示智能电子设备的界面中未存在目标元素，基于预设的界面跳转关系图，在智能电子设备的界面中重现目标元素并重新执行待处理交互路径。在执行待处理交互路径的过程中引入纠错机制，提高语音操作的稳定性和准确性。
103.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
104.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业
技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
105.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。