基于语音识别的移动设备与web客户端智能联动的系统、方法、装置、处理器及存储介质
技术领域
1.本发明涉及语音识别领域，尤其涉及多终端联动语音识别领域，具体是指一种基于语音识别实现移动设备与web客户端智能联动处理的系统、方法、装置、处理器及其计算机可读存储介质。


背景技术：

2.目前市场上，对移动手机端与web的语音识别交互具有较强的需求，但是，目前市面上的大多数语音识别功能都是基于单个终端设备，即手机或web端，很少有联动两个终端进行语音识别联动处理的技术，用户与网页的交互形式单一，用户体验度不好。同时在语音识别方面，现有技术中语音转化的文字常常无法命中特定的专业术语，现有技术的分词和语义分析通常不够准确。


技术实现要素：

3.本发明的目的是克服了上述现有技术的缺点，提供了一种满足效率高、准确率高、适用范围较为广泛的基于语音识别实现移动设备与web客户端智能联动处理的系统、方法、装置、处理器及其计算机可读存储介质。
4.为了实现上述目的，本发明的基于语音识别实现移动设备与web客户端智能联动处理的系统、方法、装置、处理器及其计算机可读存储介质如下：
5.该基于语音识别实现移动设备与web客户端智能联动处理的系统，其主要特点是，所述的系统包括：
6.移动设备，用于接收用户的语音指令，将语音转化为文字，并获取用户指令目标以及识别结果；
7.nlp及语义识别服务器，通过通讯信号与移动设备相连接，用于分析分词和语义，并传输回移动设备；
8.指令服务器，通过通讯信号与移动设备相连接，所述的nlp及语义识别服务器与指令服务器相互独立解耦，用于在移动设备和web客户端间传输指令；
9.web客户端，与所述的指令服务器相连接，用于对指令对象为web客户端的指令进行处理。
10.较佳地，所述的移动设备包括：
11.语音接收模块，用于通过麦克风收集语音信息；
12.语音识别模块，与所述的语音接收模块相连接，用于将接收的语音指令转化为文字。
13.较佳地，所述的web客户端包括：
14.智能服务集群，与所述的指令服务器相连接，用于接收翻译后的语音指令；
15.负载均衡单元，与所述的智能服务集群相连接，用于保持智能服务集群与用户浏
览器间的长连接；
16.用户浏览器，与所述的负载均衡单元相连接，用于实时接收语音消息，响应语音指令。
17.较佳地，所述的智能服务集群和用户浏览器之间通过stomp协议进行websocket长连接。
18.较佳地，所述的智能服务集群通过kafka消息队列来分发请求，找到对应的服务节点。
19.较佳地，所述的用户浏览器具有多个tab页，每个tab页均具有长连接至智能服务集群。
20.较佳地，所述的智能服务集群监听用户浏览器的操作行为，维护当前活跃tab页的对应的连接，并将移动设备的语音指令推送至当前活跃tab页。
21.较佳地，所述的用户浏览器根据连接的会话id，区分判断用户浏览器的多个tab页与指令服务器的连接是否属于同个用户，用户浏览器给同个用户推送对应的消息。
22.该利用上述系统实现基于语音识别的移动设备与web客户端智能联动处理的方法，其主要特点是，所述的方法包括以下步骤：
23.(1)移动设备接收用户的语音输入，并将语音转化为文字，判断是否转化成功，如果是，则继续步骤(2)；否则，退出步骤；
24.(2)移动设备与nlp及语义识别服务器进行通讯，nlp及语义识别服务器分析分词和语义；
25.(3)判断nlp及语义识别服务器的语义分析是否准确，如果是，则继续步骤(4)；否则，语音指令无法识别，半人工干预机器学习，并录入指令库，继续步骤(2)；
26.(4)判断指令对象是否为移动设备，如果是，则移动设备自主响应处理，结束步骤；否则，移动设备与指令服务器进行通讯；
27.(5)判断同一用户账户是否在线，如果是，则通过长链接将指令推送至web终端，结束步骤；否则，想移动设备报错，用户不在线，结束步骤。
28.该用于实现基于语音识别的移动设备与web客户端智能联动处理的装置，其主要特点是，所述的装置包括：
29.处理器，被配置成执行计算机可执行指令；
30.存储器，存储一个或多个计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述的实现基于语音识别的移动设备与web客户端智能联动处理的方法的各个步骤。
31.该用于实现基于语音识别的移动设备与web客户端智能联动处理的处理器，其主要特点是，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述的实现基于语音识别的移动设备与web客户端智能联动处理的方法的各个步骤。
32.该计算机可读存储介质，其主要特点是，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述的用于实现基于语音识别的移动设备与web客户端智能联动处理的方法的各个步骤。采用了本发明的基于语音识别实现移动设备与web客户端智能联动处理的系统、方法、装置、处理器及其计算机可读存储介质，通过语音指令实现移动应用
与web网页的联动，通过半人工干预的机器学习算法不断扩充可识别指令库，提高正常用户的使用效率，为不方便操作电脑的人群提供操作方法。
附图说明
33.图1为本发明的基于语音识别实现移动设备与web客户端智能联动处理的系统的结构示意图。
34.图2为本发明的基于语音识别实现移动设备与web客户端智能联动处理的系统的web客户端的结构示意图。
35.图3为本发明的基于语音识别实现移动设备与web客户端智能联动的方法的流程图。
具体实施方式
36.为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
37.请参阅图1和图2所示，本发明的该基于语音识别实现移动设备与web客户端智能联动处理的系统，其中包括：
38.移动设备，用于接收用户的语音指令，将语音转化为文字，并获取用户指令目标以及识别结果；
39.nlp及语义识别服务器，通过通讯信号与移动设备相连接，用于分析分词和语义，并传输回移动设备；
40.指令服务器，通过通讯信号与移动设备相连接，所述的nlp及语义识别服务器与指令服务器相互独立解耦，用于在移动设备和web客户端间传输指令；
41.web客户端，与所述的指令服务器相连接，用于对指令对象为web客户端的指令进行处理。
42.作为本发明的优选实施方式，所述的移动设备包括：
43.语音接收模块，用于通过麦克风收集语音信息；
44.语音识别模块，与所述的语音接收模块相连接，用于将接收的语音指令转化为文字。
45.作为本发明的优选实施方式，所述的web客户端包括：
46.智能服务集群，与所述的指令服务器相连接，用于接收翻译后的语音指令；
47.负载均衡单元，与所述的智能服务集群相连接，用于保持智能服务集群与用户浏览器间的长连接；
48.用户浏览器，与所述的负载均衡单元相连接，用于实时接收语音消息，响应语音指令。
49.作为本发明的优选实施方式，所述的智能服务集群和用户浏览器之间通过stomp协议进行websocket长连接。
50.作为本发明的优选实施方式，所述的智能服务集群通过kafka消息队列来分发请求，找到对应的服务节点。
51.作为本发明的优选实施方式，所述的用户浏览器具有多个tab页，每个tab页均具
有长连接至智能服务集群。
52.作为本发明的优选实施方式，所述的智能服务集群监听用户浏览器的操作行为，维护当前活跃tab页的对应的连接，并将移动设备的语音指令推送至当前活跃tab页。
53.作为本发明的优选实施方式，所述的用户浏览器根据连接的会话id，区分判断用户浏览器的多个tab页与指令服务器的连接是否属于同个用户，用户浏览器给同个用户推送对应的消息。
54.请参阅图3所示，本发明的该利用上述系统实现基于语音识别的移动设备与web客户端智能联动处理的方法，其中包括以下步骤：
55.(1)移动设备接收用户的语音输入，并将语音转化为文字，判断是否转化成功，如果是，则继续步骤(2)；否则，退出步骤；
56.(2)移动设备与nlp及语义识别服务器进行通讯，nlp及语义识别服务器分析分词和语义；
57.(3)判断nlp及语义识别服务器的语义分析是否准确，如果是，则继续步骤(4)；否则，语音指令无法识别，半人工干预机器学习，并录入指令库，继续步骤(2)；
58.(4)判断指令对象是否为移动设备，如果是，则移动设备自主响应处理，结束步骤；否则，移动设备与指令服务器进行通讯；
59.(5)判断同一用户账户是否在线，如果是，则通过长链接将指令推送至web终端，结束步骤；否则，想移动设备报错，用户不在线，结束步骤。
60.本发明的该用于实现基于语音识别的移动设备与web客户端智能联动处理的装置，其中所述的装置包括：
61.处理器，被配置成执行计算机可执行指令；
62.存储器，存储一个或多个计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述的实现基于语音识别的移动设备与web客户端智能联动处理的方法的各个步骤。
63.本发明的该用于实现基于语音识别的移动设备与web客户端智能联动处理的处理器，其中所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述的实现基于语音识别的移动设备与web客户端智能联动处理的方法的各个步骤。
64.本发明的该计算机可读存储介质，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述的用于实现基于语音识别的移动设备与web客户端智能联动处理的方法的各个步骤。
65.本发明的具体实施方式中，公开了一种语音智能化联动方法，其中包括移动设备、nlp及语义识别服务器、指令服务器以及web客户端，所述nlp及语义识别服务器与指令服务器相互独立解耦，通过移动端根据不同业务场景进行通讯，所述web客户端是指与移动设备登录同一个业务系统账号的web浏览器，所述的移动设备是指被用户授权使用麦克风的安卓和苹果设备。
66.移动设备通过通讯信号分别与nlp及语义识别服务器和指令服务器连通，在接收到用户的语音指令之后，在本地通过语音识别模块将语音转化为文字，随后与nlp及语义识别服务器通讯，通过服务端的分词和语义分析，移动设备获取用户的真实指令对象和意图，
若指令对象为移动端则移动端根据指令内容进行处理；若指令对象为web客户端，则移动设备与指令服务器通讯，指令服务器接收到对应指令之后通过websocket将指令发送给对应的web客户端。
67.移动设备通过麦克风收集到的语音信息，经过本地语音识别模块转化为文字后，通过https加密的网络协议传输给nlp及语义识别服务器，并获取用户指令目标以及识别结果。
68.智能语音的web端由智能服务集群，f5和用户浏览器三方组成，智能服务接收app端翻译好的语音指令，转发到对应的浏览器执行。浏览器与智能服务直接维护着websocket长连接，能够实时的推送消息，快速响应app端的语音指令。客户端浏览器通过f5连接到智能服务，f5负责负载均衡，并保持浏览器和智能服务直接的长连接。
69.浏览器和智能服务之间通过stomp协议进行websocket连接，由于浏览器中存在多个tab页，每个tab页都会有长连接到智能服务，需要根据全连接的会话id来区分浏览器多个tab页与服务端的连接是否属于同一个用户，同一个用户统一订阅属于自己的消息。当用户在浏览器中进行tab页切换或者关闭、打开tab页时，智能服务始终监听浏览器行为，维护一个“活跃tab页”对应的连接，当app端产生一个语音指令到智能服务，智能服务只会给当前活跃的tab页推送消息，不会影响其他tab页。
70.智能服务是集群部署的，每个用户的连接都会定向到同一个服务节点。通过kafka消息队列，来实现分布式的会话管理，当智能服务收到app的指令，而对应的用户连接却不在当前服务节点，通过kafka来进行请求的分发，最终找到对应的服务节点。
71.本实施例的具体实现方案可以参见上述实施例中的相关说明，此处不再赘述。
72.可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
73.需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
74.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
75.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
76.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，相应的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
77.此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
78.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
79.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。采用了本发明的基于语音识别实现移动设备与web客户端智能联动处理的系统、方法、装置、处理器及其计算机可读存储介质，通过语音指令实现移动应用与web网页的联动，通过半人工干预的机器学习算法不断扩充可识别指令库，提高正常用户的使用效率，为不方便操作电脑的人群提供操作方法。
80.在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。