首页 > 乐器声学 专利正文
语音机器人的测试方法、装置、设备及存储介质与流程

时间:2022-02-06 阅读: 作者:专利查询

语音机器人的测试方法、装置、设备及存储介质与流程

1.本发明涉及长短期记忆网络模型领域,尤其涉及一种语音机器人的测试方法、装置、设备及存储介质。


背景技术:

2.在语音机器人流程搭建完成后,需进行交付测试,测试结果评估合格后,方可投产面客外呼,因此,机器人流程管理中的文本机器人测试是其中非常重要的一环。
3.文本测试环节需要手动输入对话内容与机器人进行交互,以观察流程流转情况,由于文本机器人等待时间较短,往往来不及手动输入流程就已结束,后续需对在测流程进行反复测试,且为了保证机器人质量,需要覆盖每个分支流程进行测试,而现有的文本机器人测试若需要覆盖流程全部分支可能长达3-5天,识别结果也需要在机器人流程管理系统的界面进行后台查询、逐条校对,导致语音机器人的测试效率低下。


技术实现要素:

4.本发明提供了一种语音机器人的测试方法、装置、设备及存储介质,用于基于目标语音数据和多个节点信息创建目标测试案例集,将目标测试案例集发送至待测试语音机器人,接收待测试语音机器人返回的多个语音交互结果,将多个语音交互结果与预置的标准意图信息表进行对比,得到语音测试结果,提高了语音机器人的测试效率。
5.本发明第一方面提供了一种语音机器人的测试方法,包括:获取初始语音数据,对所述初始语音数据进行预处理,得到预处理语音数据,对所述预处理语音数据进行校验,得到目标语音数据,所述目标语音数据包括多个节点信息;基于所述目标语音数据和所述目标语音数据中的多个节点信息创建目标测试案例集,所述目标测试案例集对应一个语音机器人;将所述目标测试案例集发送至待测试语音机器人,接收所述待测试语音机器人返回的多个语音交互结果,将所述多个语音交互结果与预置的标准意图信息表进行对比,得到语音测试结果;按照预置的分类规则,对所述语音测试结果进行分类,得到分类结果,基于所述分类结果创建语音测试报告,得到目标语音测试报告。
6.可选的,在本发明第一方面的第一种实现方式中,所述获取初始语音数据,对所述初始语音数据进行预处理,得到预处理语音数据,对所述预处理语音数据进行校验,得到目标语音数据,所述目标语音数据包括多个节点信息包括:获取初始语音数据,调用预置的语音端点检测算法,对所述初始语音数据进行切分,得到语音切分片段,对所述语音切分片段进行过滤处理和无效片段删除,得到预处理语音数据,所述无效片段为包含噪音信号的语音片段和静音片段;读取所述预处理语音数据中的全局变量参数,判断所述全局变量参数是否满足预设校验条件,得到校验结果,从所述校验结果中提取符合预设校验条件的全局变量参数,得到目标参数,将所述目标参数对应的预处理语音数据确定为目标语音数据,所述目标语音数据包括多个节点信息。
7.可选的,在本发明第一方面的第二种实现方式中,所述基于所述目标语音数据和
所述目标语音数据中的多个节点信息创建目标测试案例集,所述目标测试案例集对应一个语音机器人:获取所述目标语音数据对应的业务线标识号,基于预设的分类规则和所述业务线标识号,对所述目标语音数据进行分类,得到多个测试案例数据集,一个测试案例数据集对应一个测试案例;基于预设的案例命名规则和所述目标语音数据中的多个节点信息,生成多个案例名称,一个案例名称对应一个测试案例;调用预置的雪花算法创建预设数量的业务流水号,得到多个业务流水号,一个业务流水号对应一个测试案例;将所述多个测试案例数据集、所述多个案例名称和所述多个业务流水号加载至预置的案例集模板,得到多个测试案例,将所述多个测试案例确定为目标测试案例集,所述目标测试案例集对应一个语音机器人,每一个测试案例对应语音机器人的一个流程节点。
8.可选的,在本发明第一方面的第三种实现方式中,所述将所述目标测试案例集发送至待测试语音机器人,接收所述待测试语音机器人返回的多个语音交互结果,将所述多个语音交互结果与预置的标准意图信息表进行对比,得到语音测试结果包括:将所述目标测试案例集发送至待测试语音机器人,接收所述待测试语音机器人基于所述目标测试案例集进行语音交互后返回的多个语音交互结果;从预置的标准意图信息表中获取与所述目标测试案例集对应的标准意图信息,将所述多个语音交互结果与所述标准意图信息进行相似度计算和排序,得到语音测试结果。
9.可选的,在本发明第一方面的第四种实现方式中,所述从预置的标准意图信息表中获取与所述目标测试案例集对应的标准意图信息,将所述多个语音交互结果与所述标准意图信息进行相似度计算和排序,得到语音测试结果包括:从预置的标准意图信息表中获取所述目标测试案例集对应的标准意图信息,调用预置的相似度模型,对所述多个语音交互结果和所述标准意图信息进行相似度计算,得到多个相似度得分;调用预置的冒泡排序算法,将所述多个相似度得分按照从大到小的顺序进行排序,得到相似度排序结果,将所述相似度排序结果和对应的多个语音交互结果确定为语音测试结果。
10.可选的,在本发明第一方面的第五种实现方式中,所述按照预置的分类规则,对所述语音测试结果进行分类,得到分类结果,基于所述分类结果创建语音测试报告,得到目标语音测试报告包括:获取相似度得分阈值,基于所述相似度得分阈值和预置的分类规则,对所述语音测试结果进行分类,得到分类结果,所述分类结果包括测试成功案例和测试失败案例;将所述分类结果加载至预置的语音测试报告模板,得到目标语音测试报告,所述目标语音测试报告包括案例成功率、案例失败率和案例测试时间。
11.可选的,在本发明第一方面的第六种实现方式中,在所述获取初始语音数据,对所述初始语音数据进行预处理,得到预处理语音数据,对所述预处理语音数据进行校验,得到目标语音数据之前,所述语音机器人的测试方法还包括:获取历史测试数据,对所述历史测试数据进行预处理,得到预处理后的历史数据,所述历史测试数据包括历史语音数据和所述历史语音数据对应的历史案例测试结果;将所述预处理后的历史数据加载至预置的意图信息模板,得到标准意图信息表。
12.本发明第二方面提供了一种语音机器人的测试装置,包括:获取模块,用于获取初始语音数据,对所述初始语音数据进行预处理,得到预处理语音数据,对所述预处理语音数据进行校验,得到目标语音数据,所述目标语音数据包括多个节点信息;创建模块,用于基于所述目标语音数据和所述目标语音数据中的多个节点信息创建目标测试案例集,所述目
标测试案例集包括一个语音机器人对应的多个测试案例;对比模块,用于将所述目标测试案例集发送至待测试语音机器人,接收所述待测试语音机器人返回的多个语音交互结果,将所述多个语音交互结果与预置的标准意图信息表进行对比,得到语音测试结果;分类模块,用于按照预置的分类规则,对所述语音测试结果进行分类,得到分类结果,基于所述分类结果创建语音测试报告,得到目标语音测试报告。
13.可选的,在本发明第二方面的第一种实现方式中,所述获取模块包括:切分单元,用于获取初始语音数据,调用预置的语音端点检测算法,对所述初始语音数据进行切分,得到语音切分片段,对所述语音切分片段进行过滤处理和无效片段删除,得到预处理语音数据,所述无效片段为包含噪音信号的语音片段和静音片段;判断单元,用于读取所述预处理语音数据中的全局变量参数,判断所述全局变量参数是否满足预设校验条件,得到校验结果,从所述校验结果中提取符合预设校验条件的全局变量参数,得到目标参数,将所述目标参数对应的预处理语音数据确定为目标语音数据,所述目标语音数据包括多个节点信息。
14.可选的,在本发明第二方面的第二种实现方式中,所述创建模块包括:获取单元,用于获取所述目标语音数据对应的业务线标识号,基于预设的分类规则和所述业务线标识号,对所述目标语音数据进行分类,得到多个测试案例数据集,一个测试案例数据集对应一个测试案例;确定单元,用于基于预设的案例命名规则和所述目标语音数据中的多个节点信息,生成多个案例名称,一个案例名称对应一个测试案例;匹配单元,用于调用预置的雪花算法创建预设数量的业务流水号,得到多个业务流水号,一个业务流水号对应一个测试案例;第一生成单元,用于将所述多个测试案例数据集、所述多个案例名称和所述多个业务流水号加载至预置的案例集模板,得到多个测试案例,将所述多个测试案例确定为目标测试案例集,所述目标测试案例集对应一个语音机器人,每一个测试案例对应语音机器人的一个流程节点。
15.可选的,在本发明第二方面的第三种实现方式中,所述对比模块包括:发送单元,用于将所述目标测试案例集发送至待测试语音机器人,接收所述待测试语音机器人基于所述目标测试案例集进行语音交互后返回的多个语音交互结果;相似度计算单元,用于从预置的标准意图信息表中获取与所述目标测试案例集对应的标准意图信息,将所述多个语音交互结果与所述标准意图信息进行相似度计算和排序,得到语音测试结果。
16.可选的,在本发明第二方面的第四种实现方式中,所述相似度计算单元可以具体用于:从预置的标准意图信息表中获取所述目标测试案例集对应的标准意图信息,调用预置的相似度模型,对所述多个语音交互结果和所述标准意图信息进行相似度计算,得到多个相似度得分;调用预置的冒泡排序算法,将所述多个相似度得分按照从大到小的顺序进行排序,得到相似度排序结果,将所述相似度排序结果和对应的多个语音交互结果确定为语音测试结果。
17.可选的,在本发明第二方面的第五种实现方式中,所述分类模块包括:分类单元,用于获取相似度得分阈值,基于所述相似度得分阈值和预置的分类规则,对所述语音测试结果进行分类,得到分类结果,所述分类结果包括测试成功案例和测试失败案例;第二生成单元,用于将所述分类结果加载至预置的语音测试报告模板,得到目标语音测试报告,所述目标语音测试报告包括案例成功率、案例失败率和案例测试时间。
18.可选的,在本发明第二方面的第六种实现方式中,在所述获取模块之前,所述语音
机器人的测试装置还包括构建模块,所述构建模块包括:预处理单元,用于获取历史测试数据,对所述历史测试数据进行预处理,得到预处理后的历史数据,所述历史测试数据包括历史语音数据和所述历史语音数据对应的历史案例测试结果;加载单元,用于将所述预处理后的历史数据加载至预置的意图信息模板,得到标准意图信息表。
19.本发明第三方面提供了一种语音机器人的测试设备,包括:存储器和至少一个处理器,所述存储器中存储有计算机程序;所述至少一个处理器调用所述存储器中的所述计算机程序,以使得所述语音机器人的测试设备执行上述的语音机器人的测试方法。
20.本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行上述的语音机器人的测试方法。
21.本发明提供的技术方案中,获取初始语音数据,对所述初始语音数据进行预处理,得到预处理语音数据,对所述预处理语音数据进行校验,得到目标语音数据,所述目标语音数据包括多个节点信息;基于所述目标语音数据和所述目标语音数据中的多个节点信息创建目标测试案例集,所述目标测试案例集对应一个语音机器人;将所述目标测试案例集发送至待测试语音机器人,接收所述待测试语音机器人返回的多个语音交互结果,将所述多个语音交互结果与预置的标准意图信息表进行对比,得到语音测试结果;按照预置的分类规则,对所述语音测试结果进行分类,得到分类结果,基于所述分类结果创建语音测试报告,得到目标语音测试报告。本发明实施例中,基于目标语音数据和多个节点信息创建目标测试案例集,将目标测试案例集发送至待测试语音机器人,接收待测试语音机器人返回的多个语音交互结果,将多个语音交互结果与预置的标准意图信息表进行对比,得到语音测试结果,提高了语音机器人的测试效率。
附图说明
22.图1为本发明实施例中语音机器人的测试方法的一个实施例示意图;
23.图2为本发明实施例中语音机器人的测试方法的另一个实施例示意图;
24.图3为本发明实施例中语音机器人的测试装置的一个实施例示意图;
25.图4为本发明实施例中语音机器人的测试装置的另一个实施例示意图;
26.图5为本发明实施例中语音机器人的测试设备的一个实施例示意图。
具体实施方式
27.本发明实施例提供了一种语音机器人的测试方法、装置、设备及存储介质,用于基于目标语音数据和多个节点信息创建目标测试案例集,将目标测试案例集发送至待测试语音机器人,接收待测试语音机器人返回的多个语音交互结果,将多个语音交互结果与预置的标准意图信息表进行对比,得到语音测试结果,提高了语音机器人的测试效率。
28.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚
地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
29.为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中语音机器人的测试方法的一个实施例包括:
30.101、获取初始语音数据,对初始语音数据进行预处理,得到预处理语音数据,对预处理语音数据进行校验,得到目标语音数据,目标语音数据包括多个节点信息。
31.可以理解的是,本发明的执行主体可以为语音机器人的测试装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network,cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
32.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
33.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
34.服务器获取初始语音数据,对初始语音数据进行预处理,得到预处理语音数据,对预处理语音数据进行校验,得到目标语音数据,目标语音数据包括多个节点信息。服务器对初始语音数据进行预处理的过程主要为调用语音端点检测算法(voice activity detection,vad)对初始语音数据进行切分,得到语音切分片段,对语音切分片段进行过滤并删除无效片段,语音端点检测算法(voice activity detection,vad)就是将有效的语音信号和无用的语音信号或者噪音信号进行分离,需要从输入信号中找到语音部分的起止点和终止点,从中抽取语音情感识别所需的信号特征。生成预处理语音数据后,服务器读取预处理语音数据中的全局变量参数,判断全局变量参数是否符合预设校验条件,将校验结果中符合预设校验条件的预处理语音数据确定为目标语音数据,预设校验条件为全局变量参数符合对应的预设固定值。
35.102、基于目标语音数据和目标语音数据中的多个节点信息创建目标测试案例集,目标测试案例集对应一个语音机器人。
36.服务器基于目标语音数据和目标语音数据中的多个节点信息创建目标测试案例集,目标测试案例集对应一个语音机器人。生成目标语音数据后,服务器根据预设的分类规则对目标语音数据进行分类,目标语音数据包含对应的场景所属业务线标识号,预设的分类规则为将业务线标识号一致的目标语音数据归为一类,得到多个测试案例数据集,一个测试案例数据集对应一个测试案例,同时也会对多个测试案例进行命名,并创建每一个测试案例对应的业务流水号,将多个测试案例数据集、多个案例名称和多个业务流水号加载至预置的案例集模板,预置的案例集模板中包含多个分档,如案例名称档、业务流水号分档、案例具体内容分档、备注信息等,服务器将多个测试案例数据集、多个案例名称和多个
业务流水号加载至案例集模板后,会自动将不同信息加载至不同的分档最终得到目标测试案例集,一个案例集模板中可以填写多个测试案例。
37.103、将目标测试案例集发送至待测试语音机器人,接收待测试语音机器人返回的多个语音交互结果,将多个语音交互结果与预置的标准意图信息表进行对比,得到语音测试结果。
38.服务器将目标测试案例集发送至待测试语音机器人,接收待测试语音机器人返回的多个语音交互结果,将多个语音交互结果与预置的标准意图信息表进行对比,得到语音测试结果。服务器将目标测试案例集发送至待测试语音机器人,以使得待测试语音机器人进行语音交互,每一次随机抽取一个测试案例进行语音交互测试,直至目标测试案例中的所有测试案例都测试完毕,接收待测试语音机器人返回的多个语音交互结果,从预置的意图表中获取目标测试案例对应的标准意图信息,经过相似度匹配后得到语音测试结果,待测试语音机器人的数量是一个,一个待测试语音机器人对应一个目标测试案例集。
39.104、按照预置的分类规则,对语音测试结果进行分类,得到分类结果,基于分类结果创建语音测试报告,得到目标语音测试报告。
40.服务器按照预置的分类规则,对语音测试结果进行分类,得到分类结果,基于分类结果创建语音测试报告,得到目标语音测试报告。服务器获取相似度得分阈值,将语音测试结果中大于或等于相似度得分阈值的相似度得分对应的测试案例分类为成功案例,将语音测试结果中小于相似度得分阈值的相似度得分对应的测试案例分类为失败案例,得到分类结果,通过将分类结果加载至预置的语音测试报告模板,可以自动计算出案例成功率和案例失败率,得到目标语音测试报告。
41.本发明实施例中,基于目标语音数据和多个节点信息创建目标测试案例集,将目标测试案例集发送至待测试语音机器人,接收待测试语音机器人返回的多个语音交互结果,将多个语音交互结果与预置的标准意图信息表进行对比,得到语音测试结果,提高了语音机器人的测试效率。
42.请参阅图2,本发明实施例中语音机器人的测试方法的另一个实施例包括:
43.201、获取初始语音数据,对初始语音数据进行预处理,得到预处理语音数据,对预处理语音数据进行校验,得到目标语音数据,目标语音数据包括多个节点信息。
44.服务器获取初始语音数据,对初始语音数据进行预处理,得到预处理语音数据,对预处理语音数据进行校验,得到目标语音数据,目标语音数据包括多个节点信息。具体的,服务器获取初始语音数据,调用预置的语音端点检测算法,对初始语音数据进行切分,得到语音切分片段,对语音切分片段进行过滤处理和无效片段删除,得到预处理语音数据,无效片段为包含噪音信号的语音片段和静音片段;服务器读取预处理语音数据中的全局变量参数,判断全局变量参数是否满足预设校验条件,得到校验结果,从校验结果中提取符合预设校验条件的全局变量参数,得到目标参数,将目标参数对应的预处理语音数据确定为目标语音数据,目标语音数据包括多个节点信息。
45.本实施例中通过调用vad算法对初始语音数据进行切分,分离并过滤掉无效片段,得到预处理语音数据,服务器读取预处理语音数据中的全局变量参数,判断全局变量参数是否符合预设校验条件,得到校验结果,其中,全局变量参数包括客户编号、账号、完整卡号和客户联系电话等,预设校验条件为全局变量参数符合对应的预设固定值,如不符,则会返
回报错消息,服务器提取校验结果中符合预设固定值的全局变量参数,得到目标参数,将目标参数对应的预处理语音数据确定为目标语音数据,目标语音数据包括多个节点信息,多个节点信息包括每个节点的话术编号、小意图、接口变量参数、全局变量参数、跳转话术编号、重复节点次数、上送提取信息和接口标识号等,例如,某个流转环节包括r01核身(请问是xx先生/女士吗?),客户在该节点回答“我是”(对应意图是“是本人”),则进入下一个节点r02进行产品情况介绍,其中,r01是上一节点的话术编号,小意图是“是本人”,跳转话术编号是r02,全局变量参数是r01话术中客户身份信息,接口变量参数是指当话术中含客户的账单金额,需实时调取账单接口参数。
46.202、基于目标语音数据和目标语音数据中的多个节点信息创建目标测试案例集,目标测试案例集对应一个语音机器人。
47.服务器基于目标语音数据和目标语音数据中的多个节点信息创建目标测试案例集,目标测试案例集对应一个语音机器人。具体的,服务器获取目标语音数据对应的业务线标识号,基于预设的分类规则和业务线标识号,对目标语音数据进行分类,得到多个测试案例数据集,一个测试案例数据集对应一个测试案例;服务器基于预设的案例命名规则和目标语音数据中的多个节点信息,生成多个案例名称,一个案例名称对应一个测试案例;服务器调用预置的雪花算法创建预设数量的业务流水号,得到多个业务流水号,一个业务流水号对应一个测试案例;服务器将多个测试案例数据集、多个案例名称和多个业务流水号加载至预置的案例集模板,得到多个测试案例,将多个测试案例确定为目标测试案例集,目标测试案例集对应一个语音机器人,每一个测试案例对应语音机器人的一个流程节点。
48.生成目标语音数据后,服务器根据预设的分类规则对目标语音数据进行分类,目标语音数据包含对应的场景所属业务线标识号,预设的分类规则为将业务线标识号一致的目标语音数据归为一类,对目标语音数据分类后写入预置的测试案例模板中,得到多个测试案例数据集,其中,一个测试案例数据集对应一个测试案例,服务器基于预设的案例命名规则,确定多个测试案例对应的案例名称,一个案例名称对应一个测试案例,预设的案例命名规则为话术编号+跳转话术编号,每个案例需关联上小意图、接口变量参数和全局变量参数,如遇到重听节点(即当客户所说的话被识别为“没听清”意图时,就会回到上一节点播报预设的辅助话术),需根据重复次数生成当前节点,重复节点作为结束节点,将重听节点也加入至目标测试案例集,例如:模版:i01-重听-3,生成:i01-重听-i01-重听-i01-重听-结束。雪花算法是开源的分布式编码生成算法,本实施例中采用雪花算法得到64位long类型的业务流水号,其中,long类型为一种基础数据类型,雪花算法由1位标识位、41位时间戳位、10位存储机器码以及12位随机数构成,服务器将10位存储机器码拆分成2位数据中心位以及8位机器id位,需要预先获取在预设的配置文件中的2位数据中心id对2位数据中心位进行填充,雪花算法的41位时间戳的生成规则为当前时间戳减去设定的开始时间戳,创建的业务流水号的数量与测试案例的数量一致,一个业务流水号对应一个测试案例。预置的案例集模板中包含多个分档,如案例名称档、业务流水号分档、案例具体内容分档、备注信息等,服务器将多个测试案例数据集、多个案例名称和多个业务流水号加载至案例集模板后,会自动将不同信息加载至不同的分档最终得到目标测试案例集,一个案例集模板中可以填写多个测试案例。
49.203、将目标测试案例集发送至待测试语音机器人,接收待测试语音机器人基于目
标测试案例集进行语音交互后返回的多个语音交互结果。
50.服务器将目标测试案例集发送至待测试语音机器人,接收待测试语音机器人基于目标测试案例集进行语音交互后返回的多个语音交互结果。服务器将目标测试案例集发送至待测试语音机器人,以使得待测试语音机器人进行语音交互,每一次随机抽取一个测试案例进行语音交互测试,直至目标测试案例中的所有测试案例都测试完毕,语音交互测试前,还包括对业务流水号的识别和判断,若唯一业务流水号为空,则返回报错信息(测试结果记为失败),若存在测试案例对应的业务流水号,则正常调用测试接口进行语音交互测试。
51.204、从预置的标准意图信息表中获取与目标测试案例集对应的标准意图信息,将多个语音交互结果与标准意图信息进行相似度计算和排序,得到语音测试结果。
52.服务器从预置的标准意图信息表中获取与目标测试案例集对应的标准意图信息,将多个语音交互结果与标准意图信息进行相似度计算和排序,得到语音测试结果。具体的,服务器从预置的标准意图信息表中获取目标测试案例集对应的标准意图信息,调用预置的相似度模型,对多个语音交互结果和标准意图信息进行相似度计算,得到多个相似度得分;服务器调用预置的冒泡排序算法,将多个相似度得分按照从大到小的顺序进行排序,得到相似度排序结果,将相似度排序结果和对应的多个语音交互结果确定为语音测试结果。语音交互测试完成后,服务器接收待测试语音机器人返回的多个语音交互结果,从预置的标准意图信息表中获取目标测试案例对应的标准意图信息,用预置的相似度模型,计算每个语音交互结果和标准意图信息之间的相似度,得到每个语音交互结果对应的相似度得分,从而得到多个语音交互结果分别对应的相似度得分,即多个相似度得分,其中,标准意图信息表可以通过获取历史语音数据和历史语音数据对应的历史案例测试结果,并加载至预置的意图信息模板进行提前构建,相似度模型可以为长短期记忆网络(long short term memory,lstm)模型、双向长短期记忆网络(bi-directional long short termmemory,bi-lstm)模型或者增强序列推断(enhanced sequential inference model,esim)模型,服务器调用冒泡排序算法,将多个相似度得分按照从大到小的顺序进行排序,得到相似度排序结果,将相似度排序结果和对应的多个语音交互结果确定为语音测试结果。
53.205、按照预置的分类规则,对语音测试结果进行分类,得到分类结果,基于分类结果创建语音测试报告,得到目标语音测试报告。
54.服务器按照预置的分类规则,对语音测试结果进行分类,得到分类结果,基于分类结果创建语音测试报告,得到目标语音测试报告。具体的,服务器获取相似度得分阈值,基于相似度得分阈值和预置的分类规则,对语音测试结果进行分类,得到分类结果,分类结果包括测试成功案例和测试失败案例;服务器将分类结果加载至预置的语音测试报告模板,得到目标语音测试报告,目标语音测试报告包括案例成功率、案例失败率和案例测试时间。
55.服务器获取相似度得分阈值,将语音测试结果中大于或等于相似度得分阈值的相似度得分对应的测试案例分类为成功案例,将语音测试结果中小于相似度得分阈值的相似度得分对应的测试案例分类为失败案例,得到分类结果,通过将分类结果加载至预置的语音测试报告模板,可以自动计算出案例成功率和案例失败率,得到目标语音测试报告,例如:语音测试结果中相似度得分对应的测试案例个数为100个,其中,大于相似度得分阈值的测试案例有60个,则案例成功率为60/100=60%,目标语音测试报告中包含多个测试信
息,多个测试信息可以为案例成功率、成功案例个数、案例失败率、失败案例个数、案例测试开始时间、案例测试结束时间等。
56.本发明实施例中,基于目标语音数据和多个节点信息创建目标测试案例集,将目标测试案例集发送至待测试语音机器人,接收待测试语音机器人返回的多个语音交互结果,将多个语音交互结果与预置的标准意图信息表进行对比,得到语音测试结果,提高了语音机器人的测试效率。
57.上面对本发明实施例中语音机器人的测试方法进行了描述,下面对本发明实施例中语音机器人的测试装置进行描述,请参阅图3,本发明实施例中语音机器人的测试装置的一个实施例包括:
58.获取模块301,用于获取初始语音数据,对初始语音数据进行预处理,得到预处理语音数据,对预处理语音数据进行校验,得到目标语音数据,目标语音数据包括多个节点信息;
59.创建模块302,用于基于目标语音数据和目标语音数据中的多个节点信息创建目标测试案例集,目标测试案例集对应一个语音机器人;
60.对比模块303,用于将目标测试案例集发送至待测试语音机器人,接收待测试语音机器人返回的多个语音交互结果,将多个语音交互结果与预置的标准意图信息表进行对比,得到语音测试结果;
61.分类模块304,用于按照预置的分类规则,对语音测试结果进行分类,得到分类结果,基于分类结果创建语音测试报告,得到目标语音测试报告。
62.本发明实施例中,基于目标语音数据和多个节点信息创建目标测试案例集,将目标测试案例集发送至待测试语音机器人,接收待测试语音机器人返回的多个语音交互结果,将多个语音交互结果与预置的标准意图信息表进行对比,得到语音测试结果,提高了语音机器人的测试效率。
63.请参阅图4,本发明实施例中语音机器人的测试装置的另一个实施例包括:
64.获取模块301,用于获取初始语音数据,对初始语音数据进行预处理,得到预处理语音数据,对预处理语音数据进行校验,得到目标语音数据,目标语音数据包括多个节点信息;
65.创建模块302,用于基于目标语音数据和目标语音数据中的多个节点信息创建目标测试案例集,目标测试案例集对应一个语音机器人;
66.对比模块303,用于将目标测试案例集发送至待测试语音机器人,接收待测试语音机器人返回的多个语音交互结果,将多个语音交互结果与预置的标准意图信息表进行对比,得到语音测试结果;
67.其中,对比模块303具体包括:
68.发送单元3031,用于将目标测试案例集发送至待测试语音机器人,接收待测试语音机器人基于目标测试案例集进行语音交互后返回的多个语音交互结果;
69.相似度计算单元3032,用于从预置的标准意图信息表中获取与目标测试案例集对应的标准意图信息,将多个语音交互结果与标准意图信息进行相似度计算和排序,得到语音测试结果;
70.分类模块304,用于按照预置的分类规则,对语音测试结果进行分类,得到分类结
果,基于分类结果创建语音测试报告,得到目标语音测试报告。
71.可选的,获取模块301包括:
72.切分单元3011,用于获取初始语音数据,调用预置的语音端点检测算法,对初始语音数据进行切分,得到语音切分片段,对语音切分片段进行过滤处理和无效片段删除,得到预处理语音数据,无效片段为包含噪音信号的语音片段和静音片段;
73.判断单元3012,用于读取预处理语音数据中的全局变量参数,判断全局变量参数是否满足预设校验条件,得到校验结果,将校验结果中符合预设校验条件的全局变量参数确定为目标参数,将目标参数对应的预处理语音数据确定为目标语音数据,目标语音数据包括多个节点信息。
74.可选的,创建模块302包括:
75.获取单元3021,用于获取目标语音数据对应的业务线标识号,基于预设的分类规则和业务线标识号,对目标语音数据进行分类,得到多个测试案例数据集,一个测试案例数据集对应一个测试案例;
76.确定单元3022,用于基于预设的案例命名规则和目标语音数据中的多个节点信息,生成多个案例名称,一个案例名称对应一个测试案例;
77.匹配单元3023,用于调用预置的雪花算法创建预设数量的业务流水号,得到多个业务流水号,一个业务流水号对应一个测试案例;
78.第一生成单元3024,用于将多个测试案例数据集、多个案例名称和多个业务流水号加载至预置的案例集模板,得到多个测试案例,将多个测试案例确定为目标测试案例集,目标测试案例集对应一个语音机器人,每一个测试案例对应语音机器人的一个流程节点。
79.可选的,相似度计算单元3032可以具体用于:
80.从预置的标准意图信息表中获取目标测试案例集对应的标准意图信息,调用预置的相似度模型,对多个语音交互结果和标准意图信息进行相似度计算,得到多个相似度得分;调用预置的冒泡排序算法,将多个相似度得分按照从大到小的顺序进行排序,得到相似度排序结果,将相似度排序结果和对应的多个语音交互结果确定为语音测试结果。
81.可选的,分类模块304包括:
82.分类单元3041,用于获取相似度得分阈值,基于相似度得分阈值和预置的分类规则,对语音测试结果进行分类,得到分类结果,分类结果包括测试成功案例和测试失败案例;
83.第二生成单元3042,用于将分类结果加载至预置的语音测试报告模板,得到目标语音测试报告,目标语音测试报告包括案例成功率、案例失败率和案例测试时间。
84.可选的,在获取模块301之前,语音机器人的测试装置还包括构建模块305,包括:
85.预处理单元3051,用于获取历史测试数据,对历史测试数据进行预处理,得到预处理后的历史数据,历史测试数据包括历史语音数据和历史语音数据对应的历史案例测试结果;
86.加载单元3052,用于将预处理后的历史数据加载至预置的意图信息模板,得到标准意图信息表。
87.本发明实施例中,基于目标语音数据和多个节点信息创建目标测试案例集,将目标测试案例集发送至待测试语音机器人,接收待测试语音机器人返回的多个语音交互结
果,将多个语音交互结果与预置的标准意图信息表进行对比,得到语音测试结果,提高了语音机器人的测试效率。
88.上面图3和图4从模块化功能实体的角度对本发明实施例中的语音机器人的测试装置进行详细描述,下面从硬件处理的角度对本发明实施例中语音机器人的测试设备进行详细描述。
89.图5是本发明实施例提供的一种语音机器人的测试设备的结构示意图,该语音机器人的测试设备500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,cpu)510(例如,一个或一个以上处理器)和存储器520,一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中,存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对语音机器人的测试设备500中的一系列计算机程序操作。更进一步地,处理器510可以设置为与存储介质530通信,在语音机器人的测试设备500上执行存储介质530中的一系列计算机程序操作。
90.语音机器人的测试设备500还可以包括一个或一个以上电源540,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口560,和/或,一个或一个以上操作系统531,例如windows serve,mac os x,unix,linux,freebsd等等。本领域技术人员可以理解,图5示出的语音机器人的测试设备结构并不构成对语音机器人的测试设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
91.本技术还提供一种语音机器人的测试设备,包括:存储器和至少一个处理器,所述存储器中存储有计算机程序,所述存储器和所述至少一个处理器通过线路互连;所述至少一个处理器调用所述存储器中的所述计算机程序,以使得所述语音机器人的测试设备执行上述语音机器人的测试方法中的步骤。
92.本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,使得计算机执行所述语音机器人的测试方法的步骤。
93.进一步地,计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
94.本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
95.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
96.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上
或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干计算机程序用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
97.以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。