1.本公开涉及计算机技术领域，并且更具体地涉及人工智能领域，尤其涉及深度学习、语音技术等领域。


背景技术：

2.近年来，随着人工智能技术的飞速发展，语音合成的应用也越来越广泛。目前的语音合成主要基于声学模型和声码器，其中，声学模型用于将文本或音素序列转换成梅尔频谱，声码器用于将梅尔频谱转换成语音。此种情况下，合成语音的风格和输入的待合成语音的风格相关。例如输入为普通话的待合成语音，获取到的合成则为普通话；输入为高兴的待合成语音，获取到的合成语音则为高兴的。
3.然而，相关技术中，在录制待合成语音时，由于受成本以及发音者的模仿能力等原因所限，无法使每个发音者均录制所有种类(风格)的音库。这样一来，极可能限制了该音色音库的合成表现力。
4.因此，如何提高语音合成过程中的效率及可靠性，已成为了重要的研究方向之一。


技术实现要素：

5.本公开提供了一种语音合成方法及语音合成模型的训练方法。
6.根据本公开的一方面，提供了一种语音合成方法，包括：
7.获取待合成文本和至少两个待合成语音；
8.获取所述至少两个待合成语音中的第一待合成语音的音色隐向量，以及第二待合成语音的风格隐向量；
9.获取所述待合成文本的文本隐向量；
10.将所述音色隐向量、所述风格隐向量和所述文本隐向量进行拼接，并基于拼接后的隐向量，生成所述待合成文本的目标合成语音。根据本公开的另一方面，提供了一种语音合成模型的训练方法，包括：
11.获取已标注语音合成样本结果的样本文本以及针对同一样本发音者的至少两个待合成样本语音，其中，所述至少两个待合成样本语音具有至少两种不同风格；
12.将所述样本文本和所述至少两个待合成样本语音输入至待训练的语音合成模型中，输出针对所述样本文本的语音合成训练结果；
13.获取所述语音合成样本结果和所述语音合成训练结果之间的差异，并根据所述差异对所述待训练的语音合成模型的模型参数进行调整，并返回所述获取已标注语音合成样本结果的样本文本以及针对同一样本发音者的至少两个待合成样本语音步骤，直至训练结果满足训练结束条件，将最后一次调整所述模型参数后的所述待训练的语音合成模型确定为训练好的语音合成模型。根据本公开的另一方面，提供了一种语音合成装置，包括：
14.第一获取模块，用于获取待合成文本和至少两个待合成语音；
15.第二获取模块，用于获取所述至少两个待合成语音中的第一待合成语音的音色隐
向量，以及第二待合成语音的风格隐向量；
16.第三获取模块，用于获取所述待合成文本的文本隐向量；
17.生成模块，用于将所述音色隐向量、所述风格隐向量和所述文本隐向量进行拼接，并基于拼接后的隐向量，生成所述待合成文本的目标合成语音。根据本公开的另一方面，提供了一种语音合成模型的训练装置，包括：
18.获取模块，用于获取已标注语音合成样本结果的样本文本以及针对同一样本发音者的至少两个待合成样本语音，其中，所述至少两个待合成样本语音具有至少两种不同风格；
19.输出模块，用于将所述样本文本和所述至少两个待合成样本语音输入至待训练的语音合成模型中，输出针对所述样本文本的语音合成训练结果；
20.确定模块，用于获取所述语音合成样本结果和所述语音合成训练结果之间的差异，并根据所述差异对所述待训练的语音合成模型的模型参数进行调整，并返回所述获取已标注语音合成样本结果的样本文本以及针对同一样本发音者的至少两个待合成样本语音步骤，直至训练结果满足训练结束条件，将最后一次调整所述模型参数后的所述待训练的语音合成模型确定为训练好的语音合成模型。
21.根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面所述的语音合成方法或者第二方面所述的语音合成模型的训练方法。
22.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开第一方面所述的语音合成方法或者第二方面所述的语音合成模型的训练方法。
23.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现权利要求1所述方法的步骤或者权利要求7所述方法的步骤。
24.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
25.附图用于更好地理解本方案，不构成对本公开的限定。其中：
26.图1是根据本公开第一实施例的示意图；
27.图2是根据本公开第二实施例的示意图；
28.图3是根据本公开第三实施例的示意图；
29.图4是根据本公开第四实施例的示意图；
30.图5是根据本公开第五实施例的示意图；
31.图6是用来实现本公开实施例的语音合成方法的语音合成装置的框图；
32.图7是用来实现本公开实施例的语音合成方法的语音合成模型的训练装置的框图；
33.图8是用来实现本公开实施例的语音合成方法或语音合成模型的训练方法的电子
设备的框图。
具体实施方式
34.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
35.以下对本公开的方案涉及的技术领域进行简要说明：
36.计算机技术(computer technology)，计算机技术的内容非常广泛，可粗分为计算机系统技术、计算机器件技术、计算机部件技术和计算机组装技术等几个方面。计算机技术包括：运算方法的基本原理与运算器设计、指令系统、中央处理器(cpu)设计、流水线原理及其在cpu设计中的应用、存储体系、总线与输入输出。
37.ai(artificial intelligence，人工智能)，是研究使计算机来模拟人生的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术，也有软件层面的技术。人工智能硬件技术一般包括计算机视觉技术、语音识别技术、自然语言处理技术以及及其学习/深度学习、大数据处理技术、知识图谱技术等几大方面。
38.dl(deep learning，深度学习)，是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。
39.语音技术，指的是在计算机领域中的关键技术有自动语音识别技术(automatic speech recognition，简称asr)和语音合成技术(text to speech，简称tts)。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其语音成为未来最被看好的人机交互方式之一，语音比其他的交互方式有更多的优势。
40.下面参考附图描述本公开实施例的一种语音合成方法及语音合成模型的训练方法。
41.图1是根据本公开第一实施例的示意图。
42.如图1所示，本实施例提出的一种语音合成方法，包括如下步骤：
43.s101、获取待合成文本和至少两个待合成语音。
44.其中，待合成文本，可以为文字或者音素序列。
45.需要说明的是，语音合成的目标是根据文本生成对应的语音，然而文字在语音合成的过程中所展现的稳定性差于音素序列，因此，在实际应用中，若获取到的待合成文本为文字，可选地，可以直接将文字作为待合成文本；可选地，可以首先将文字转换成对应的音素序列，然后将音素序列作为待合成文本。
46.其中，待合成语音，至少包括音色和风格。
47.其中，风格，包括以下维度中的至少一种：方言、口音、情感、韵律节奏、是否为播音
风格等。
48.举例而言，针对获取到的待合成语音1，其包括音色1和风格1；针对获取到的待合成语音2，其包括音色2和风格2；其中，风格1，包括：方言1和口音1；风格2，包括：方言2、口音2和韵律节奏1。
49.需要说明的是，本公开中，两个待合成语音可以具有相同的音色和/或风格，也可以具有不同的音色和/或风格。
50.举例而言，针对获取到的待合成语音1，其包括音色1和风格1；针对获取到的待合成语音2，其包括音色1和风格2。
51.s102、获取至少两个待合成语音中的第一待合成语音的音色隐向量，以及第二待合成语音的风格隐向量。
52.本公开实施例中，为了通过风格迁移的方式，实现合成针对待合成文本的目标合成语音，可以从所有的待合成语音中选取任意两个待合成语音，以得到第一待合成语音和第二待合成语音，然后将两个待合成语音进行音色和风格的分离，从而得到第一待合成语音的音色隐向量，以及第二待合成语音的风格隐向量。
53.作为一种可能的实现方式，可以对第一待合成语音的音色进行特征提取，根据提取的音色的特征，生成第一待合成语音的音色隐向量；对第二待合成语音的风格进行特征提取，根据提取的风格的特征，生成第二待合成语音的风格隐向量。
54.s103、获取待合成文本的文本隐向量。
55.本公开实施例中，在获取到待合成文本后，可以通过多种方式获取待合成文本中每个字符向量的语义特征，以得到待合成文本的文本隐向量。
56.s104、将音色隐向量、风格隐向量和文本隐向量进行拼接，并基于拼接后的隐向量，生成待合成文本的目标合成语音。
57.本公开实施例中，在获取到音色隐向量、风格隐向量和文本隐向量后，可以通过拼接生成待合成文本的目标合成语音。
58.需要说明的是，本公开中，由于对用户输入的两个待合成语音不作具体限定，因此，存在音色隐向量和风格隐向量的多种不同组合方式。
59.可选地，可以针对同一个待合成文本，结合音色隐向量和风格隐向量的多种不同的组合，从而生成多种不同的目标合成语音。举例而言，针对文本隐向量1，与音色隐向量1～2和风格隐向量1～3进行拼接，能够生成待合成文本的目标合成语音1～6。
60.可选地，可以针对同一个待合成文本，限定发音者的音色，即针对同一个音色隐向量，与多种不同的风格隐向量进行拼接，从而生成多种不同的目标合成语音。举例而言，针对文本隐向量1和音色隐向量1，与风格隐向量1～3进行拼接，能够生成待合成文本的目标合成语音1～3。
61.需要说明的是，本公开中对于将音色隐向量、风格隐向量和文本隐向量进行拼接的具体方式不作限定，可以根据实际情况进行选取。可选地，可以直接将音色隐向量、风格隐向量和文本隐向量进行拼接，从而得到一个维度为音色隐向量、风格隐向量和文本隐向量的维度总和的隐向量；可选地，可以对音色隐向量、风格隐向量和文本隐向量进行维度转换，进而将维度转换后的音色隐向量、风格隐向量和文本隐向量进行拼接。
62.根据本公开实施例的一种语音合成方法，可以通过将至少两个待合成语音进行音
色和风格的分离，从而得到第一待合成语音的音色隐向量，以及第二待合成语音的风格隐向量，并获取待合成文本的文本隐向量，进而针对同一个待合成文本，结合音色隐向量和风格隐向量的多种不同的组合，从而生成多种不同的目标合成语音，实现了风格的迁移，使每一个音色能具备多种风格，提高了语音合成过程中的效率及可靠性。
63.图2是根据本公开第二实施例的示意图。
64.如图2所示，本公开提出的语音合成方法，在上述实施例的基础上，具体包括以下步骤：
65.s201、获取待合成文本和至少两个待合成语音。
66.该步骤s201与上述步骤s101一致，此处不再赘述。
67.上一实施例中的步骤s102中获取至少两个待合成语音中的第一待合成语音的音色隐向量，以及第二待合成语音的风格隐向量的具体过程，包括以下步骤s202～s204。
68.s202、将第一待合成语音和第二待合成语音输入至语音合成模型中。
69.其中，语音合成模型，为一个包括多个网络(音色编码网络、风格编码网络、文本编码网络、解码网络等)的收敛模型。
70.s203、由语音合成模型中的音色编码网络对第一待合成语音进行编码，以输出第一待合成语音的音色对应的音色隐向量。
71.本公开实施例中，可以由语音合成模型中的音色编码网络中的音色编码器(encoder)，对第一待合成语音进行编码，以输出第一待合成语音的音色对应的音色隐向量。
72.s204、由语音合成模型中的风格编码网络对第二待合成语音进行编码，以输出第二待合成语音的风格对应的风格隐向量。
73.本公开实施例中，可以由语音合成模型中的风格编码网络中的风格编码器(encoder)，对第二待合成语音进行编码，以输出第二待合成语音的风格对应的风格隐向量。
74.上一实施例中的步骤s103中获取待合成文本的文本隐向量的具体过程，包括以下步骤s205～s206。
75.s205、将待合成文本输入至语音合成模型中。
76.s206、由语音合成模型中的文本编码网络对待合成文本进行编码，以输出待合成文本的文本隐向量。
77.本公开实施例中，可以由语音合成模型中的文本编码网络中的文本编码器(encoder)，对待合成文本进行编码，以输出待合成文本的文本隐向量。
78.上一实施例中的步骤s104中将音色隐向量、风格隐向量和文本隐向量进行拼接的具体过程，包括以下步骤s206～s207。
79.s207、对音色隐向量、风格隐向量和文本隐向量进行维度转换，以得到具有相同维度的目标文本隐向量、目标音色隐向量和目标风格隐向量。
80.本公开实施例中，可以获取目标维度，并根据目标维度，将音色隐向量、风格隐向量和文本隐向量的维度分别转换至目标维度，以得到具有相同维度的目标文本隐向量、目标音色隐向量和目标风格隐向量。
81.举例而言，音色隐向量、风格隐向量和文本隐向量的维度分别3维、4维和6维，目标
维度为5维，此种情况下，可以将音色隐向量、风格隐向量和文本隐向量的维度分别转换至5维，以得到维度均为5维的目标文本隐向量、目标音色隐向量和目标风格隐向量。
82.s208、对目标文本隐向量、目标音色隐向量和目标风格隐向量进行拼接。
83.本公开实施例中，在得到具有相同维度的目标文本隐向量、目标音色隐向量和目标风格隐向量之后，可以对目标文本隐向量、目标音色隐向量和目标风格隐向量进行拼接。
84.需要说明的是，本公开中，也可以直接将音色隐向量、风格隐向量和文本隐向量进行拼接，从而得到一个维度为音色隐向量、风格隐向量和文本隐向量的维度总和的隐向量。
85.举例而言，音色隐向量、风格隐向量和文本隐向量的维度分别3维、4维和6维，此种情况下，可以直接将音色隐向量、风格隐向量和文本隐向量进行拼接，从而得到一个维度为13维的隐向量。
86.s209、基于拼接后的隐向量，生成待合成文本的目标合成语音。
87.本公开实施例中，可以将拼接后的隐向量输入至语音合成模型中的解码网络中，由解码器(decoder)对拼接后的隐向量进行解码，以输出待合成文本的目标合成语音。
88.此种情况下，目标合成语音的音色与第一待合成语音的音色一致，风格与第二待合成语音的风格一致。
89.根据本公开实施例的一种语音合成方法，可以基于包括多个网络的、收敛的语音合成模型，实现目标合成语音的生成，进一步地提高了语音合成过程中的效率及可靠性。
90.综上所述，如图3所示，根据本公开提出的语音合成方法，能够通过将音色梅尔频谱(第一待合成语音)、风格梅尔频谱(第二待合成语音)以及文本(待合成文本)输入至语音合成模型中，分别由音色编码网络中的音色编码器对音色梅尔频谱进行编码处理、由风格编码网络中的风格编码器对风格梅尔频谱进行编码处理、由文本编码网络中的文本编码器对文本进行编码处理，得到风格隐向量、音色隐向量以及文本隐向量，并将隐向量进行拼接输入到解码网络中，由解码器进行解码处理，以得到目标梅尔频谱。进一步地，将梅尔频谱输入至声码器中进行转化，能够得到目标合成语音。
91.图4是根据本公开第三实施例的示意图。
92.如图4所示，本实施例提出的一种语音合成模型的训练方法，包括如下步骤：
93.s401、获取已标注语音合成样本结果的样本文本以及针对同一样本发音者的至少两个待合成样本语音，其中，至少两个待合成样本语音具至少两种有不同风格。
94.其中，样本文本、第一待合成样本语音以及第二待合成样本语音的数量一致，可以根据实际情况进行获取。例如，可以获取1000组样本文本、第一待合成样本语音以及第二待合成样本语音。
95.需要说明的是，本公开中，针对同一样本发音者的至少两个待合成样本语音具有不同风格。例如，针对同一样本发音者甲，第一待合成样本语音对应风格1、第二待合成样本语音2对应风格2。
96.s402、将样本文本和至少两个待合成样本语音输入至待训练的语音合成模型中，输出针对样本文本的语音合成训练结果。
97.s403、获取语音合成样本结果和语音合成训练结果之间的差异，并根据差异对待训练的语音合成模型的模型参数进行调整，并返回获取已标注语音合成样本结果的样本文本以及针对同一样本发音者的至少两个待合成样本语音步骤，直至训练结果满足训练结束
条件，将最后一次调整模型参数后的待训练的语音合成模型确定为训练好的语音合成模型。
98.其中，训练结束条件可以根据实际情况进行设定，本公开不作限定。
99.可选地，可以设定训练结束条件为语音合成样本结果与语音合成训练结果之间的差异小于预设差异阈值。举例而言，可以设定训练结束条件为语音合成样本结果与语音合成训练结果之间的差异小于95％。
100.根据本公开实施例的一种语音合成模型的训练方法，可以通过获取已标注语音合成样本结果的样本文本以及针对同一样本发音者的至少两个待合成样本语音，并将样本文本和至少两个待合成样本语音输入至待训练的语音合成模型中，输出针对样本文本的语音合成训练结果，进而根据语音合成样本结果和语音合成训练结果之间的差异训练模型，以获取训练好的语音合成模型，确保了语音合成模型的训练效果，为基于语音合成模型准确地生成目标合成语音奠定了基础。
101.图5是根据本公开第四实施例的示意图。
102.如图5所示，本实施例提出的一种语音合成模型的训练方法，包括如下步骤：
103.s501、获取已标注语音合成样本结果的样本文本以及针对同一样本发音者的至少两个待合成样本语音，其中，至少两个待合成样本语音具有至少两种不同风格。
104.该步骤s501与上述步骤s401一致，此处不再赘述。
105.上一实施例中的步骤s402中将样本文本和两个待合成样本语音输入至待训练的语音合成模型中，输出针对样本文本的语音合成训练结果的具体过程，包括以下步骤s502～s504。
106.s502、将至少两个待合成样本语音输入至待训练的语音合成模型中，输出至少两个待合成样本语音中的第一个待合成样本语音的音色对应的样本音色隐向量以及第二待合成样本语音的风格对应的样本风格隐向量。
107.s503、将样本文本输入至待训练的语音合成模型中，输出样本文本的样本文本隐向量。
108.s504、将样本音色隐向量、样本风格隐向量和样本文本隐向量进行拼接，并基于拼接后的隐向量，生成样本文本的语音合成训练结果。
109.s505、获取语音合成样本结果和语音合成训练结果之间的差异，并根据差异对待训练的语音合成模型的模型参数进行调整，并返回获取已标注语音合成样本结果的样本文本以及针对同一样本发音者的至少两个待合成样本语音步骤，直至训练结果满足训练结束条件，将最后一次调整模型参数后的待训练的语音合成模型确定为训练好的语音合成模型。
110.该步骤s505与上述步骤s403一致，此处不再赘述。
111.本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
112.与上述几种实施例提供的相对应，本公开的一个实施例还提供语音合成装置，由于本公开实施例提供的语音合成装置与上述几种实施例提供的语音合成方法相对应，因此在语音合成方法的实施方式也适用于本实施例提供的语音合成的装置，在本实施例中不再详细描述。
113.图6是根据本公开一个实施例的语音合成装置的结构示意图。
114.如图6所示，该语音合成装置600，包括：第一获取模块601、第二获取模块602、第三获取模块603以及生成模块604。其中：
115.第一获取模块601，用于获取待合成文本和至少两个待合成语音；
116.第二获取模块602，用于获取所述至少两个待合成语音的音色隐向量，以及第二待合成语音的风格隐向量；
117.第三获取模块603，用于获取所述待合成文本的文本隐向量；
118.生成模块604，用于将所述音色隐向量、所述风格隐向量和所述文本隐向量进行拼接，并基于拼接后的隐向量，生成所述待合成文本的目标合成语音。
119.其中，第二获取模块602，还用于：
120.对所述第一待合成语音的音色进行特征提取，根据提取的所述音色的特征，生成所述第一待合成语音的所述音色隐向量；
121.对所述第二待合成语音的风格进行特征提取，根据提取的所述风格的特征，生成所述第二待合成语音的所述风格隐向量。
122.其中，生成模块604，还用于：
123.对所述音色隐向量、所述风格隐向量和所述文本隐向量进行维度转换，以得到具有相同维度的目标文本隐向量、目标音色隐向量和目标风格隐向量；
124.对所述目标文本隐向量、所述目标音色隐向量和所述目标风格隐向量进行拼接。
125.其中，第二获取模块602，还用于：
126.将所述第一待合成语音和所述第二待合成语音输入至语音合成模型中；
127.由所述语音合成模型中的音色编码网络对所述第一待合成语音进行编码，以输出所述第一待合成语音的所述音色对应的所述音色隐向量；
128.由所述语音合成模型中的风格编码网络对所述第二待合成语音进行编码，以输出所述第二待合成语音的所述风格对应的所述风格隐向量。
129.其中，第三获取模块603，还用于：
130.将所述待合成文本输入至语音合成模型中；
131.由所述语音合成模型中的文本编码网络对所述待合成文本进行编码，以输出所述待合成文本的所述文本隐向量。
132.其中，生成模块604，还用于：
133.将所述拼接后的隐向量输入至语音合成模型中的解码网络中进行解码，以输出所述待合成文本的所述目标合成语音。
134.根据本公开实施例的一种语音合成装置，可以通过将至少两个待合成语音进行音色和风格的分离，从而得到第一待合成语音的音色隐向量，以及第二待合成语音的风格隐向量，并获取待合成文本的文本隐向量，进而针对同一个待合成文本，结合音色隐向量和风格隐向量的多种不同的组合，从而生成多种不同的目标合成语音，实现了风格的迁移，使每一个音色能具备多种风格，提高了语音合成过程中的效率及可靠性。
135.图7是根据本公开一个实施例的语音合成模型的训练装置的结构示意图。
136.如图7所示，该语音合成模型的训练装置700，包括：获取模块701、输出模块702以及确定模块703。其中，
137.获取模块701，用于获取已标注语音合成样本结果的样本文本以及针对同一样本发音者的至少两个待合成样本语音，其中，所述至少两个待合成样本语音具有至少两种不同风格；
138.输出模块702，用于将所述样本文本和所述至少两个待合成样本语音输入至待训练的语音合成模型中，输出针对所述样本文本的语音合成训练结果；
139.确定模块703，用于获取所述语音合成样本结果和所述语音合成训练结果之间的差异，并根据所述差异对所述待训练的语音合成模型的模型参数进行调整，并返回所述获取已标注语音合成样本结果的样本文本以及针对同一样本发音者的至少两个待合成样本语音步骤，直至训练结果满足训练结束条件，将最后一次调整所述模型参数后的所述待训练的语音合成模型确定为训练好的语音合成模型。
140.其中，输出模块702，还用于：
141.将所述至少两个待合成样本语音输入至所述待训练的语音合成模型中，输出所述至少两个待合成样本语音中的第一待合成样本语音的音色对应的样本音色隐向量以及第二待合成样本语音的风格对应的样本风格隐向量；
142.将所述样本文本输入至所述待训练的语音合成模型中，输出所述样本文本的样本文本隐向量；
143.将所述样本音色隐向量、所述样本风格隐向量和所述样本文本隐向量进行拼接，并基于拼接后的隐向量，生成所述样本文本的所述语音合成训练结果。
144.根据本公开实施例的一种语音合成模型的训练装置，可以通过获取已标注语音合成样本结果的样本文本以及针对同一样本发音者的两个待合成样本语音，并将样本文本和两个待合成样本语音输入至待训练的语音合成模型中，输出针对样本文本的语音合成训练结果，进而根据语音合成样本结果和语音合成训练结果之间的差异训练模型，以获取训练好的语音合成模型，确保了语音合成模型的训练效果，为基于语音合成模型准确地生成目标合成语音奠定了基础。
145.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
146.图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
147.如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
148.设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通
信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
149.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如语音合成方法或语音合成模型的训练方法。例如，在一些实施例中，语音合成方法或语音合成模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram 803并由计算单元801执行时，可以执行上文描述的语音合成方法或语音合成模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行语音合成方法或语音合成模型的训练方法。
150.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
151.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
152.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
153.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用
任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
154.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、互联网以及区块链网络。
155.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端
‑
服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
156.本公开还提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时，实现权利要求1所述方法的步骤或者权利要求7所述方法的步骤。
157.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
158.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。