1.本公开涉及计算机技术领域，具体涉及语音技术、深度学习等技术领域，尤其涉及一种声纹识别模型训练方法和装置、声纹识别方法和装置、电子设备、计算机可读介质以及计算机程序产品。


背景技术：

2.在实际的声纹系统应用中，会受到说话人自身与环境等多重音素的干扰，对声纹特征提取的准确率造成了一定的影响。如何消除这些影响，更准确的提取出说话人的特征，成了近几年声纹的热门研究领域。


技术实现要素：

3.本公开提供了一种声纹识别模型训练方法和装置、声纹识别方法和装置、电子设备、计算机可读介质以及计算机程序产品。
4.根据第一方面，提供了一种声纹识别模型训练方法，该方法包括：获取包括至少一个辨识矢量特征的特征样本集；获取预先建立的声纹识别网络，声纹识别网络包括：特征提取器、基础网络和互抗网络；特征提取器用于提取输入信息中的说话人特征和非说话人特征，基础网络用于对说话人特征进行预测；互抗网络用于区分说话人特征和非说话人特征；执行以下训练步骤：将从特征样本集中选取的辨识矢量特征输入特征提取器，得到选取的辨识矢量特征对应的说话人特征和非说话人特征；将该说话人特征和该非说话人特征输入基础网络，以及将该说话人特征和该非说话人特征输入互抗网络，计算声纹识别网络的损失值；基于损失值和声纹识别网络，得到声纹识别模型。
5.根据第二方面，提供了一种声纹识别方法，该方法包括：获取待识别语音的辨识矢量特征；将待识别语音的辨识矢量特征输入采用如第一方面任一实现方式描述的方法生成的声纹识别模型中，输出待识别语音的声纹识别结果。
6.根据第三方面，提供了一种声纹识别模型训练装置，该装置包括：样本获取单元，被配置成获取包括至少一个辨识矢量特征的特征样本集；网络获取单元，被配置成获取预先建立的声纹识别网络，声纹识别网络包括：特征提取器、基础网络和互抗网络；特征提取器用于提取输入信息中的说话人特征和非说话人特征，基础网络用于对说话人特征进行预测；互抗网络用于区分说话人特征和非说话人特征；特征获取单元，被配置成将从特征样本集中选取的辨识矢量特征输入特征提取器，得到选取的辨识矢量特征对应的说话人特征和非说话人特征；计算单元，被配置成将该说话人特征和该非说话人特征输入基础网络，以及将该说话人特征和该非说话人特征输入互抗网络，计算声纹识别网络的损失值；输出单元，被配置成基于损失值和声纹识别网络，得到声纹识别模型。
7.根据第四方面，又提供了一种声纹识别装置，该装置包括：获取单元，被配置成获取待识别语音的辨识矢量特征；识别单元，被配置成将待识别语音的辨识矢量特征输入采用如第三方面任一实现方式描述的装置生成的声纹识别模型中，输出待识别语音的声纹识
别结果。
8.根据第五方面，提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或第二方面任一实现方式描述的方法。
9.根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面或第二方面任一实现方式描述的方法。
10.根据第七方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面或第二方面任一实现方式描述的方法。
11.本公开的实施例提供的声纹识别模型训练方法和装置，首先，获取包括至少一个辨识矢量特征的特征样本集；其次，获取预先建立的声纹识别网络，声纹识别网络包括：特征提取器、基础网络和互抗网络；再次，将从特征样本集中选取的辨识矢量特征输入特征提取器，得到选取的辨识矢量特征对应的说话人特征和非说话人特征；从次，将该说话人特征和该非说话人特征输入基础网络，以及将该说话人特征和该非说话人特征输入互抗网络，计算声纹识别网络的损失值；最后，基于损失值和声纹识别网络，得到声纹识别模型。由此，通过构建包括特征提取器、基础网络、互抗网络的声纹识别网络，可以通过特征提取器提取说话人特征和非说话人特征，可以通过基础网络对说话人特征进行预测，通过互抗网络区分说话人特征和非说话人特征，使说话人特征和非说话人特征分别单独表征，并在声纹识别网络训练中尽量差异化说话人特征和非说话人特征，直至两者达到平衡，达到说话人特征更加纯净的目的，进而提升了声纹识别模型声纹识别的准确性。
12.本公开的实施例提供的声纹识别方法和装置，获取待识别语音的辨识矢量特征；将待识别语音的辨识矢量特征输入采用本实施例的声纹识别模型训练方法生成的声纹识别模型，输出待识别语音的声纹识别结果。由此，采用特征提取器、基础网络和互抗网络生成的声纹识别模型，可以提升得到的待识别语音的声纹识别结果的准确性。
13.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
14.附图用于更好地理解本方案，不构成对本公开的限定。其中：
15.图1是根据本公开声纹识别模型训练方法的一个实施例的流程图；
16.图2是本公开实施例中声纹识别网络进行训练的一种结构示意图；
17.图3是根据本公开声纹识别方法的一个实施例的流程图；
18.图4是根据本公开声纹识别模型训练装置的一个实施例的结构示意图；
19.图5是根据本公开声纹识别装置的一个实施例的结构示意图；
20.图6是用来实现本公开实施例的声纹识别模型训练方法或声纹识别方法的电子设备的框图。
具体实施方式
21.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种
细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
22.传统的声纹识别建模一般分为三个模块：
23.声学特征提取模块：声学特征是一种低级特征，通过传统的数字信号处理技术对音频数据进行处理获得，一般采用mfcc(mel-frequency cepstral coefficients，梅尔频率倒谱系数)，plp(perceptual linear predictive，感知线性预测)，fbank(filter bank，滤波器组)等方法进行处理。
24.辨识矢量特征提取模块：辨识矢量特征是一种高级特征，提取辨识矢量特征的方法一般有基于无监督的的gmm(gaussian mix models，混合高斯模型)，例如对辨识矢量i-vector特征的采集；基于监督的深度学习的dnn(deep neural networks，深度神经网络)，cnn(convolutional neural network，卷积神经网络)等，例如对辨识矢量x-vector特征的采集。
25.后端分类模型：通常有cos(余弦)，lda(线性区分性分析)，plda(带概率的线性区分性分析)。
26.一般地，为了提升声纹的识别效果，可以从上述三种模型中的某一个模块，或多个模块着手，进行各种策略的优化，尝试获得提升声纹识别的准确性。
27.针对辨识矢量特征提取模块提取得到的辨识矢量特征，包含了一些冗余的信息(如语速、音量、情绪、信道、设备等)，影响了说话人特征(如性别、口音、生理结构、发音习惯等)的纯度。因此本技术提出以下用于去除辨识矢量特征中的冗余信息，以提升声纹识别的准确性的实施例。
28.图1示出了根据本公开声纹识别模型训练方法的一个实施例的流程100，上述声纹识别模型训练方法包括以下步骤：
29.步骤101，获取包括至少一个辨识矢量特征的特征样本集。
30.本实施例中，声纹识别模型训练方法运行于其上的执行主体可以通过多种方式获取样本集，例如，执行主体可以通过有线连接方式或无线连接方式，从数据库服务器中获取存储于其中的特征样本集。再例如，用户可以通过终端处理语音数据得到辨识矢量特征，这样，执行主体可以接收终端所收集的辨识矢量特征，并将这样辨识矢量特征存储在本地，从而生成特征样本集。
31.在这里，特征样本集可以包括至少一个辨识矢量特征。辨识矢量特征相对于声学特征是一种高端特征，该高端特征是采用一些特征提取模型从声学特征中提取出的、可以辨别说话人信息的特征，其中，说话人信息用于区分说话人身份，说话人信息可以包括：性别、口音、生理结构、发音习惯等。为了对声纹模型进行训练，本实施例中，辨识矢量特征可以包括原始说话人特征和标注在原始说话人特征上的标注信息。
32.本公开的技术方案中，所涉及的说话人信息和原始说话人特征的收集、存储、使用、加工、传输、提供和公开等处理，是在经说话人授权后执行的，符合相关法律法规。
33.本实施例中，原始说话人特征可以是通过说话人特征提取方法提取的原始说话人特征，原始说话人特征，例如i-vector(identifying vector，识别矢量)特征包括一些冗余的信息(如语速、音量、情绪、不同拾音设备的信道)，上述标注在原始说话人特征上的标注
信息用于表明说话人身份，例如张三、李四等。通过本公开提供的声纹识别模型可以将原始说话人特征中的说话人特征从冗余的信息中提取出来，以保证说话人特征的纯净度，即使辨识矢量特征尽可能最大的表征说话人特征。
34.本实施例中，特征样本集可以是通过预先训练完成的特征提取模型提取多个音频数据的特征序列得到的特征样本集，特征样本集还可以采用多个音频数据训练特征提取网络，并采用该训练完成的特征提取模型对音频数据的进行辨识特征提取得到的特征样本集。
35.在本实施例的一些可选实现方式中，上述获取包括至少一个辨识矢量特征的特征样本集包括：采集至少一个音频数据；针对至少一个音频数据中的各音频数据，对该音频数据进行分帧，得到多个音频帧；对多个音频帧中的各音频帧进行声学特征提取，得到特征序列，其中，特征序列用于表征该音频数据的多帧音频帧的声学特征；对特征序列进行辨识特征提取，得到该音频数据的辨识矢量特征。
36.本可选实现方式中，可以采用已训练完成的特征提取模型对特征序列进行辨识特征提取，特征提取模型用于表征特征序列与辨识矢量特征之间的对应关系。
37.本可选实现方式中，当辨识矢量特征为i-vector时，可以采用传统的gmm模型作为特征提取模型；当辨识矢量特征为x-vector时，可以采用基于监督的神经网络模型作为特征提取模型。
38.本可选实现方式中，采用已经训练完成的特征提取模型对声学特征的特征序列进行辨识矢量特征的提取，无需对音频数据进行说话人身份标注，实现简单方便。
39.在本实施例的另一个可选实现方式中，上述获取包括至少一个辨识矢量特征的特征样本集包括：采集多个音频数据；针对多个音频数据中的各个音频数据，对该音频数据进行说话人标注，得到说话人标注信息；对该音频数据进行分帧，得到该音频数据的多个音频帧；对多个音频帧中各音频帧进行声学特征提取，得到该音频数据对应的特征序列，其中，特征序列用于表征该音频数据的多帧音频帧的声学特征；采用各个音频数据对应的特征序列以及各个音频数据的说话人标注信息，对预先构建的特征提取网络进行训练，得到特征提取模型，特征提取网络用于表征特征序列与辨识矢量特征之间的对应关系；将多个音频数据中的各个音频数据对应的特征序列依次输入特征提取模型，得到包括多个辨识矢量特征的特征样本集。
40.本可选实现方式中，特征样本集得到过程包括：收集一定量的音频数据(如1000人，每人10条音频数据)，对音频进行说话人身份(如张三、李四)标注，对音频数据，进行分帧，然后对每帧进行特征提取得到特征序列如x1，x2…
x
t
。将特征序列输入到x-vector网络，采用交叉熵损失函数计算x-vector网络损失，然后反向更新x-vector网络参数，反复迭代多轮，至x-vector网络收敛，得到特征提取模型，并采用特征提取模型对各个音频数据进行辨识矢量特征提取，得到训练样本集。
41.本可选实现方式中，通过对音频数据进行说话人身份标注，并采用标注后的音频数据进行特征提取网络的训练，可以保证得到的特征提取模型中输出的辨识矢量特征更加符合当前的音频数据，提高了特征样本集得到的准确性。
42.可选地，上述特征样本集得到还可以包括以下三步：第一步：收集一定量的音频数据(如1000人，每人10条音频数据)，对音频进行说话人身份(如张三、李四)标注，然后对标
注后的音频数据进行预处理，预处理包括去除噪声(包括环境噪声，忙音，彩铃声等)，数据增强(混叠回声，改变速率，时域频域随机掩盖)；第二步：对音频数据，进行语音活动检测、分帧以及声学特征提取，例如mfcc，fbank，plp等，特征均值规整。第三步：输入到多层tdnn(time delay neural networks，时延神经网络)中，采用交叉熵损失函数计算tdnn网络损失，然后反向更新tdnn网络参数，反复迭代多轮，至tdnn网络收敛，得到特征提取模型，并采用特征提取模型对各个音频数据进行辨识矢量特征提取，得到训练样本集。
43.步骤102，获取预先建立的声纹识别网络。
44.本实施例中，声纹识别网络是用于对辨识矢量特征进行说话人特征识别的网络，通过声纹识别网络可以得到较纯净说话人特征，从而保证了后端分类模型对说话人特征识别的准确性。
45.其中，声纹识别网络包括：特征提取器、基础网络和互抗网络；特征提取器用于提取输入信息中的说话人特征和非说话人特征，基础网络用于对说话人特征进行预测；互抗网络用于区分说话人特征和非说话人特征。
46.本实施例中，说话人特征为反映说话人身份信息，如其是仅用于表征说话人的纯净的x-vector向量；非说话人特征为辨识矢量特征中除说话人特征之外的特征，如语速特征、音量特征、情绪特征等。
47.本实施例中，输入信息包括标注信息，通过标注信息确定说话人特征对应的说话人身份，在声纹识别网络进行迭代训练时，输入信息即为从特征样本集中选取出的辨识矢量特征，并且该辨识矢量特征标注有标注信息。如图2所示，输入信息是向特征提取器enc输入的辨识矢量特征x，特征提取器对辨识矢量特征x进行特征抽取，得到说话人特征h1和非说话人特征h2。
48.本实施例中，特征提取器将输入信息映射到高维特征空间中，基础网络预测输入信息中的说话人特征对应的说话人，互抗网络采用了对抗的方式，使说话人特征和非说话人特征尽可能不同，并最大化两者的区别，保证两者具有最大的差异化。互抗网络可以对特征提取器输出的说话人特征和非说话人特征进行划分，保证说话人特征和非说话人特征的独立性。
49.本实施例中，基础网络为对说话人特征和非说话人特征进行同时辨别的网络，互抗网络为将说话人特征和非说话人特征尽量区别出的网络，当声纹识别网络通过损失函数得到的损失值收敛，或者声纹识别网络的训练迭代次数达到预设次数时，确定声纹识别网络训练完成。
50.步骤103，将从特征样本集中选取的辨识矢量特征输入特征提取器，得到选取的辨识矢量特征对应的说话人特征和非说话人特征。
51.本实施例中，执行主体可以从步骤101中获取的特征样本集中选取辨识矢量特征，以及执行步骤103至步骤105的训练步骤。其中，辨识矢量特征的选取方式和选取数量在本技术中并不限制。例如在一次迭代训练中可以是随机选取一个辨识矢量特征，也可以在一次迭代训练中是从特征样本集中选取多个辨识矢量特征，通过选取的每个辨识矢量特征中的原始说话人特征和标注在原始说话人特征上的标注信息计算声纹识别网络的损失值，调整声纹识别网络的参数。
52.本实施例中，特征提取器主要作用是将输入的辨识矢量特征映射到高维特征空
间，得到高维特征。特征提取器可以是一种编码器，比如，特征提取器由两层dnn构成，每层dnn是512维。如图2所示，特征提取器enc对辨识矢量特征x进行特征抽取，得到说话人特征h1和非说话人特征h2，其中说话人特征h1会输入到基础网络预测对应的说话人概率y，因此说话人特征h1携带的说话人信息较多；而非说话人特征h2则会输入到基础网络进行输入信息重构，目的是为了最大化还原输入信息。
53.步骤104，将该说话人特征和该非说话人特征输入基础网络，以及将该说话人特征和该非说话人特征输入互抗网络，计算声纹识别网络的损失值。
54.本实施例中，基础网络用于预测该说话人特征和该非说话人特征中的该说话人特征对应的说话人，得到说话人预测结果。
55.可选地，基础网络还可以对该说话人特征和该非说话人特征进行重构得到对应选取的辨识矢量特征对应的重构结果。本实施例中，在将该说话人特征和该非说话人特征输入声纹识别网络中，得到声纹识别网络输出的说话人预测结果、对辨识矢量特征重构后的重构结果、预测的说话人特征、预测的非说话人特征等结果。在每次迭代训练时，计算一次声纹识别网络的损失值。
56.在本实施例的一些可选实现方式中，上述将该说话人特征和该非说话人特征分别输入基础网络、互抗网络，计算声纹识别网络的损失值，包括：将该说话人特征和该非说话人特征输入基础网络，计算基础网络的损失值；将该说话人特征和该非说话人特征输入互抗网络，计算互抗网络的损失值；基于基础网络的损失值和互抗网络的损失值，计算得到声纹识别网络的损失值。
57.本可选实现方式中，上述基于基础网络的损失值和互抗网络的损失值，计算得到声纹识别网络的损失值包括：将基础网络的损失值和互抗网络的损失值相加，得到声纹识别网络的损失值。
58.可选地，上述基于基础网络的损失值和互抗网络的损失值，计算得到声纹识别网络的损失值还可以包括：确定基础网络的权重值和互抗网络的权重值，将基础网络的权重值乘于基础网络的损失值加上互抗网络的损失值与互抗网络的权重值的乘积，得到声纹识别网络的损失值。其中，基础网络的权重值和互抗网络的权重值可以根据训练需求而设置。
59.本可选实现方式中，声纹识别网络使说话人特征与非说话人特征分别单独表征，通过引入互抗网络来增大二者的区分性，这样将辨识矢量中包含的一些冗余的信息，如语速，音量，情绪，信道(不同拾音设备)等分解出来，这样得到的说话人特征(性别，口音，生理结构，发音习惯等)更加纯净，进而整体可以提升声纹识别的准确率。
60.在本实施例的一些可选实现方式中，上述基础网络包括：身份预测模块和重构模块，身份预测模块用于对该说话人特征进行说话人预测，重构模块用于对该非说话人特征进行选取的辨识矢量特征重构；上述将该说话人特征和该非说话人特征输入基础网络，计算基础网络的损失值，包括：将该说话人特征输入身份预测模块，得到身份预测模块输出的说话人概率，并计算身份预测模块的身份损失值；去除该说话人特征中的部分比例的特征，得到剩余特征；将剩余特征与该非说话人特征串联输入重构模块，得到重构模块输出的重构特征，并计算重构模块的重构损失值；基于身份损失值和重构损失值，计算得到基础网络的损失值。
61.本可选实现方式中，可以采用交叉熵损失函数计算身份预测模块的身份损失值，
计算量小、计算方便、简单。还可以采用均方误差损失函数计算重构模块的重构损失值，通过均方误差损失函数可以有效评价数据变化程度。
62.本可选实现方式中，身份预测模块采用预测网络，用于预测说话人特征属于哪个说话人，在对身份预测模块进行训练时，通过辨识矢量特征中标识在原始说话人特征上的标注信息为身份预测模块提供可靠的先验信息，以有效计算身份预测模块的身份损失值。如图2中，身份预测模块pre对说话人特征h1进行预测，输出说话人特征h1属于不同的说话人的概率y。
63.本可选实现方式中，重构模块可以是一种解码网络，用于重构出原始的输入信息。
64.为了增加模型的鲁棒性，基础网络还可以包括：丢弃模块，丢弃模块用于丢弃设定比例的特征，如图2所示，说话人特征h1输入丢弃模块dropout，在丢弃模块dropout中丢弃设定比例说话人特征之后，与非说话人特征h2串联，并输入重构模块dec，重构模块dec试图恢复出选取的辨识矢量特征x，得到重构特征x’。
65.这里的说话人特征h1通过丢弃模块dropout后信息遇到了一定量的丢失或者称为受到噪声的干扰，所以在重构模块dec重建过程中就迫使非说话人特征h2携带更多的与说话人特征h1不一样的信息来恢复出选取的辨识矢量特征x。
66.可选地，还可以将非说话人特征h2输入丢弃模块dropout，在丢弃模块dropout中丢弃设定比例非说话人特征之后，与说话人特征h1串联，并输入重构模块dec，得到重构模块dec输出的重构特征x’。
67.本可选实现方式中，通过去除说话人特征中的部分比例的特征，得到剩余特征；将剩余特征与该非说话人特征串联输入重构模块，可以增加基础网络在训练过程的鲁棒性，保证基础网络得到的结果的可靠性。
68.在本实施例的一些可选实现方式中，上述互抗网络包括：非说话人预测模块和说话人预测模块，非说话人预测模块用于对说话人特征进行非说话人预测，说话人预测模块用于对非说话人特征进行说话人预测，将该说话人特征和该非说话人特征输入互抗网络，计算互抗网络的损失值，包括：将该说话人特征输入非说话人预测模块，得到非说话人预测模块输出的非说话人特征，并计算非说话人预测模块的损失值；将该非说话人特征输入说话人预测模块，得到说话人预测模块输出的说话人特征，并计算说话人预测模块的损失值；基于非说话人预测模块的损失值和说话人预测模块的损失值，计算得到互抗网络的损失值。
69.本可选实现方式中，互抗网络包括：非说话人预测模块和说话人预测模块，非说话人预测模块和说话人预测模块均可以由两层dnn构成，每层dnn是128维。其中，如图2所示，非说话人预测模块dis1的输入是说话人特征h1，输出为对非说话人预测结果h2’
。说话人预测模块dis2的输入是非说话人特征h2，输出为对说话人预测结果h1’
。
70.采用互抗网络并不是为了重构，而是采用对抗的方式，使说话人特征h1和非说话人特征h2尽可能不同，非说话人预测模块dis1在训练过程中，采用均方误差损失函数，并且最大化非说话人预测模块的损失值；说话人预测模块dis2在训练过程中，采用均方误差损失函数，并且最大化说话人预测模块的损失值。
71.本实施例中，在声纹识别网络的训练过程中，可以将非说话人预测模块的损失值和说话人预测模块的损失值直接相加，得到互抗网络的损失值。
72.可选地，在声纹识别网络的训练过程中，还可以分别为非说话人预测模块的损失值和说话人预测模块的损失值赋权重值，基于非说话人预测模块的损失值权重值、说话人预测模块的损失值权重值、非说话人预测模块的损失值、说话人预测模块的损失值，得到互抗网络的损失值。
73.本可选实现方式中，可以采用均方误差损失函数计算非说话人预测模块的损失值，采用采用均方误差损失函数计算说话人预测模块的值，在计算整个声纹识别网络的损失值时，通过最大化互抗网络的损失值和最小化基础网络的损失值，得到声纹识别网络的损失值。
74.本可选实现方式中，通过最大化非说话人预测模型和说话人预测模型的损失值，可以有效地区分说话人特征和非说话人特征，有利于说话人特征的有效分解。
75.步骤105，基于损失值和声纹识别网络，得到声纹识别模型。
76.本实施例中，通过声纹识别网络的损失值可以检测声纹识别网络是否满足训练完成条件，在声纹识别网络满足训练完成条件之后，通过训练完成的声纹识别网络，得到的声纹识别模型是有效地、可靠地并且可以提取纯净的说话人特征的模型。
77.本实施例中，上述通过训练完成的声纹识别网络，得到的声纹识别模型包括：将训练完成的声纹识别网络中的特征提取器作为声纹识别模型。
78.可选地，上述通过训练完成的声纹识别网络，得到的声纹识别模型包括：将训练完成的声纹识别网络中的特征提取器和基础网络共同作为声纹识别模型。
79.在本实施例中，上述训练完成条件包括以下至少一项：声纹识别网络的训练迭代次数达到预定迭代阈值，声纹识别网络损失值小于预定损失值阈值。其中，预定迭代阈值是基于声纹识别网络的损失值得到的经验值。例如，声纹识别网络的预定迭代阈值是5千次。声纹识别网络的预定损失值阈值为0.05。
80.可选地，本实施例中，响应于声纹识别网络不满足训练完成条件，则调整声纹识别网络中的相关参数使得声纹识别网络的损失值收敛，基于调整后的声纹识别网络，继续执行上述训练步骤103-105。
81.参见图2所示，将每个辨识矢量特征x，输入到特征提取器enc，得到说话人特征h1和非说话人特征h2，将说话人特征h1输入到身份预测模块pre，预测对应说话人概率y，与辨识矢量特征x中的标注信息计算身份损失值，说话人特征h1经过丢弃模块dropout和非说话人特征h2串联输入到重构模块dec，重新构建输入特征，并与辨识矢量特征x计算重构损失值，基于身份损失值和重构损失值，得到基础网络的损失值。
82.进一步地，将说话人特征h1输入到非说话人预测模块dis1，将非说话人特征h2输入说话人预测模块dis2中，分别预测对非说话人预测结果h2’
、对说话人预测结果h1’
；通过对非说话人预测结果h2’
和非说话人特征h2计算非说话人预测模块dis1的损失值，通过对说话人预测结果h1’
和说话人特征h1计算说话人预测模块dis2的损失值，基于非说话人预测模块dis1的损失值和说话人预测模块dis2的损失值，通过最大化基础网络的损失值并且最大化互抗网络的损失值，计算得到互抗网络的损失值，在整个声纹识别网络目标函数的指导下，根据sgd(stochastic gradient descent，随机梯度下降)准则反向传递损失，更新声纹识别网络参数，这样反复迭代多轮至整个声纹识别网络收敛，即可得到稳定的声纹识别模型。
83.本可选实现方式中，在声纹识别网络不满足训练完成条件时，调整声纹识别网络
的相关参数，有助于帮助声纹识别网络的损失值收敛。
84.在本实施例中，若训练未完成，则调整声纹识别网络的参数来使得声纹识别网络的损失值收敛。具体地，可先保持基础网络的参数不变，反复执行步骤203至步骤205，调整对应互抗网络的参数，使得互抗网络的损失值逐渐变大直至稳定。然后再保持各互抗网络的参数不变，反复执行步骤203至步骤205，调整基础网络的参数，使得基础网络的损失值逐渐变小直至稳定。交替训练互抗网络的参数和基础网络的参数，直至损失值收敛。
85.可选地，在每次迭代过程中，还可以同时调整互抗网络的参数和基础网络的参数，以保证互抗网络的损失值逐渐变大直至稳定，基础网络的损失值逐渐变小直至稳定，等互抗网络和基础网络的损失值变化均较小时，确定声纹识别网络训练完成。
86.本实施例中，在声纹识别模型测试时，可以先对音频数据进行特征提取得到辨别矢量特征x，然后通过声纹识别模型得到说话人特征，将得到说话人特征与已知说话人的说话人特征进行相似性比较，可以得到测试的说话人。
87.本公开的实施例提供的声纹识别模型训练方法和装置，首先，获取包括至少一个辨识矢量特征的特征样本集；其次，获取预先建立的声纹识别网络，声纹识别网络包括：特征提取器、基础网络和互抗网络；再次，将从特征样本集中选取的辨识矢量特征输入特征提取器，得到选取的辨识矢量特征对应的说话人特征和非说话人特征；从次，将该说话人特征和该非说话人特征输入基础网络，以及将该说话人特征和该非说话人特征输入互抗网络，计算声纹识别网络的损失值；最后，基于损失值和声纹识别网络，得到声纹识别模型。由此，通过构建包括特征提取器、基础网络、互抗网络的声纹识别网络，可以通过特征提取器提取说话人特征和非说话人特征，可以通过基础网络对说话人特征进行预测，通过互抗网络区分说话人特征和非说话人特征，使说话人特征和非说话人特征分别单独表征，并在声纹识别网络训练中尽量差异化说话人特征和非说话人特征，直至两者达到平衡，达到说话人特征更加纯净的目的，进而提升了声纹识别模型声纹识别的准确性。
88.进一步地，基于上述实施例提供的声纹识别模型训练方法，本公开还提供了一种声纹识别方法的一个实施例，本公开的声纹识别方法结合了语音技术、深度学习等人工智能领域。
89.参见图3，示出了根据本公开声纹识别方法的一个实施例的流程300，本实施例提供的声纹识别方法包括以下步骤：
90.步骤301，获取待识别语音的辨识矢量特征。
91.在本实施例中，用于声纹识别方法的执行主体(可以通过多种方式来获取待识别语音的辨识矢量特征。例如，执行主体可以通过有线连接方式或无线连接方式，从数据库服务器中获取存储于其中的待识别语音的辨识矢量特征。再例如，执行主体也可以实时接收终端或其他设备对待识别音频数据进行特征提取之后得到的待识别语音的辨识矢量特征。
92.在本实施例中，获取的待识别语音的辨识矢量特征是未确定说话人的辨识矢量特征，该待识别语音的辨识矢量特征可以是通过特征提取模块(如gmm、dnn)提取得到的高级特征，具体地，待识别语音的辨识矢量特征可以是待识别语音对应的i-vector特征或者x-vector特征或者i-vector特征和x-vector特征变种，例如d-vector。
93.步骤302，将待识别语音的辨识矢量特征输入声纹识别模型中，输出待识别语音的声纹识别结果。
94.本实施例中，执行主体可以将步骤301中获取的待识别语音的辨识矢量特征输入声纹识别模型中，从而得到获取的待识别语音的声纹识别结果。需要说明的是，声纹识别结果是对待识别语音的辨识矢量特征进行声纹识别后的结果，基于声纹识别模型的结构可知，得到的声纹识别结果可以更加精确的表征待识别语音的说话人特征。
95.本实施例中，声纹识别模型可以是采用如上述图1实施例所描述的方法而训练得到的，具体训练过程可以参见图1实施例的相关描述，在此不再赘述。
96.本实施例中，可以将声纹识别结果中的说话人特征与已知说话人的说话人特征进行相似性比较，可以得到待识别语音的说话人。
97.本公开的实施例提供的声纹识别方法，获取待识别语音的辨识矢量特征；将待识别语音的辨识矢量特征输入采用本实施例的声纹识别模型训练方法生成的声纹识别模型，输出待识别语音的声纹识别结果。由此，采用特征提取器、基础网络和互抗网络生成的声纹识别模型，可以提升得到的待识别语音的声纹识别结果的准确性。
98.进一步参考图4，作为对上述各图所示方法的实现，本公开提供了声纹识别模型训练装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可应用于各种电子设备中。
99.如图4所示，本实施例提供的声纹识别模型训练装置400包括：样本获取单元401，网络获取单元402，特征获取单元403，计算单元404，输出单元405。其中，上述样本获取单元401，可以被配置成被配置成获取包括至少一个辨识矢量特征的特征样本集。上述网络获取单元402，可以被配置成被配置成获取预先建立的声纹识别网络，声纹识别网络包括：特征提取器、基础网络和互抗网络；特征提取器用于提取输入信息中的说话人特征和非说话人特征，基础网络用于对说话人特征进行预测；互抗网络用于区分说话人特征和非说话人特征。上述特征获取单元403，可以被配置成将从特征样本集中选取的辨识矢量特征输入特征提取器，得到选取的辨识矢量特征对应的说话人特征和非说话人特征。上述计算单元404，可以被配置成将该说话人特征和该非说话人特征输入基础网络，以及将该说话人特征和该非说话人特征输入互抗网络，计算声纹识别网络的损失值。上述输出单元405，可以被配置成基于损失值和声纹识别网络，得到声纹识别模型。
100.在本实施例中，声纹识别模型训练装置400中：样本获取单元401，网络获取单元402，特征获取单元403，计算单元404，输出单元405的具体处理及其所带来的技术效果可分别参考图1对应实施例中的步骤101、步骤102、步骤103、步骤104、步骤105的相关说明，在此不再赘述。
101.在本实施例的一些可选的实现方式中，上述计算单元404包括：基础计算模块(图中未示出)，互抗计算模块(图中未示出)，网络计算模块(图中未示出)。上述基础计算模块，可以被配置成将该说话人特征和该非说话人特征输入基础网络，计算基础网络的损失值。上述互抗计算模块，可以被配置成将该说话人特征和该非说话人特征输入互抗网络，计算互抗网络的损失值。上述网络计算模块，可以被配置成基于基础网络的损失值和互抗网络的损失值，计算得到声纹识别网络的损失值。
102.在本实施例的一些可选的实现方式中，上述基础网络包括：身份预测模块和重构模块，身份预测模块用于对该说话人特征进行说话人预测，重构模块用于对该非说话人特征进行选取的辨识矢量特征重构；上述基础计算模块包括：身份计算子模块(图中未示出)，
去除子模块(图中未示出)，串联子模块(图中未示出)，基础计算子模块(图中未示出)。其中，上述身份计算子模块，可以被配置成将该说话人特征输入身份预测模块，得到身份预测模块输出的说话人概率，并计算身份预测模块的身份损失值。上述去除子模块，可以被配置成去除该说话人特征中的部分比例的特征，得到剩余特征。上述串联子模块，可以被配置成将剩余特征与该非说话人特征串联输入重构模块，得到重构模块输出的重构特征，并计算重构模块的重构损失值。上述基础计算子模块，可以被配置成基于身份损失值和重构损失值，计算得到基础网络的损失值。
103.在本实施例的一些可选的实现方式中，上述互抗网络包括：非说话人预测模块和说话人预测模块，非说话人预测模块用于对说话人特征进行非说话人预测，说话人预测模块用于对非说话人特征进行说话人预测，互抗计算模块包括：第一计算子模块(图中未示出)，第二计算子模块(图中未示出)，互抗计算子模块(图中未示出)。其中，上述第一计算子模块，可以被配置成将该说话人特征输入非说话人预测模块，得到非说话人预测模块输出的非说话人特征，并计算非说话人预测模块的损失值。上述第二计算子模块，可以被配置成将该非说话人特征输入说话人预测模块，得到说话人预测模块输出的说话人特征，并计算说话人预测模块的损失值。上述互抗计算子模块，可以被配置成基于非说话人预测模块的损失值和说话人预测模块的损失值，计算得到互抗网络的损失值。
104.在本实施例的一些可选实现方式中，上述样本获取单元401包括：采集模块(图中未示出)，分帧模块(图中未示出)、前端提取模块(图中未示出)，高端提取模块(图中未示出)。其中，上述采集模块，可以被配置成采集至少一个音频数据。上述分帧模块，可以被配置成针对至少一个音频数据中的各个音频数据，对该音频数据进行分帧，得到多个音频帧。上述前端提取模块，可以被配置成对多个音频帧中的各个音频帧进行声学特征提取，得到特征序列，其中，特征序列用于表征该音频数据的多帧音频帧的声学特征。上述高端提取模块，可以被配置成对特征序列进行辨识特征提取，得到该音频数据的辨识矢量特征。
105.在本实施例的一些可选实现方式中，上述样本获取单元401包括：采集模块(图中未示出)，标注模块(图中未示出)，分帧模块(图中未示出)，序列提取模块(图中未示出)，训练模块(图中未示出)，输入模块(图中未示出)。其中，上述采集模块，可以被配置成采集多个音频数据。上述标注模块，可以被配置成针对多个音频数据中的各个音频数据，对该音频数据进行说话人标注，得到说话人标注信息。上述分帧模块，可以被配置成对该音频数据进行分帧，得到该音频数据的多个音频帧。上述序列提取模块，可以被配置成对多个音频帧中各音频帧进行声学特征提取，得到该音频数据对应的特征序列，其中，特征序列用于表征该音频数据的多帧音频帧的声学特征。上述训练模块，可以被配置成采用各个音频数据对应的特征序列以及各个音频数据的说话人标注信息，对预先构建的特征提取网络进行训练，得到特征提取模型，特征提取网络用于表征特征序列与辨识矢量特征之间的对应关系。上述输入模块，可以被配置成将多个音频数据中的各个音频数据对应的特征序列依次输入特征提取模型，得到包括多个辨识矢量特征的特征样本集。
106.本公开的实施例提供的声纹识别模型训练装置，首先，样本获取单元401获取包括至少一个辨识矢量特征的特征样本集；其次，网络获取单元402获取预先建立的声纹识别网络，声纹识别网络包括：特征提取器、基础网络和互抗网络；再次，特征获取单元403将从特征样本集中选取的辨识矢量特征输入特征提取器，得到选取的辨识矢量特征对应的说话人
特征和非说话人特征；从次，计算单元404将该说话人特征和该非说话人特征输入基础网络，并将该说话人特征和该非说话人特征输入互抗网络，计算声纹识别网络的损失值；最后，输出单元405基于损失值和声纹识别网络，得到声纹识别模型。由此，通过构建包括特征提取器、基础网络、互抗网络的声纹识别网络，可以通过特征提取器提取说话人特征和非说话人特征，可以通过基础网络对说话人特征进行预测，通过互抗网络区分说话人特征和非说话人特征，使说话人特征和非说话人特征分别单独表征，并在声纹识别网络训练中尽量差异化说话人特征和非说话人特征，直至两者达到平衡，达到说话人特征更加纯净的目的，进而提升了声纹识别模型声纹识别的准确性。
107.进一步参考图5，作为对上述各图所示方法的实现，本公开提供了声纹识别装置的一个实施例，该装置实施例与图3所示的方法实施例相对应，该装置具体可应用于各种电子设备中。
108.如图5所示，本实施例提供的声纹识别装置500包括：获取单元501，识别单元502。其中，上述获取单元501，可以被配置成获取待识别语音的辨识矢量特征。上述识别单元502，可以被配置成将待识别语音的辨识矢量特征输入如上述图3实施例所描述的装置生成的声纹识别模型中，输出待识别语音的声纹识别结果。
109.在本实施例中，声纹识别装置500中：获取单元501，转换单元502的具体处理及其所带来的技术效果可分别参考图3对应实施例中的步骤301、步骤302的相关说明，在此不再赘述。
110.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
111.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
112.图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
113.如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(rom)602中的计算机程序或者从存储单元608加载到随机访问存储器(ram)603中的计算机程序，来执行各种适当的动作和处理。在ram 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、rom 602以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
114.设备600中的多个部件连接至i/o接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
115.计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工
智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如声纹识别模型训练方法或声纹识别方法。例如，在一些实施例中，声纹识别模型训练方法或声纹识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由rom 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到ram 603并由计算单元601执行时，可以执行上文描述的声纹识别模型训练方法或声纹识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行声纹识别模型训练方法或声纹识别方法。
116.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
117.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程声纹识别模型训练装置、声纹识别装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
118.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
119.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
120.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算
系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
121.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
122.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
123.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。