1.本发明是基于多头注意力机制(multi
‑
head attention mechanism)和注意力长短时记忆网络(alstm)提出的一种语音情感识别方法。


背景技术：

2.随着人机交互系统的发展，如何让机器能够理解人的意图并做出相应的反应从而达到更好的人机交互效果成为了极大的挑战。一些研究人员通过生活中人的面部表情、行为动作等方面获取情感特征并将这些特征传入传统的机器学习算法中进行识别，从而达到情感识别的目的。但是这些特征难于获取使得识别的准确率偏低，并且在现实的人机交互中存在很大误差，所以寻找最优的情感特征和精确的识别算法已成为语音情感识别的研究重点。


技术实现要素：

3.语音是人类交流最直接、最干脆的方式之一，语音信号不仅包含着人们丰富的情感表达而且在日常生活中较易获得。此外在人工智能的大背景下，较机器学习而言深度学习算法可以得到较好的识别精度。因此本发明针对以上论述，我们选择对语音信号进行处理来识别情感信息，使用多头注意力机制获取语音信号中的空间情感特征，将获得空间情感特征送入lstm中获取语音信号的时序关系，最后将提取到的特征送入分类器中进行识别，达到较好的语音情感识别效果。
4.基于多头注意力机制(multi
‑
head
‑
attention)的语音情感识别方法，其实现包括以下几个步骤：
5.步骤一：对音频信号进行预处理
6.步骤二：提取音频信号的人工情感特征
7.步骤三：使用多头注意力机制获取浅层情感特征
8.步骤四：使用lstm获取语音信号中的时序关系
9.步骤五：建立分类输出层
10.对每一步骤进行详细阐述，说明如下：
11.1.对文件格式为.wav的语音文件进行处理，设置语音信号的采样频率为16khz，对语音信号进行分帧和加窗操作，计算每一帧语音信号的短时能量和短时过零率。短时能量表征语音信号幅值的大小、短时过零率表征每秒语音信号通过零点的次数。采用短时能量和短时过零率的双门限方法区分语音信号的有声断和无声断，实现对语音信号合理的裁剪，减少运算成本。
12.2.对处理后的语音信号进行快速傅里叶变换将语音信号从时域转换为频域。将得到的频域信号在mel尺度下进行倒谱分析最后经过dct余弦变换获得人工情感特征mfcc。
13.3.将获得的人工情感特征放入本发明设计好的浅层特征提取模块，使用多头注意力机制选取合适的分割头的数量以捕获语音信号之间的时空关系，对语音信号的人工情感
特征在时间和空间维度上进行注意力加权以获得语音信号的情感特征，在将获得情感信息通过卷积层和池化层进行深层的情感特征提取和特征降为。
14.4.将获得的浅层情感特征放入到lstm中，为避免rnn网络带来的梯度消失以及梯度爆炸的现象，选用lstm网络提取时间维度的信息，通过训练更新lstm网络中的新的细胞状态获取细胞自身状态的关键信息，获得更精确的语音信号的时间信息，提高模型的分类精度。
15.5.将提取到的与时序相关的情感特征送入到分类输出层进行情感识别。本发明使用softmax分类器作为情绪的分类层，获取语音信号相应于情感标签的概率，得到语音识别的结果。
16.本发明使用了一个较新颖的情感识别模型，提供的方案可以达到以下效果：1)通过加入的端点检测技术可以较好的区分语音信号的有声段与无声断，为提取适宜的语音情感特征做了充分的准备工作，减少后续处理的运算复杂度。2)使用多头注意力机制可以在很大程度上提取语音信号局部特征，获得浅层情感特征。3)使用lstm可以在很大程度上获得语音信号的时序相关性，提高模型的识别精度。4)本发明在一定程度上智能化较高，维护成本低。
附图说明
17.图1为语音频域信号人工情感特征提取流程图。
18.图2为本发明基于多头注意力机制的语音情感识别方法结构示意图。
具体实施方式
19.为了更好的凸现本发明申请的优点，下面将结合申请附图对本技术的研究方案进行详细的描述。
20.图1所示,展示了语音信号在频域信号下提取情感特征的基本过程，主要步骤详细介绍如下：
21.s1：为了方便对语音信号进行分析，将语音信号分为一个个小段进行处理称为帧，为了保证帧与帧之间能够平滑过渡我们采用汉明窗对语音信号进行加窗处理。汉明窗公式如下：
[0022][0023]
s2：本技术采用双门限方法进行语音信号的端点检测，双门限方法使用二级判决来实现。首先计算出语音信号的短时平均能量和短时平均过零率其计算方法如下所示：
[0024]
短时能量：
[0025][0026]
短时过零率：
[0027]
z(n)＝|sgn[x
(m)
]
‑
sgn[x
(m
‑
1)
]|*w
(n
‑
m)
[0028]
第一级判决：以短时能量为基准，在短时能量上选取一个相对较高的门限阈值l2和一个较低的门限阈值l1，这两个门限阈值分别与短时能量谱相交于c、d、b、e四点，可知由短时能量判断出的be段为语音信号的有声段，则语音信号的起止位置为b点的左侧与e点右侧。
[0029]
第二级判决：以短时平均过零率为基准，在短时平均过零率上选取一个较低的阈值，从短时能量中的b、e、两点出发，向b点左侧和e点右侧查找短时平均过零率低于阈值的两个点a、f，则a点和f点位语音信号的起始点和终止点。
[0030]
s3：使用快速傅里叶变换将时域信号的语音信号转换为频域信号，去除高于被采样信号的最高频率的点的影响，降低维度。
[0031]
s4：将获得的频率信号通过一组mel尺度的三角滤波器，设置滤波器个数为26，赫兹频率与mel频率之间转换的关系如下：
[0032][0033]
s5：对滤波器组能量进行dct变换得到倒谱系数即mfcc参数。
[0034]
图二所示，本发明所设计的语音情感识别方法的结构主要包含如下几个模块：1、语音信号预处理模块2、mfcc人工情感特征提取模块3、多头注意力机制浅层特征提取模块4、lstm时序信息提取模块5、情感识别分类模块。接下来对模块进行介绍。语音情感识别的答题流程如下；将经过预处理模块1后得到的适宜使用的语音信号送入mfcc人工特征提取模块2以获得人工情感特征，将该人工情感特征通过浅层特征提取模块3获取浅层情感特征,由于此时提取的特征时间与空间的相关性较少，所以将获取的浅层特征送入到模块4中获取时空相关性得到深层情感特征，最后将获得的深层情感特征传入情感识别分类模块进行识别。
[0035]
语音预处理模块1：对.wav文件进行波形的读取，并对读取后的语音信号进行加窗、分帧、端点检测工作；
[0036]
mfcc人工情感特征提取模块2：对处理后的语音信号提取mfcc特征，设置的采样频率为16khz、预加重参数设置为0.97、语音信号的帧数设置为20ms为一帧帧移为8ms，mel滤波器组的数量设置为50，dct余弦参数设置为15，最终得到人工情感特征；
[0037]
多头注意力机制浅层特征提取模块3：以分三个头为例进行介绍：将设置好的三个权重矩阵q、k、v与特征图进行加权运算，将q,k加权矩阵进行切分，并将切分后得到的三个局部特征学习块利用缩放点积的方法获取注意力权重，并将注意力权重映射到加权矩阵v上，获得注意力特征图，缩放点积计算公式如下：
[0038][0039]
其中dk起到维度调节的作用，使得内积的结果不会很大。得到对应权重矩阵下的注意力机制特征图。该过程中先计算出每个时间步之间的相似关系并利用softmax函数对
相似度进行归一化处理最终映射到原始特征图中获取时空关系。通过实验验证分析本发明采用的分头数量为12。在对获得的特征进行卷积和池化操作，降低维度获得较高的空间情感特征。
[0040]
lstm时序信息提取模块4：lstm是一种递归神经网络，其包括输入门、遗忘门、输出门、候选记忆细胞、记忆细胞、隐藏状态等信息，核心是细胞状态其贯穿整个细胞，可以保证信息不变的流过整个网络，在通过门结构对细胞状态进行删除或者添加，最终留下有用的时间信息，从而获得更加高的时间相关度。
[0041]
情感识别分类模块5：最后需要将获得的情感特征进行识别，本发明采用softmax分类器作为分类层，分类层包含两层全连接层以解决可能存在的非线性问题、一层丢弃层以减弱过拟合，softmax函数如下所示：
[0042]