1.本发明涉及情绪识别技术领域，特别是涉及一种基于多模态生理信息与深度学习的情绪识别方法及系统。


背景技术：

2.情绪是指由不同感觉、思想和行为共同产生的心理及生理状态，是对多种主观认知经验的通称。目前，情绪识别常用的信息包括对面部表情、行为姿态、语音语调以及心电、脑电、肌电等生理信号。其中，面部表情、行为姿态、语音语调是被试者身体行为或语音语调的外在表现，表达直接，信号采集较为简单，但情绪识别的准确性、敏感性容易受到被试者的主观伪装的影响，且易受主观意识和环境的干扰。
3.当前基于脑电信号对情绪识别的方法，主要是对脑电信号进行手动的特征提取，如频带功率、alpha频段的不对称性、higuchi's
–
katz's分形维数等，然后采用支持向量机、概率神经网络等器学习分类算法进行分类。存在缺点：(1)一些特征，如分形维数，受噪声影响大，对于数据质量的依赖性强，无法构建鲁棒的情绪识别模型；(2)手动提取特征的方法主观性较大，无法囊括所有潜在的生物标记物，并且耗时耗力。


技术实现要素：

4.针对上述问题，本发明的目的是提供一种基于多模态生理信息与深度学习的情绪识别方法及系统。
5.为实现上述目的，本发明提供了如下方案：
6.一种基于多模态生理信息与深度学习的情绪识别方法，包括：
7.采集被测者的脑电信号以及心电信号，并设置情绪标签构建训练集；
8.基于预采集的功能磁共振影像得到的先验知识构建深度神经网络模型；
9.通过所述训练集对所述深度神经网络模型进行训练，得到情绪识别模型；
10.通过所述情绪识别模型进行情绪识别。
11.可选地，在通过所述训练集对所述深度神经网络模型进行训练之前，还包括：
12.对采集到的脑电信号和心电信号进行预处理；
13.可选地，所述预处理包括：
14.对所述脑电信号和所述心电信号进行下采样、波去噪处理和数据分割；
15.对所述脑电信号进行源重建。
16.可选地，通过所述训练集对所述深度神经网络模型进行训练，包括：
17.基于独立被试的五折交叉验证法对深度神经网络模型进行验证，通过反向传播及梯度下降算法对深度神经网络模型模型进行训练学习。
18.本发明还提供了一种基于多模态生理信息与深度学习的情绪识别系统，包括：
19.采集模块，用于采集被测者的脑电信号以及心电信号，并设置情绪标签构建训练集；
20.模型构建模块，用于基于预采集的功能磁共振影像得到的先验知识构建深度神经网络模型；
21.训练模块，用于通过所述训练集对所述深度神经网络模型进行训练，得到情绪识别模型；
22.情绪识别模块，用于通过所述情绪识别模型进行情绪识别。
23.可选地，还包括：预处理模块，用于对采集到的脑电信号和心电信号进行预处理；
24.可选地，所述预处理模块包括：
25.第一处理单元，用于对所述脑电信号和所述心电信号进行下采样、波去噪处理和数据分割；
26.第二处理单元，用于对所述脑电信号进行源重建。
27.可选地，通过所述训练集对所述深度神经网络模型进行训练，包括：
28.基于独立被试的五折交叉验证法对深度神经网络模型进行验证，通过反向传播及梯度下降算法对深度神经网络模型模型进行训练学习。
29.根据本发明提供的具体实施例，本发明公开了以下技术效果：
30.本发明同步采集脑电、心电信号，以及预采集的功能磁共振影像数据，通过深度学习方法建立生理信息特征与当前情绪之间关系的高维模型，从而实现仅通过采集脑电和心电信号，就可以对待测人员进行情绪识别。
附图说明
31.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
32.图1为本发明实施例基于多模态生理信息与深度学习的情绪识别方法的流程图；
33.图2为本发明实施例基于多模态生理信息与深度学习的情绪识别方法的原理；
34.图3为本发明实施例脑电特征提取单元的网络结构图。
具体实施方式
35.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.心电图是一种非侵入性的反映心动周期所产生的电活动变化的技术，常用于提取心动周期，进行心率变异性分析。其中心率变异性指连续心搏间瞬时心率的微小变化，可以反应副交感神经活动在内的自主神经功能。而副交感神经活动与情绪又存在潜在的关联。有研究指出，心率变异性参数值的变化与情绪程度的变化相关，同时也有研究表示，在结合基于大脑和其他生物学评估的背景下，值得考虑作为一项指标进行情绪识别。
37.脑电信号中包含着丰富的空间和时间信息，使用深度学习技术来探索脑电不同方面的作用是很自然的。而现有的采用脑电信号序列基于深度神经网络实现情绪识别的方
法，往往只选择了极少的通道数，且无法利用脑电信号电极通道隐含的空间信息。
38.本发明基于脑电信号、心电信号两种生理信息以及预采集的功能磁共振影像数据，通过深度学习方法建立生理信息特征与当前情绪程度之间关系的高维模型，从而仅通过采集脑电和心电信号，就能够进行情绪识别，
39.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
40.如图1-2所示，本发明提供的基于多模态生理信息与深度学习的情绪识别方法，包括以下步骤：
41.步骤101：采集被测者的脑电信号以及心电信号，并设置情绪标签构建训练集。
42.在一个具体实施例中，同步采集被测试者在静息状态下的脑电信号和心电信号，被测试者闭眼休息，每人采集8分钟数据，共记录63个通道的脑电信号及1个通道的心电信号，采样率均为5000hz，在线参考为fcz脑电电极点，脑电电极位置符合国际10-10标准导联系统。
43.对采集的脑电信号和心电信号进行预处理。
44.脑电信号预处理：对脑电信号进行全局平均重参考，下采样至250hz，而后使用4阶iir滤波器进行0.5-32hz带通滤波处理，使用大小为4s的滑动窗口无重叠地将信号分割为n个样本，每个样本维度为[1000，63]。为结合预采集的功能磁共振影像得到的先验知识，需要对脑电信号进行源重建。具体地，使用开源软件brianstorm，以mni空间colin27为标准模板，使用三层对称边界元(boundary element method)算法计算神经电场正演模型；并使用最小范数估计方法，结合动态统计参数映射，对皮层源进行反演建模，将脑电信号投射到源空间；最终，源活动被平均到desikan脑图谱中特定的68个皮质区域。脑电源重建的结果是68个皮层区域的电流密度时间序列，样本维度为[1000,68]。为了解决幅度缩放问题并消除偏移效应，对所有样本进行z-score标准化。
[0045]
心电信号预处理：对心电信号同样下采样至250hz，保持两个模态信号的同步性；而后使用4阶iir滤波器进行60hz低通滤波及50hz带陷滤波处理；使用大小为4s的滑动窗口无重叠地将信号分割为n个样本，每个样本维度为[1000,1]。为了解决幅度缩放问题并消除偏移效应，对所有样本进行z-score标准化。
[0046]
预处理步骤一方面可以有效去除脑电和心电信号中的伪迹，如肌电以及工频干扰等，有助于获得较纯净的信号，提高深度学习技术识别情绪的准确率，另一方面减小数据量，加快了处理分析的速度，具有高效性与易用性；此外，对脑电信号进行源重建，是为了与功能磁共振影像构建映射关系，更好地利用预采集的功能磁共振影像得到的先验知识。
[0047]
步骤102：基于预采集的功能磁共振影像得到的先验知识构建深度神经网络模型。
[0048]
本发明借助深度学习技术的特征提取能力，使用keras深度学习框架并基于u-net、lstm思想，结合预采集的功能磁共振影像得到的先验知识，构建深度神经网络模型dm-net。
[0049]
该模型能高效地学习多模态生理信息中潜在特征及其与情绪之间的相关性，以此对待测试者进行情绪识别。
[0050]
深度神经网络模型包含脑电特征提取单元，心电特征提取单元，特征融合与决策单元。
[0051]
首先，对于68个皮层区域的脑电信号输入，使用u-net神经网络与长短时记忆网络(lstm)构建脑电特征提取单元，如图3所示。对脑电数据进行逐层特征学习和映射，得到的输出向量，其中，u-net神经网络添加注意力门控机制以结合预采集的功能磁共振影像得到的先验知识；同时，对于单通道的心电信号输入，使用lstm构建心电特征提取单元，对心电数据进行逐层特征学习和映射，得到的输出向量；最后，将脑电信号输入与心电信号输入得到的两个输出向量进行拼接，送入特征融合与决策单元，输出分类结果。
[0052]
u-net架构提出的初衷时为了解决医学图像分割的问题，是一种卷积自编码器，其优势是获取上下文的特征信息和位置信息。具体地，经典的u-net结构通过两个3x3的卷积层加上一个2x2的最大池化层组成一个下采样块，由上采样的卷积层加上特征拼接，再接着两个3x3的卷积层组成一个上采样块；多个下采样块组成下行路径，在此期间，空间信息减少并提取不同尺度的信息；多个下采样块构成上行路径，在此期间通过跳跃连接组合来自来自不同下采样块的空间信息和高分辨率特征信息。
[0053]
本发明结合实际数据进行训练，对u-net的参数和结构进行了调整。此外，在跳跃连接步骤中，添加基于先验知识的注意力门控机制进行特征信息合并，对不同的通道给予不同的权重。具体地，注意力门控机制根据以下公式计算特定皮层区域的注意力权重αi，αi构成注意力分布矩阵。下行路径的特征图输入与注意力分布矩阵进行点乘，并与上行路径中经过上采样卷积层的特征图进行拼接，完成注意力门控的跳跃连接。αi的具体计算公式如下：
[0054][0055]
其中n为皮层区域的数目，在本发明中取值为68；ti为先验知识，即对预采集的功能磁共振影像进行统计分析得到的中不同皮层区域在在不同情绪标签组间的差异值。
[0056]
具体地，得到ti的过程如下：
[0057]
对被试静息态fmri数据首先进行预处理，以desikan脑图谱对预处理后的fmri进行脑区划分，提取每个脑区的特征信号(如：第一特征向量)，计算可反映脑区功能的统计量(如：度中心性)，在不同情绪标签组之间进行统计分析，得到表示脑区功能差异的统计值ti。具体地：
[0058]
基于dpabi，首先移除前十幅图像，并将fmri层间校正至中间层，刚体头动校正至首个slice。对所有图像手动reorient，粗略调整每个被试图像前联合的位置和偏转角等信息。然后，使用epi模板或t1联合方法将fmri标准化，并reslice以匹配灰质概率图。对图像进行高斯平滑，回归掉包括头动参数、白质、脑脊液信号等滋扰变量，时域带通滤波至0.01-0.1hz。排除头动过大或质量不佳的影像。
[0059]
以desikan脑图谱对fmri数据进行68个脑区划分，以第一特征向量提取每个脑区的bold序列，计算所有脑区间的pearson相关系数，并取阈值r》0.25。计算节点中心度di，公式如下：
[0060]di
＝∑r
ij
，j＝1...68，i≠j
[0061]
最后，将每个被试的结果标准化至z得分，以使被试间结果具有可比性。
[0062][0063]
其中，fcs为归一化后的中心度，代表脑区功能连接强度。u为所有节点的度强度均值，δ为标准差。
[0064]
对每个脑区i，将得到的功能连接在不同情绪标签组组别之间进行组水平配对样本t检验，得到代表脑区功能差异的t值记为ti。
[0065]
lstm是一种特殊的递归神经网络，能够学习长期依赖关系，不需要付出很大代价就可以记住很早时刻的信息。lstm的关键思想是细胞状态，当前的lstm接收来自上一个时刻的细胞状态c
t-1
，并与当前lstm接收的信号输入x
t
共同作用产生当前lstm的细胞状态c
t
，c
t
则保存当前lstm的状态信息并传递到下一时刻的lstm中。其应用领域包括文本生成、机器翻译、语音识别等，最近在有时间序列关系的医学生理信号中也显示出一定的优势。本发明将在脑电特征提取单元中将lstm与注意力门控u-net进行结合；同时，对于单通道的心电，考虑到没有空间信息，心电特征提取单元仅基于lstm网络构建。
[0066]
如图3所示，向脑电特征提取单元输入样本维度为[1000，68]的脑电信号，包含1000个样本点(采样率250hz，即4s)，68个皮层区域的数据。首先送入使用注意力门控的u-net神经网络中，该网络由若干个二维卷积池化块构成，按照架构可分为两个部分：下行路径由3个阶段组成，每个阶段沿时间轴进行下采样，使用内核大小为(2，1)的最大池化层执行；上行路径同样分3个阶段组成，每个阶段沿时间轴进行上采样，使用去卷积层以及来自下行路径的注意力门控跳跃连接进行特征拼接；在输入、下采样、上采样执行之后都接有一个二维卷积块，由一个沿时间轴的卷积层、一个elu激活以及一个批标准化层组成，卷积块“自上而下”的卷积核分别为(15，1)、(7，1)、(3，1)、(3，1)，特征通道数量分别为4、8、16、32，所有卷积块都通过补零来保持通道维数；此外，输出前增加一个二维卷积块，由卷积核为(15，1)、特征通道数量为1的卷积层，一个elu激活以及一个批标准化层组成。最终u-net输出特征向量维度为[1000，68，1]，对第三维度挤压后以[1000，68]维度的向量送入lstm网络中。脑电特征提取单元设置一层lstm，隐藏单元32个。为防止过拟合，在lstm层后添加dropout层，丢弃率设置为0.5。最终脑电特征单元输出的特征维度为[1000，32]。
[0067]
本发明中心电特征提取单元具体实现如下：首先，输入样本维度为[1000，1]的心电信号，包含1000个样本点(采样率250hz，即4s)的心电数据；将输入送入lstm网络，该网络包含两层lstm，隐藏单元分别为16、8，进行心电特征的时序特征提取，为防止过拟合，在每个lstm层后添加dropout层，丢弃率设置为0.5，最终输出的特征维度为[1000，8]。
[0068]
本发明中特征融合与决策单元具体实现如下：首先，输入样本维度分别为[1000，32]和[1000，8]的特征向量，将二者拼接为[1000，40]维度的特征向量，沿时间轴使用一维全局平均池化层，得到[1，40]的特征向量，再经过一层全连接层的作用，利用softmax激活函数得到模型的二分类输出。
[0069]
步骤103：通过所述训练集对所述深度神经网络模型进行训练，得到情绪识别模型。
[0070]
使用基于独立被试的五折交叉验证法对dm-net进行验证，通过反向传播及梯度下降算法对dm-net模型进行训练学习，选取预测精度高，泛化性能强的模型参数进行保存。
[0071]
模型训练阶段使用adam作为优化器，学习率选择0.0003，损失函数选择交叉熵损
失函数，输入批大小设定为32。对于dropout层，仅在dm-net模型训练过程中起作用，用于防止模型过拟合。训练完成后，当模型输入待测人员的多模态生理信息进行测试时，三个dropout层并不起作用。
[0072]
步骤104：通过所述情绪识别模型进行情绪识别。
[0073]
本发明具体以下优点：
[0074]
1、本发明使用深度学习的方法，可以通过多模态生理信息对待测人员的情绪进行识别；
[0075]
2、本发明提出的方法完全基于生理数据，是完全客观的，避免了被试的主观意识和环境干扰等造成的评估差异，提出了一种客观、有效的识别情绪的方法；
[0076]
3、本发明使用深度学习进行自动的特征提取与分类，避免了手动提取特征工程的局限性和人力损耗，同时考虑了多通道脑电信号的时域、空间信息特征。
[0077]
4、本发利用功能磁共振影像的统计学信息作为脑电特征提取与模型训练的先验知识，引入注意力机制，在众多的输入信息中聚焦于对当前任务更为关键的信息，显著提高了本方法的效率与准确性。
[0078]
5、本发明考虑到心率变异性作为生物标志物对情绪识别的潜在可能性，新颖地提出了结合脑电、心电进行情绪识别的方法。
[0079]
本发明还提供了一种基于多模态生理信息与深度学习的情绪识别系统，包括：
[0080]
采集模块，用于采集被测者的脑电信号以及心电信号，并设置情绪标签构建训练集；
[0081]
模型构建模块，用于基于预采集的功能磁共振影像得到的先验知识构建深度神经网络模型；
[0082]
训练模块，用于通过所述训练集对所述深度神经网络模型进行训练，得到情绪识别模型；
[0083]
情绪识别模块，用于通过所述情绪识别模型进行情绪识别。
[0084]
其中，还包括：预处理模块，用于对采集到的脑电信号和心电信号进行预处理；
[0085]
其中，所述预处理模块包括：
[0086]
第一处理单元，用于对所述脑电信号和所述心电信号进行下采样、波去噪处理和数据分割；
[0087]
第二处理单元，用于对所述脑电信号进行源重建
[0088]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0089]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。