1.本发明涉及生物医疗领域，更具体地，涉及一种基于深度学习的用于检查口鼻呼吸的方法。


背景技术：

2.呼吸是人体与外界环境之间气体交换的过程。对于一些患有严重肺部疾病的患者，他们需要呼吸辅助设备来帮助他们呼吸。人类有两种呼吸模式。它们是鼻和口呼吸模式。实际上，由于某些原因，我们不希望通过嘴呼吸。出于以下原因，对于我们对呼吸信号的来源进行分类非常必要且有意义。首先，如果人们长时间用嘴呼吸，因为嘴不是人体的呼吸器官，那么那些用嘴呼吸的人就不能让氧气很好地进入肺部，因此有一定的可能性他们的大脑缺氧，而当这些人的大脑缺氧时，特别容易影响正常的工作和学习，这进一步导致人们在白天特别容易嗜睡和注意力不集中。其次，如果孩子在发育过程中长时间用嘴呼吸，也会影响脸部发育，口呼吸的孩子的脸部通常具有较高的下颌倾角和更大的垂直生长。第三，长时间通过口呼吸的儿童除了影响面部发育外，还更容易患有阻塞性睡眠呼吸暂停综合症，然而现在并没有检查分类口鼻呼吸的方法，市场中有佩戴式的呼吸传感器，长时间佩戴会造成患者头部或者脸部不适。
3.现有烟箱条码识别检测系统中，中国实用新型专利cn111712195a公开了“口鼻呼吸传感器”，公开日为2020年09月25日：包括相对于鼻呼吸流方向彼此对准的两个鼻流通道、以及沿着口呼吸流方向横向于两个鼻流通道设置的口流通道。鼻流通道和口流通道具有热敏电阻，以监测患者的呼吸。并且该设备具有用于监测环境状况的热敏电阻和用于监测该设备的运动的加速度计，还在口气流与个体鼻气流之间进行检测和区分，以及将该设备和监测的数据与网络集成在一起。该发明属于外置的设备，通过鼻流通道和口流通道来监测患者的呼吸，长时间佩戴会造成患者头部或者脸部不适。


技术实现要素：

4.本发明为解决目前只有佩戴式设备可以检查口鼻呼吸的技术缺陷，提供了一种基于深度学习的用于检查口鼻呼吸的方法。
5.为实现以上发明目的，采用的技术方案是：
6.一种基于深度学习的用于检查口鼻呼吸的方法，包括以下步骤：
7.s1：分割呼吸信号，得到有效声音段；
8.s2：使用经验模式分解方法改进的梅尔频率倒谱系数提取方法对有效声音段进行特征提取，得到特征集；
9.s3：使用循环卷积神经网络将特征集划分为训练集和测试集，经过五折交叉验证得到高分类精度模型来检查口鼻呼吸。
10.上述方案中，能够对呼吸信号的有效声音段进行分割以提取出有效声音段，使得对呼吸声音的处理更具有针对性。由于声音信号的非平稳信号，引入适用于非平稳信号的
经验模式分解的方法对这些有效声音段进行分解，使得能够对信号进行多尺度分析，进一步使用改进的梅尔频率倒谱系数提取方法对有效声音段进行特征提取，之后使用循环卷积神经网络将特征集划分为训练集和测试集，经过五折交叉验证得到高分类精度模型来检查口鼻呼吸。
11.优选的，在步骤s1中包括以下步骤：
12.s11：基于呼吸信号的频谱能量和频谱质心对呼吸信号进行静默消除和分割出有效声音段的预处理；
13.s12：根据静默消除和信号分割前的标签，对处理后所分割出来的有效声音段记录原本呼吸音频信号的标签；
14.s13：对呼吸音频信号进行经验模式分解。
15.优选的，在步骤s11中，呼吸信号x
i
(n),静默消除和分割出有效声音段的步骤为：
16.s111：使用汉明窗将呼吸信号划分出若干个帧；
17.s112：计算每帧的频谱能量和频谱质心；
18.s113：计算以上两个特征的阈值；
19.s114：使用两个阈值消除呼吸信号的静默并分割出有效声音段。
20.上述方案中，在步骤s114中，获得了两个阈值，分别对应于频谱能量和频谱质心。通过两个阈值，可将呼吸信号分为多个部分。对于计算得每一帧的频谱能量和频谱质心分别小于两个阈值的段，即为音频信号中静默部分，其余段被视为呼吸信号部分。这样就完成了从呼吸信号中静默消除和分割出有效呼吸信号段的任务。
21.优选的，在步骤s111中，使用长度为50ms的汉明窗将呼吸信号划分出多个长度为50ms的帧。
22.优选的，在步骤s112中，计算每帧的频谱能量通过以下公式：
[0023][0024]
其中，x
i
(n)是第i帧信号，n是帧序列中离散点的总个数；
[0025]
计算每帧的频谱质心通过以下公式：
[0026][0027]
其中x
i
(k)是呼吸信号傅立叶变换在一帧中频率为k时的振幅。
[0028]
优选的，在步骤s113中，根据和计算两个特征的阈值；其中m
1,e
和m
2,e
分别是e(i)的第一个和第二个局部最大值的所对应的i，m
1,c
和m
2,c
分别是c
i
的第一个和第二个局部最大值的所对应的i，w是可供实际情况来定义的参数。
[0029]
优选的，所述步骤s2包括以下步骤：
[0030]
s21：对提取到的有效声音段进行预加重，并且对预加重后的有效声音段进行分帧和加窗；
[0031]
s22：令s21所得到的第i帧信号为x
i
(t)，确定时间序列信号x(t)的局部极大值和
极小值，并分别进行三次样条插值，形成上包络和下包络
[0032]
s23：根据上包络和下包络线计算包络均值：
[0033]
s24：通过从原始时间序列信号x
i
(t)中减去均值m1，计算新序列 h1(t)＝x
i
(t)
‑
m1；
[0034]
s25：判断h1(t)是否满足imf的两个特点：若满足，h1(t)则是提取出的一个 imf，此时用x1(t)＝x
i
(t)
‑
h1(t)代替x
i
(t)；若不满足，h1(t)不是提取出的imf，则用h1(t)代替x(t)，重新分解，直到h1(t)满足imf的特点；
[0035]
s26：重复上述分解步骤即可提取到下一个imf，直到出现一个极值点或变成一个单调函数为止，此时，已经无法再提取出新的本征模函数，剩下项就是残余项r
n
，之后原始时间序列x
i
(t)被分解；
[0036]
s27：令h
n+1
(ω)为h
n+1
(t)的快速傅里叶变换，再对imf在频域上进行相加，如以下公式：并计算功率谱；
[0037]
s28：每个窗口帧的功率谱spect(ω)经过梅尔尺度三角形滤波器组；
[0038]
s29：在对数
‑
梅尔功率谱上应用dct得到倒谱特征，得到有效声音段的特征。
[0039]
优选的，在步骤s21中，对提取到的有效声音段进行预加重，并且对预加重后的有效声音段进行分帧和加窗，每一帧的时长为50ms，帧移为20ms。
[0040]
优选的，在步骤s26中，原始时间序列x
i
(t)被分解为：
[0041][0042]
其中，n为本征模函数的个数，由x
i
(t)决定；r
n
是最终的剩余变量，它是x(t) 的主要趋势项；h
i
(t)为本征模函数，令残差分量r
n
为第n+1个imf。
[0043]
优选的，在步骤s27中，运用以下公式计算功率谱：
[0044][0045]
在步骤s3中包括以下步骤：
[0046]
s31：在对数据进行特征提取后，对数据的特征集按照5：2：3的比例划分训练集，验证集和测试集；
[0047]
s32：使用特征集进行循环卷积神经网络建模，并且在验证集上做初步的验证与循环卷积神经网络的参数优化调节；
[0048]
s33：在对基于训练集和验证集迭代调参建模后的循环卷积神经网络上，使用测试集进行分类精度测试。
[0049]
上述方案中，在步骤s3中，使用循环卷积神经网络对提取得到的特征集，进一步划分训练集和测试集，使用训练集训练模型，测试集来检查模型的准确度，在经过多次调参后得到了分类精度较高的模型来检查口鼻呼吸。
[0050]
与现有技术相比，本发明的有益效果是：
[0051]
本发明提供一种基于深度学习的用于检查口鼻呼吸的方法，能够对呼吸信号的有效声音段进行分割以提取出有效声音段，使得对呼吸声音的处理更具有针对性。由于声音
信号的非平稳信号，引入适用于非平稳信号的经验模式分解的方法对这些有效声音段进行分解，使得能够对信号进行多尺度分析，进一步使用改进的梅尔频率倒谱系数提取方法对有效声音段进行特征提取，之后使用循环卷积神经网络将特征集划分为训练集和测试集，经过五折交叉验证得到高分类精度模型来检查口鼻呼吸。
附图说明
[0052]
图1为本发明的方法流程示意图。
具体实施方式
[0053]
附图仅用于示例性说明，不能理解为对本专利的限制；
[0054]
以下结合附图和实施例对本发明做进一步的阐述。
[0055]
实施例1
[0056]
如图1所示，一种基于深度学习的用于检查口鼻呼吸的方法，包括以下步骤：
[0057]
s1：分割呼吸信号，得到有效声音段；
[0058]
s2：使用经验模式分解方法改进的梅尔频率倒谱系数提取方法对有效声音段进行特征提取，得到特征集；
[0059]
s3：使用循环卷积神经网络将特征集划分为训练集和测试集，经过五折交叉验证得到高分类精度模型来检查口鼻呼吸。
[0060]
上述方案中，能够对呼吸信号的有效声音段进行分割以提取出有效声音段，使得对呼吸声音的处理更具有针对性。由于声音信号的非平稳信号，引入适用于非平稳信号的经验模式分解的方法对这些有效声音段进行分解，使得能够对信号进行多尺度分析，进一步使用改进的梅尔频率倒谱系数提取方法对有效声音段进行特征提取。使用循环卷积神经网络将特征集划分为训练集和测试集，经过五折交叉验证得到高分类精度模型来检查口鼻呼吸。
[0061]
优选的，在步骤s1中包括以下步骤：
[0062]
s11：基于呼吸信号的频谱能量和频谱质心对呼吸信号进行静默消除和分割出有效声音段的预处理；
[0063]
s12：根据静默消除和信号分割前的标签，对处理后所分割出来的有效声音段记录原本呼吸音频信号的标签；
[0064]
s13：对呼吸音频信号进行经验模式分解。
[0065]
优选的，在步骤s11中，呼吸信号x
i
(n),静默消除和分割出有效声音段的步骤为：
[0066]
s111：使用汉明窗将呼吸信号划分出若干个帧；
[0067]
s112：计算每帧的频谱能量和频谱质心；
[0068]
s113：计算以上两个特征的阈值；
[0069]
s114：使用两个阈值t1和t2消除呼吸信号的静默并分割出有效声音段。
[0070]
上述方案中，在步骤s114中，获得了两个阈值，分别对应于频谱能量和频谱质心。通过两个阈值，可将呼吸信号分为多个部分。对于计算得每一帧的频谱能量和频谱质心分别小于两个阈值的段，即为音频信号中静默部分，其余段被视为呼吸信号部分。这样就完成了从呼吸信号中静默消除和分割出有效呼吸信号段的任务
[0071]
优选的，在步骤s111中，使用长度为50ms的汉明窗将呼吸信号划分出多个长度为50ms的帧。
[0072]
优选的，在步骤s112中，计算每帧的频谱能量通过以下公式：
[0073][0074]
其中，x
i
(n)是第i帧信号，n是帧序列中离散点的总个数；
[0075]
计算每帧的频谱质心通过以下公式：
[0076][0077]
其中x
i
(k)是呼吸信号傅立叶变换在一帧中频率为k时的振幅。
[0078]
优选的，在步骤s113中，根据和计算两个特征的阈值；其中m
1,e
和m
2,e
分别是e(i)的第一个和第二个局部最大值的所对应的i，m
1,c
和m
2,c
分别是c
i
的第一个和第二个局部最大值的所对应的i， w是可供实际情况来定义的参数。
[0079]
优选的，所述步骤s2包括以下步骤：
[0080]
s21：对提取到的有效声音段进行预加重，并且对预加重后的有效声音段进行分帧和加窗；
[0081]
s22：令s21所得到的第i帧信号为x
i
(t)，确定时间序列信号x(t)的局部极大值和极小值，并分别进行三次样条插值，形成上包络和下包络
[0082]
s23：根据上包络和下包络线计算包络均值：
[0083]
s24：通过从原始时间序列信号x
i
(t)中减去均值m1，计算新序列 h1(t)＝x
i
(t)
‑
m1；
[0084]
s25：判断h1(t)是否满足imf的两个特点：若满足，h1(t)则是提取出的一个 imf，此时用x1(t)＝x
i
(t)
‑
h1(t)代替x
i
(t)；若不满足，h1(t)不是提取出的imf，则用h1(t)代替x(t)，重新分解，直到h1(t)满足imf的特点；
[0085]
s26：重复上述分解步骤即可提取到下一个imf，直到出现一个极值点或变成一个单调函数为止，此时，已经无法再提取出新的本征模函数，剩下项就是残余项r
n
，之后原始时间序列x
i
(t)被分解；
[0086]
s27：令h
n+1
(ω)为h
n+1
(t)的快速傅里叶变换，再对imf在频域上进行相加，如以下公式：并计算功率谱；
[0087]
s28：每个窗口帧的功率谱spect(ω)经过梅尔尺度三角形滤波器组；
[0088]
s29：在对数
‑
梅尔功率谱上应用dct得到倒谱特征，得到有效声音段的特征。
[0089]
优选的，在步骤s21中，对提取到的有效声音段进行预加重，并且对预加重后的有效声音段进行分帧和加窗，每一帧的时长为50ms，帧移为20ms。
[0090]
优选的，在步骤s26中，原始时间序列x
i
(t)被分解为：
[0091][0092]
其中，n为本征模函数的个数，由x
i
(t)决定；r
n
是最终的剩余变量，它是x(t) 的主要趋势项；h
i
(t)为本征模函数，令残差分量r
n
为第n+1个imfh
n+1
(t)。
[0093]
优选的，在步骤s27中，运用以下公式计算功率谱：
[0094][0095]
在步骤s3中包括以下步骤：
[0096]
s31：在对数据进行特征提取后，对数据的特征集按照5：2：3的比例划分训练集，验证集和测试集；
[0097]
s32：使用特征集进行循环卷积神经网络建模，并且在验证集上做初步的验证与循环卷积神经网络的参数优化调节；
[0098]
s33：在对基于训练集和验证集迭代调参建模后的循环卷积神经网络上，使用测试集进行分类精度测试。
[0099]
实施例2
[0100]
在具体实施过程中，本发明提供了一种基于深度学习的用于检查口鼻呼吸的方法，能够对呼吸信号的有效声音段进行分割以提取出有效声音段，使得对呼吸声音的处理更具有针对性。由于声音信号的非平稳信号，本文引入适用于非平稳信号的经验模态分解的方法对这些有效声音段进行分解，使得能够对信号进行多尺度分析。进一步使用本专利所提出的基于经验模式分解方法改进的梅尔频率倒谱系数提取方法对有效呼吸声音段进行特征提取。使用循环卷积神经网络对提取得到的特征集，进一步划分训练集和测试集，使用训练集训练模型，测试集来检查模型的准确度，在经过多次调参后得到了分类精度较高的模型来检查口鼻呼吸。
[0101]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。