1.本发明涉及疾病检测技术领域，特别涉及用于医疗内窥镜的辅助诊断方法、装置、系统、设备和介质。
背景技术：
2.消化道癌症是全球性的常见疾病，严重影响人类的健康。2015年，我国食管癌、胃癌、结直肠癌患病人数近150万人，死亡人数大于100万人，占癌症总死亡人数的1/3。消化道肿瘤使我国承受了巨大的医疗和经济负担，也是制约我国人民健康水平提升的主要阻碍。
3.消化道癌症死亡率高，其预后有赖于早诊早治，一般早癌的5年生存率超过85％。消化内窥镜检查是目前临床上筛查和诊断消化道疾病最常用的强有力方法，但是我国的内窥镜医生人才缺口大，远远不能满足临床实际需求；而另一方面，由于早期消化道癌常缺乏典型的内窥镜下的表征，极易漏诊；加之不同级别医院的内窥镜医生水平差异大，导致我国早期消化道癌的检出率低，严重制约了疗效的提高。因此亟待降低肿瘤漏诊率。
技术实现要素：
4.本发明的目的在于提供用于医疗内窥镜的辅助诊断方法、装置、系统、设备和介质，目前通过消化内窥镜来检查早癌的方法，由于缺乏典型的内窥镜下的表征，严重依赖于医生的经验水平，从而导致癌症检出率低，容易出现漏诊，而本发明旨在解决上述技术问题。
5.本发明公开了一种用于医疗内窥镜的辅助诊断方法，所述方法包括：
6.从医疗内窥镜视频流中获取原始医疗内窥镜图像；以及
7.使用辅助诊断模型集合中的相应的辅助诊断模型来识别所述原始医疗内窥镜图像所属的器官类型，并且检测所述原始医疗内窥镜图像的病灶区域；
8.其中，基于当前的原始医疗内窥镜图像之前的周期内的器官识别结果集合，确定当前的原始医疗内窥镜图像所要使用的辅助诊断模型，使用该辅助诊断模型来识别当前的原始医疗内窥镜图像所属的器官类型和检测当前的原始医疗内窥镜图像的病灶区域，并且将当前的器官识别结果更新到所述器官识别结果集合中。
9.可选地，所述辅助诊断模型集合中的每个辅助诊断模型包括多任务处理的深度卷积神经网络，并且每个多任务处理的深度卷积神经网络包括器官识别分支和病灶检测分支。
10.可选地，所述辅助诊断模型中的所述器官识别分支和所述病灶检测分支使用特征提取模块来提取所述原始医疗内窥镜图像的特征，并且基于所述特征来识别所述原始医疗内窥镜图像所属的器官类型和检测所述原始医疗内窥镜图像的病灶区域，其中，对于不同光源下的所述原始医疗内窥镜图像，所述器官识别分支和所述病灶检测分支使用与所述光源对应的底层特征提取模块来提取所述原始医疗内窥镜图像的底层特征。
11.可选地，所述方法还包括：
12.训练所述辅助诊断模型集合中的每个辅助诊断模型；
13.其中，基于一个或多个器官类型的组合，建立器官大类数据库，每个器官大类数据库包括相应的一个或多个器官类型的图像数据集合以及该图像数据集合中的每个图像的器官标记数据和病灶标记数据；
14.基于每个器官大类数据库，训练与该器官大类对应的辅助诊断模型中的器官识别分支和病灶检测分支；
15.基于所有的器官类型，建立器官识别数据库，所述器官识别数据库包括所有的器官类型的图像数据集合以及该图像数据集合中的每个图像的器官标记数据和病灶标记数据；以及
16.基于所述器官识别数据库，训练每个辅助诊断模型中的器官识别分支和病灶检测分支。
17.可选地，确定当前的原始医疗内窥镜图像之前的周期内的器官识别结果集合的平均值，确定与平均值中的最大数值对应的器官类型，将与该器官类型对应的辅助诊断模型作为当前的原始医疗内窥镜图像所要使用的辅助诊断模型。
18.可选地，所述方法还包括：
19.对所述原始医疗内窥镜图像进行预处理。
20.可选地，所述方法还包括：
21.在所述原始医疗内窥镜图像中标记检测出的病灶区域；以及
22.发送检测后的医疗内窥镜图像以用于显示。
23.本发明公开了一种用于医疗内窥镜的辅助诊断装置，所述装置包括：
24.图像获取单元，用于从医疗内窥镜视频流中获取原始医疗内窥镜图像；以及
25.辅助诊断单元，用于使用辅助诊断模型集合中的相应的辅助诊断模型来识别所述原始医疗内窥镜图像所属的器官类型，并且检测所述原始医疗内窥镜图像的病灶区域；
26.其中，基于当前的原始医疗内窥镜图像之前的周期内的器官识别结果集合，确定当前的原始医疗内窥镜图像所要使用的辅助诊断模型，使用该辅助诊断模型来识别当前的原始医疗内窥镜图像所属的器官类型和检测当前的原始医疗内窥镜图像的病灶区域，并且将当前的器官识别结果更新到所述器官识别结果集合中。
27.本发明公开了一种医疗内窥镜系统，所述系统包括：
28.光源，用于提供一个或多个光源信号；
29.医疗内窥镜，用于在所述一个或多个光源信号下获取医疗内窥镜视频流；
30.上面描述的用于医疗内窥镜的辅助诊断装置，用于辅助诊断所述医疗内窥镜视频流中的原始医疗内窥镜图像；
31.显示器，用于显示所述原始医疗内窥镜图像和辅助诊断后的医疗内窥镜图像。
32.本发明公开了一种计算机设备，所述计算机设备包括存储有计算机可执行指令的存储器和处理器，所述处理器被配置为执行所述指令以实施上面描述的用于医疗内窥镜的辅助诊断方法。
33.本发明公开了一种使用计算机程序编码的计算机存储介质，所述计算机程序包括指令，所述指令被计算机执行以实施上面描述的用于医疗内窥镜的辅助诊断方法。
34.本发明与现有技术相比，主要区别及其效果在于：
35.本发明的医疗内窥镜系统包括用于医疗内窥镜的辅助诊断装置，可以辅助诊断医疗内窥镜视频流中的原始医疗内窥镜图像，并且可以在显示器上显示原始医疗内窥镜图像和辅助诊断后的医疗内窥镜图像，从而可以辅助医生进行消化道疾病检查，提高早癌筛查效率和准确率。
36.本发明的用于医疗内窥镜的辅助诊断装置可以通过图像获取单元从医疗内窥镜处理器中抓取60fps的原始图像信号，该信号将输入到辅助诊断单元中，最终以60fps的速率进行病变检测，将检测结果合成到原始图像上进行输出。
附图说明
37.图1是根据本发明的医疗内窥镜系统的框图；
38.图2是根据本发明的用于医疗内窥镜的辅助诊断装置的框图；
39.图3是根据本发明的用于医疗内窥镜的辅助诊断方法的流程图；
40.图4是根据本发明的用于医疗内窥镜的辅助诊断的原理图；
41.图5是根据本发明的用于医疗内窥镜的辅助诊断的另一原理图；
42.图6是根据本发明的用于医疗内窥镜的辅助诊断模型的示意图；
43.图7是根据本发明的训练辅助诊断模型的示意图；
44.图8是根据本发明的切换辅助诊断模型的示意图；
45.图9是根据本发明的预处理原始医疗内窥镜图像的示意图；
46.图10是根据本发明的计算机设备的示意图。
具体实施方式
47.为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.图1是根据本发明的医疗内窥镜系统的框图。下面结合图1进行详细说明。
49.医疗内窥镜系统10包括光源11、医疗内窥镜12、用于医疗内窥镜的辅助诊断装置13以及显示器。优选地，显示器包括第一显示器14以及第二显示器15。例如，医疗内窥镜系统10可以用于消化道疾病检测，并且具体地可以检测消化道早癌，诸如食管癌、胃癌、结直肠癌等。
50.光源11提供一个或多个光源信号。例如，光源11包括用于医疗内窥镜系统的bl7000光源机等。
51.医疗内窥镜12在一个或多个光源信号下获取医疗内窥镜视频流。例如，医疗内窥镜12采用白光成像(white light imaging,wli)、联动成像(linked color imaging,lci)以及蓝色激光成像(blue laser imaging,bli)等不同的成像技术，以适应不同的光源信号。
52.用于医疗内窥镜的辅助诊断装置13辅助诊断医疗内窥镜视频流中的原始医疗内窥镜图像。具体地，用于医疗内窥镜的辅助诊断装置13从医疗内窥镜视频流中获取原始医疗内窥镜图像，识别原始医疗内窥镜图像所属的器官类型，并且检测原始医疗内窥镜图像
的病灶区域。下面将更详细地介绍用于医疗内窥镜的辅助诊断装置13及其辅助诊断方法。
53.显示器显示原始医疗内窥镜图像和辅助诊断后的医疗内窥镜图像。优选地，第一显示器14显示原始医疗内窥镜图像，并且第二显示器15显示辅助诊断后的医疗内窥镜图像。
54.本发明的医疗内窥镜系统包括用于医疗内窥镜的辅助诊断装置，可以辅助诊断医疗内窥镜视频流中的原始医疗内窥镜图像，并且可以在显示器上显示原始医疗内窥镜图像和辅助诊断后的医疗内窥镜图像，从而可以辅助医生进行消化道疾病检查，提高早癌筛查效率和准确率。
55.图2是根据本发明的用于医疗内窥镜的辅助诊断装置的框图。图3是根据本发明的用于医疗内窥镜的辅助诊断方法的流程图。图4是根据本发明的用于医疗内窥镜的辅助诊断的原理图。图5是根据本发明的用于医疗内窥镜的辅助诊断的另一原理图。下面结合图2至图5进行详细说明。
56.用于医疗内窥镜的辅助诊断装置13包括图像获取单元131以及辅助诊断单元132。
57.如图2和图3所示，在步骤s31，图像获取单元131从医疗内窥镜视频流中获取原始医疗内窥镜图像。具体地，如图4所示，图像获取单元131以例如60fps的速率从医疗内窥镜视频流中获取原始医疗内窥镜图像(即，视频帧)。
58.如图2和图3所示，在步骤s32，辅助诊断单元132使用辅助诊断模型集合中的相应的辅助诊断模型来识别原始医疗内窥镜图像所属的器官类型，并且检测原始医疗内窥镜图像的病灶区域。具体地，如图4所示，辅助诊断单元132等待上一原始医疗内窥镜图像处理完成，接收当前的原始医疗内窥镜图像，进行ai处理以识别器官类型和检测病灶区域，更新检测结果并且通知当前的原始医疗内窥镜图像处理完成，发送检测后的医疗内窥镜图像以在显示器上显示。下面将更详细地介绍辅助诊断模型集合中的相应的辅助诊断模型。
59.其中，基于当前的原始医疗内窥镜图像之前的周期内的器官识别结果集合，确定当前的原始医疗内窥镜图像所要使用的辅助诊断模型，使用该辅助诊断模型来识别当前的原始医疗内窥镜图像所属的器官类型和检测当前的原始医疗内窥镜图像的病灶区域，并且将当前的器官识别结果更新到器官识别结果集合中。具体地，如图5所示，使用该辅助诊断模型来识别当前的原始医疗内窥镜图像所属的器官类型和检测当前的原始医疗内窥镜图像的病灶区域，其中，当前的器官识别结果用于后处理，确定后续是否切换辅助诊断模型，而当前的病灶区域检测结构用于输出，生成辅助诊断后的医疗内窥镜图像。下面将更详细地介绍辅助诊断模型的切换操作。
60.可选地，辅助诊断单元132在原始医疗内窥镜图像中标记检测出的病灶区域，并且发送检测后的医疗内窥镜图像以用于显示。
61.本发明的用于医疗内窥镜的辅助诊断装置可以通过图像获取单元从医疗内窥镜处理器中抓取60fps的原始图像信号，该信号将输入到辅助诊断单元中，最终以60fps的速率进行病变检测，将检测结果合成到原始图像上进行输出。
62.图6是根据本发明的用于医疗内窥镜的辅助诊断模型的示意图。下面结合图6进行详细说明。
63.辅助诊断模型集合中的每个辅助诊断模型包括多任务处理的深度卷积神经网络，并且每个多任务处理的深度卷积神经网络包括器官识别分支和病灶检测分支。
64.具体地，该多任务处理的深度卷积神经网络使用相应的卷积模块来自适应地提取图像中的关键特征信息，然后通过组合特征的表征能力，构建两个学习任务；第一个任务为器官识别，器官类型包括食管、食胃结合部、胃部、咽部以及十二指肠等，用于识别图像所处的器官位置；第二个任务为病灶检测，用于标记出图像上的疑似早癌病变的区域范围。
65.由于实际的医疗内窥镜检查对实时性具有非常高的要求，这就隐式地要求ai处理算法也要能够实现快速处理数据的能力，而现有的大部分医疗内窥镜ai算法都忽视了实时性的要求，因而只能在特定的场景下使用，而不适用于实际的医疗内窥镜检查流程中。本发明采用多任务网络架构模式，支持器官识别分支和病灶检测分支同时训练，最终训练输出的模型将能够同时输出器官识别信息和病灶检测信息，从而能够并行处理器官识别和病灶检测任务，可以快速地输出数据的分析结果。
66.辅助诊断模型中的器官识别分支和病灶检测分支使用特征提取模块来提取原始医疗内窥镜图像的特征，并且基于特征来识别原始医疗内窥镜图像所属的器官类型和检测原始医疗内窥镜图像的病灶区域，其中，对于不同光源下的原始医疗内窥镜图像，器官识别分支和病灶检测分支使用与光源对应的底层特征提取模块来提取原始医疗内窥镜图像的底层特征。
67.医疗内窥镜系统要求支持多种光源的图像数据，不同的光源数据在医疗内窥镜检查中都具有十分重要的价值。然而，对于不同的光源数据，如果分别建立模型处理，则消耗的时间成本较高，且对数据样本量要求较大，因此现有的ai处理算法一般不区别地处理不同光源的数据，从而一定程度上会制约病灶检测的效果。本发明基于各个光源数据的颜色空间差别较大这一事实，针对不同的光源数据，设计不同的底层特征提取模块，分别提取数据的底层特征，从而使得多任务处理的深度卷积神经网络对不同的光源数据都具有较强的支持。
68.图7是根据本发明的训练辅助诊断模型的示意图。下面结合图7进行详细说明。
69.基于一个或多个器官类型的组合，建立器官大类数据库，每个器官大类数据库包括相应的一个或多个器官类型的图像数据集合以及该图像数据集合中的每个图像的器官标记数据和病灶标记数据。
70.考虑到不同器官类型(诸如食管、食胃结合部、胃部、咽部以及十二指肠等)上的图像存在较大的区别，如果简单地设计一个通用的病灶检测模型来准确检测所有器官的病变，可能会受限于模型的能力，最终制约模型的检测精度。但是，如果针对每一个器官类型来设计单独的病灶检测模型，可能会对每一类数据样本量有较大要求，同时维护或模型部署的成本会迅速增加，最终制约模型的实用性。
71.本发明针对不同器官形态学特点和位置关系，将不同器官类型划分为两个大类，即食管类和胃类，并且分别建立食管类数据库和胃类数据库，其中，食管类数据库包括被划分为食管类的所有器官类型的图像数据集合以及该图像数据集合中的每个图像的器官标记数据和病灶标记数据，并且胃类数据库包括被划分为胃类的所有器官类型的图像数据集合以及该图像数据集合中的每个图像的器官标记数据和病灶标记数据。另外，可以理解的是，本领域技术人员可以根据实际需要，选择不同的器官类型单独或组合建立器官大类数据库，在此不受限制。
72.基于每个器官大类数据库，训练与该器官大类对应的辅助诊断模型中的器官识别
分支和病灶检测分支。
73.具体地，基于食管类数据库来训练食管类辅助诊断模型中的器官识别分支和病灶检测分支，从而可以生成特定于食管类的食管类器官识别分支和病灶检测分支，并且基于胃类数据库来训练胃类辅助诊断模型中的器官识别分支和病灶检测分支，从而可以生成特定于胃类的胃类器官识别分支和病灶检测分支，极大地降低了研发成本和部署难度，且能达到较为理想的检出精度。
74.基于所有的器官类型，建立器官识别数据库，器官识别数据库包括所有的器官类型的图像数据集合以及该图像数据集合中的每个图像的器官标记数据和病灶标记数据。
75.对于上面经训练的食管类辅助诊断模型和胃类辅助诊断模型，其器官识别分支和病灶检测分支仅特定于相应的器官大类，然而其器官识别分支和病灶检测分支应该是期望适用于所有的器官类型，因此本发明建立器官识别数据库，器官识别数据库包括食管、食胃结合部、胃部、咽部以及十二指肠等的图像数据集合以及该图像数据集合中的每个图像的器官标记数据和病灶标记数据。
76.基于器官识别数据库，训练每个辅助诊断模型中的器官识别分支和病灶检测分支。
77.具体地，基于器官识别数据库来同时训练器官识别分支和病灶检测分支，从而每个辅助诊断模型中的器官识别分支和病灶检测分支在特定于相应的器官大类的同时，适用于所有的器官类型，进一步优化器官识别分支的识别效果和病灶检测分支的检测精度。
78.图8是根据本发明的切换辅助诊断模型的示意图。下面结合图8进行详细说明。
79.对于随着时间依次获取的每个原始医疗内窥镜图像，使用辅助诊断模型集合中的相应的辅助诊断模型(诸如上面描述的食管类辅助诊断模型或胃类辅助诊断模型)来识别原始医疗内窥镜图像所属的器官类型，并且检测原始医疗内窥镜图像的病灶区域。
80.确定当前的原始医疗内窥镜图像之前的周期内的器官识别结果集合的平均值，确定与平均值中的最大数值对应的器官类型，将与该器官类型对应的辅助诊断模型作为当前的原始医疗内窥镜图像所要使用的辅助诊断模型。
81.本发明根据先前图像的器官识别结果，确定是否切换辅助诊断模型，从而可以选择最适合的辅助诊断模型来处理当前图像，可以进一步提供辅助诊断的精度或准确度。
82.图9是根据本发明的预处理原始医疗内窥镜图像的示意图。下面结合图9进行详细说明。
83.对原始医疗内窥镜图像进行第一操作(例如，裁剪)。原始医疗内窥镜图像例如为a*b*3的rgb图像，该图像中可能存在对于ai处理算法无效的区域，这些区域包括用于显示各种参数信息的位置区域，顶、底部用于留白的位置区域等。裁剪图像中的干扰区域，可以避免影响ai处理算法的精度或准确度。
84.对第一操作后的医疗内窥镜图像进行第二操作(例如，缩放)。同比例缩放裁剪后的图像，可以避免图像失真，同时降低了图像的分辨率。
85.对第二操作后的医疗内窥镜图像进行第三操作(例如，填充)。将缩放后的图像进行上下填充，使其尺寸为a’*b’*3，可以更好地适应ai处理算法的各向同性需要。
86.本发明的预处理算法能够去除图像中的噪声干扰，保证了图像不会失真，并且降低了分辨率，使其能够快速地进行后续的识别和检测。
87.图10是根据本发明的计算机设备的示意图。下面结合图10进行详细说明。
88.计算机设备包括存储有计算机可执行指令的存储器和处理器，处理器被配置为执行指令以实施上面描述的用于医疗内窥镜的辅助诊断方法。
89.存储器可以用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可以主要包括存储程序区和存储数据区，其中，存储程序区可以存储操作系统、功能所需的应用程序等，并且存储数据区可以存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件或者其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
90.上面描述的用于医疗内窥镜的辅助诊断方法可以在客户端(诸如移动终端、计算机终端)、服务器或者类似的计算机设备中执行。以运行在客户端上为例，客户端可以包括具有一个或多个计算机可读存储介质的存储器、输入单元、显示单元、视频采集卡、显卡、核心处理器以及电源等部件。
91.本发明还涉及一种使用计算机程序编码的计算机存储介质，计算机程序包括指令，指令被计算机执行以实施上面描述的用于医疗内窥镜的辅助诊断方法。
92.需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
93.在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以对这些特征进行变型或者可以与其他特征组合。
94.虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。