1.本发明涉及医疗领域，尤其涉及一种手术辅助的数据处理方法、装置、系统。


背景技术：

2.随着医疗器械技术的发展以及影像检测技术的进步，尤其是高分辨ct的日益普及，肺部病灶检测的技术越来越成熟。
3.目前，不论是主刀医生执行外科手术过程中，还是专家在本地或远程指导外科手术的过程中，均只能通过查看显示屏的信息来获悉相关信息，此时，不便于医生或专家对各种信息的观察。
4.并且，无论是在现场还是远程，指导外科手术的过程中，专家的显示屏通常只能显示手术场景的视频图像，该方式下，显示屏所显示的内容仅为现场的视频图像，无法精确体现出手术的具体操作状况，不便于精确指导医生的操作。


技术实现要素：

5.本发明提供一种手术辅助的数据处理方法、装置、系统，以解决不便于观察等问题。
6.根据本发明的第一方面，提供了一种手术辅助的数据处理系统，包括：服务器、支气管镜，以及混合现实显示装置；所述服务器能够与所述混合现实显示装置、所述支气管镜直接或间接通讯；
7.所述服务器用于：
8.获取虚拟数据，所述虚拟数据包括人体的虚拟支气管树的数据；
9.获取术中数据，所述术中数据包括：手术过程中，所述支气管镜进入所述人体后采集到的实时内窥图像；
10.将所述术中数据与所述虚拟数据发送至所述混合现实显示装置；
11.所述混合现实显示装置用于：
12.获取并展示手术过程的现实场景图像；所述现实场景图像是图像采集装置对手术过程进行图像采集而得到的；所展示的现实场景图像适配于所述手术过程的医护人员观察到的真实场景；
13.基于所述虚拟数据，展示所述虚拟支气管树的外观模型；
14.展示所述实时内窥图像。
15.根据本发明的第二方面，提供了一种手术辅助的数据处理方法，包括：
16.自服务器接收虚拟数据、实时内窥图像；所述虚拟数据包括人体的虚拟支气管树的数据，所述实时内窥图像是手术过程中，支气管镜进入所述人体后采集到的；
17.获取并在混合现实显示装置展示手术过程的现实场景图像；所述现实场景图像是图像采集装置对手术过程进行图像采集而得到的；所展示的现实场景图像适配于所述手术过程的医护人员观察到的真实场景；
18.基于所述虚拟数据，在混合现实显示装置展示所述虚拟支气管树的外观模型；
19.在所述混合现实显示装置展示所述实时内窥图像。
20.根据本发明的第三方面，提供了一种手术辅助的数据处理装置，包括：
21.接收模块，用于：
22.自服务器接收虚拟数据、实时内窥图像；所述虚拟数据包括人体的虚拟支气管树的数据，所述实时内窥图像是手术过程中，支气管镜进入所述人体后采集到的；
23.展示模块，用于：
24.获取并在混合现实显示装置展示手术过程的现实场景图像；所述现实场景图像是图像采集装置对手术过程进行图像采集而得到的；所展示的现实场景图像适配于所述手术过程的医护人员观察到的真实场景；
25.基于所述虚拟数据，在混合现实显示装置展示所述虚拟支气管树的外观模型；
26.在所述混合现实显示装置展示所述实时内窥图像。
27.根据本发明的第四方面，提供了一种手术辅助的数据处理方法，应用于服务器，所述的数据处理方法，包括：
28.获取人体的ct数据，并基于所述ct数据，形成虚拟数据，所述虚拟数据包括所述人体的虚拟支气管树的数据；
29.获取术中数据，所述术中数据包括：手术过程中，所述支气管镜进入所述人体后采集到的实时内窥图像；
30.获取手术过程的现实场景图像；所述现实场景图像是图像采集装置对手术过程进行图像采集而得到的；
31.将所述术中数据、所述虚拟数据与所述现实场景图像发送至混合现实显示装置，以使得：所述混合现实显示装置展示手术过程的现实场景图像，且所展示的现实场景图像适配于所述手术过程的医护人员观察到的真实场景；基于所述虚拟数据，展示所述虚拟支气管树的外观模型；展示所述实时内窥图像。
32.根据本发明的第五方面，提供了一种手术辅助的数据处理装置，应用于服务器，包括：
33.获取模块，用于：
34.获取虚拟数据，所述虚拟数据包括人体的虚拟支气管树的数据；
35.获取术中数据，所述术中数据包括：手术过程中，所述支气管镜进入所述人体后采集到的实时内窥图像；
36.获取手术过程的现实场景图像；所述现实场景图像是图像采集装置对手术过程进行图像采集而得到的；
37.发送模块，用于：
38.将所述术中数据、所述虚拟数据与所述现实场景图像发送至混合现实显示装置，以使得：所述混合现实显示装置展示手术过程的现实场景图像，且所展示的现实场景图像适配于所述手术过程的医护人员观察到的真实场景；基于所述虚拟数据，展示所述虚拟支气管树的外观模型，以及：展示所述实时内窥图像。
39.根据本发明的第六方面，提供了一种电子设备，包括处理器与存储器，
40.所述存储器，用于存储代码；
41.所述处理器，用于执行所述存储器中的代码用以实现第二方面或第四方面的方法。
42.根据本发明的第七方面，提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现第二方面或第四方面的方法。
43.本发明提供的手术辅助的数据处理方法、装置、系统中，混合现实显示装置既可展示现实场景图像，又可展示虚拟支气管树的外观模型与实时内窥图像，充分发挥了混合现实显示装置的优势，实现了真实元素与虚拟元素的组合展示，丰富了所展示数据的多样性，为手术操作或手术指导提供了更充分全面的依据。同时，本发明基于混合现实显示装置实现信息的展示，便于医生或专家对信息的观察，还可便于兼顾多样信息的组合展示，使医生或专家观察各种多样的信息，还可提高展示结果的真实感，提高用户体验。
44.结合支气管镜的情况下，实时内窥图像可体现出支气管镜的运动位置、状态等，其与手术过程中的操作息息相关，进而能体现出手术的具体操作状况，为手术操作或手术指导提供精确、充分的依据，便于准确实现手术操作(例如主刀医生使用混合现实显示装置时)或准确指导手术(例如指导手术的专家使用混合现实显示装置时)。
45.此外，由于混合现实显示装置能够与服务器通讯，且混合现实显示装置的展示内容源自服务器的处理结果，该方案下，即便指导手术的专家在远程使用混合现实显示装置，也可观察到虚拟支气管树的外观模型、实时内窥图像、现实场景图像等信息，有助于准确指导医生的操作。
附图说明
46.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
47.图1是本发明实施例中示例性的一种手术辅助的数据处理系统的构造示意图；
48.图2是本发明实施例中示例性的另一种手术辅助的数据处理系统的构造示意图；
49.图3是本发明实施例中示例性的又一种手术辅助的数据处理系统的构造示意图；
50.图4是本发明实施例中示例性的一种混合现实显示装置的展示效果示意图；
51.图5是本发明实施例中示例性的另一种混合现实显示装置的展示效果示意图；
52.图6是本发明实施例中示例性的转播设备的转播原理示意图；
53.图7是本发明实施例中示例性的一种手术辅助的数据处理方法的流程示意图；
54.图8是本发明实施例中示例性的一种手术辅助的数据处理装置的程序模块示意图；
55.图9是本发明实施例中示例性的另一种手术辅助的数据处理方法的流程示意图；
56.图10是本发明实施例中示例性的另一种手术辅助的数据处理装置的程序模块示意图；
57.图11是本发明实施例中示例性的一种电子设备的构造示意图。
具体实施方式
58.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
59.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
60.下面以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
61.请参考图1，本发明实施例中，手术辅助的数据处理系统，包括：服务器12、支气管镜13，以及混合现实显示装置11；
62.所述服务器12能够与所述混合现实显示装置11、所述支气管镜13直接或间接通讯；例如，服务器12可基于互联网、局域网、物联网等至少之一与混合现实显示装置11、支气管镜13通信，也可直接与混合现实显示装置11、支气管镜13通信。
63.其中的服务器12，可以指具有数据处理能力与对外通信能力的任意设备或设备的组合，此外，手术辅助的数据处理系统中，服务器12的数量可以为一个，也可以为多个。
64.其中的支气管镜13，可以包括图像采集部，支气管镜13可理解为在进入人体的气管后，能够利用图像采集部采集实时内窥图像的装置或装置的组合。其中，支气管镜13还可以包括弯曲管(例如主动弯曲管和/或被动弯曲管)，图像采集部可设于弯曲管的一端，此外，不论采用何种支气管镜，均不脱离本发明实施例的范围。
65.其中的混合现实显示装置11，可理解为以混合现实方式展示信息的装置，其中的混合现实，亦即mr，具体为mixed reality，可理解为现实元素和虚拟元素混合展示的一种方式，此外，混合现实显示装置11也可描述为mr装置。具体举例中，所述混合现实显示装置11可以为头戴式混合现实显示器。用户穿戴后，可在用户的视场内展示各种所需的信息。
66.穿戴混合现实显示装置11的用户可以为手术的主刀医生，也可以为指导手术的专家。本发明实施例的方案可有效兼顾该两种应用场景。
67.进而，不论哪种应用场景下，因为基于混合现实显示装置实现信息的展示，可便于医生或专家对信息的观察，还可便于兼顾多样信息的组合展示，使医生或专家同时观察各种多样的信息，此外，也可提高展示结果的真实感，提高用户体验。
68.图1所示的实施例中，所述服务器12用于：
69.获取虚拟数据；
70.具体可先获取人体的ct数据，在基于所述ct数据，形成虚拟数据。也可直接自其他设备接收该虚拟数据。
71.其中的人体，可理解为当前作为手术对象的人体；
72.ct数据，可以指对人体进行ct扫描从而得到的数据，具体可以是对肺部进行ct扫描而得到的数据，ct数据可主要体现出肺部的各种气管的形态(也可理解为支气管树的形态)，进一步的，ct数据也可体现出血管、肌肉等的形态，同时，执行该ct扫描的设备可以为任意设备。
73.ct数据可以包括ct图像，例如，通过ct扫描，可针对于支气管树的多个位置中的每个位置形成一组ct图像，每组中的ct图像的数量可以为一个，也可以为多个。
74.其中的虚拟数据，可以包含虚拟支气管树的数据，还可包含依托于虚拟支气管树而存在的其他任意数据。
75.其中的虚拟支气管树，可理解为用于模拟人体中真实的支气管树的虚拟模型，一种举例中，虚拟支气管树的基础上，还可利用虚拟生理构造(例如虚拟血管、虚拟肌肉等)模拟出支气管树附近的血管、肌肉等生理构造。
76.对应的，虚拟支气管树的数据可以指对虚拟支气管树进行描述的任意信息。具体的，构建虚拟支气管树时，可在虚拟坐标系中形成虚拟支气管树的点云。此外，本领域中任意基于ct数据而构建虚拟支气管树的方式，均可作为“基于所述ct数据，形成虚拟数据”的一种可选实施方式。
77.此外，虚拟血管、虚拟肌肉等虚拟生理构造也可参照于类似的方式构建，虚拟数据也可包括虚拟生理构造的数据。
78.虚拟数据还可包括病灶位置数据，所述病灶位置数据表征了所述虚拟支气管树与病灶区域的相对位置，进而，可通过虚拟支气管树与病灶区域的相对位置表征出真实的支气管树与真实的病灶部位的相对位置。例如，在虚拟坐标系构建虚拟支气管树之后，可得到虚拟支气管树在虚拟坐标系下的点云坐标，在此基础上，可利用虚拟坐标系下病灶区域的位置数据作为该病灶位置数据。病灶位置数据可以是人工标记出来的，也可以是自动识别出来的。
79.虚拟数据还可包括目标路径的数据，所述目标路径模拟了所述支气管镜进入所述人体后到达病灶的路径；该目标路径可以是在病灶位置数据与虚拟支气管树而规划。本领域任意的路径规划方式，均可作为本发明实施例的一种可选实施方式。
80.例如：服务器可以将患者人体的ct数据导入肺部导航软件，根据其中的ct图像分割并重建胸部相关器官的三维模型，得到虚拟支气管树，然后，可人工或自动针对虚拟支气管树选择病灶区域，形成病灶位置数据，再规划从虚拟支气管树主隆突沿气道中心线到达病灶区域的最优路径，得到目标路径；在此基础上，服务器可将生成的虚拟支气管树的数据、病灶位置数据以及目标路径的数据均输出到混合现实显示装置。
81.图1所示的实施例中，所述服务器12还用于：
82.获取术中数据；
83.其中的术中数据，可以指任意在术中而采集或产生的数据，具体的，术中数据可以包括：手术过程中，所述支气管镜进入所述人体后采集到的实时内窥图像。除了实时内窥图像，术中数据还可例如包括呼吸机工作过程中产生的信息。
84.其中的实时内窥图像，可理解为支气管镜的图像采集部所采集到的图像。
85.图1所示的实施例中，所述服务器12还用于：将所述术中数据与所述虚拟数据发送至所述混合现实显示装置。
86.图1所示的实施例中，所述混合现实显示装置11用于：展示所述实时内窥图像。
87.具体的，在佩戴混合现实显示装置11的用户的视场内，混合现实显示装置11可通过一个界面中展示实时内窥图像。
88.图1所示的实施例中，所述混合现实显示装置11还用于：基于所述虚拟数据，展示所述虚拟支气管树的外观模型；
89.其中的外观模型，可理解为：虚拟支气管树外表面所形成的模型，也可理解为：该外观模型满足：通过对该外观模型的展示，虚拟支气管树内部的内容未展示出来(即无法被观察到)。
90.图1所示实施例中，所述混合现实显示装置11还用于：获取并展示手术过程的现实场景图像。所述现实场景图像是图像采集装置对手术过程进行图像采集而得到的；
91.其中，所述现实场景图像是图像采集装置对手术过程进行图像采集而得到的；所展示的现实场景图像适配于所述手术过程的医护人员(例如主刀医生，也可例如非主刀的医生或护士)观察到的真实场景，其中，现实场景图像的内容、采集视角、展示尺寸等的部分或全部可与主刀医生所观察到的真实场景相同或相似。例如：图像采集装置集成于主刀医生所佩戴的混合现实显示装置11，且其位置、角度、焦距等可适配于主刀医生的眼睛。
92.该图像采集装置可集成于主刀医生所穿戴的混合现实显示装置11，进而，在手术过程中，可采集主刀医生实际所看到的画面，此即为现实场景图像；此外，该图像采集装置也可以是独立于混合现实显示装置11的。
93.该现实场景图像可以是经服务器12转发的，例如所述服务器12还用于：获取所述手术过程的现实场景图像(例如自主刀医生的混合现实显示装置接收到现实场景图像)，并将所述现实场景图像发送至各混合现实显示装置；此外，现实场景图像也可以是混合现实显示装置11直接自图像采集装置获取到的，例如：若图像采集装置集成于主刀医生所佩戴的混合现实显示装置11时，则主刀医生所佩戴的混合现实显示装置11可从中直接获取现实场景图像，无需自服务器接收。
94.可见，在图1所示的实施例中，混合现实显示装置既可展示现实场景图像，又可展示虚拟支气管树的外观模型与实时内窥图像，充分发挥了混合现实显示装置的优势，实现了真实元素与虚拟元素的组合展示，丰富了所展示数据的多样性，为手术操作或手术指导提供了更充分全面的依据。同时，本发明基于混合现实显示装置实现信息的展示，便于医生或专家对信息的观察，还可便于兼顾多样信息的组合展示，使医生或专家观察各种多样的信息，还可提高展示结果的真实感，提高用户体验。
95.结合支气管镜的情况下，实时内窥图像可体现出支气管镜的运动位置、状态等，其与手术过程中的操作息息相关，进而能体现出手术的具体操作状况，为手术操作或手术指导提供精确、充分的依据，便于准确实现手术操作(例如主刀医生使用混合现实显示装置时)或准确指导手术(例如指导手术的专家使用混合现实显示装置时)。
96.此外，由于混合现实显示装置能够与服务器通讯，且混合现实显示装置的展示内容源自服务器的处理结果，该方案下，即便指导手术的专家在远程使用混合现实显示装置，也可观察到虚拟支气管树的外观模型、实时内窥图像、现实场景图像等信息，有助于准确指导医生的操作。
97.其中一种实施方式中，所述服务器12或所述混合现实显示装置11还用于：在所述
人体的手术过程中，确定所述支气管镜在所述人体内的实时位置；
98.其中，确定该实时位置的方式可以根据需求而任意变化，例如：可基于实时内窥图像与虚拟支气管树中部分或全部位置的切片图，通过实时内窥图像与切片图之间的匹配而确定实时位置；再例如：也可基于磁传感器等检测装置对支气管镜的位姿进行检测，然后基于检测结果而确定实时位置；又例如：还可基于目标路径与支气管镜的实际运动路径，通过路径的匹配而确定实时位置。不论采用何种方式，均不脱离本发明实施例的范围。
99.其中一种实施方式中，所述混合现实显示装置11还用于：基于所述虚拟数据与所述实时位置，展示所述虚拟支气管树内部目标位置的内部导航图像；
100.其中，所述目标位置适配于所述实时位置，所述内部导航图像指：虚拟摄像源在所述目标位置观察所述虚拟模型内部而得的图像，此外，虚拟摄像源的观察视角可模仿支气管镜的视角而设计。
101.其中一种实施方式中，所述服务器12还用于：将所述人体的至少部分ct数据发送至所述混合现实显示装置；所述至少部分ct数据包括ct图像；
102.所述混合现实显示装置11还用于：
103.基于所述实时位置，展示所述实时位置的ct图像。
104.具体的，可利用显示窗口显示出ct图像，实时位置的一组ct图像(即多个ct图像)可以在一个显示窗口中显示，也可分别在不同显示窗口中显示；
105.例如，当支气管镜到达某位置时，所展示的ct图像也会随之切换为该位置的ct图像。进而，可随支气管镜位置的变化而适配变化所展示的ct图像，用户通过混合现实显示装置11，可同时获悉该位置的ct图像、实时内窥图像、外观模型等，从而能够同时展示、使用户获悉多样的数据，充分发挥混合现实显示装置的优势。
106.进而，通过以上实施方式，可在混合现实显示装置的展示内容中展示出ct图像，使用户可以同时获悉ct图像，以及实时内窥图像、内部导航图像、虚拟支气管树的外观模型等信息，为用户提供充分的信息作为手术指导或手术操作的依据。
107.其中一种实施方式中，所述混合现实显示装置11还用于：
108.展示所述虚拟支气管树的三维透视图像。
109.其中的三维透视图像，可理解为：针对于虚拟支气管树，虚拟摄像源在虚拟支气管树外观察虚拟支气管树(还可同时观察虚拟支气管树之外的虚拟肌肉、虚拟血管等虚拟生理构造)而形成的一种图像，并且，在该图像中，可将虚拟支气管树(及其他虚拟生理构造)中的部分或全部点云显示为透明的点。此外，在三维透视图像中，还可将点云着色，也可筛除虚拟支气管树、虚拟生理构造的部分点云。
110.具体的，可利用一个显示窗口显示出三维透视图像。
111.通过以上实施方式，可在混合现实显示装置的展示内容中展示出三维透视图像，为用户提供充分的信息作为手术指导或手术操作的依据。
112.其中一种实施方式中，若虚拟数据包括病灶位置数据，则：
113.所述混合现实显示装置11还用于：
114.在展示所述虚拟支气管树的外观模型和/或三维透视图像时，基于所述病灶位置数据，展示所述病灶区域。
115.例如，可在虚拟支气管树的外观模型中利用指定颜色的显示元素标记出病灶区
域。
116.通过以上方案，可在混合现实显示装置的展示内容中展示出病灶区域的位置，使用户可以同时获悉病灶区域的位置，以及实时内窥图像、内部导航图像、虚拟支气管树的外观模型等信息，为用户提供充分的信息作为指导或操作的依据。
117.其中一种实施方式中，若所述虚拟数据包括目标路径的数据，则：
118.所述混合现实显示装置11还用于：
119.在展示所述虚拟支气管树的外观模型和/或三维透视图像时，在其中展示出所述目标路径。
120.例如，可在虚拟支气管树的外观模型中利用指定颜色的显示线条显示出目标路径。
121.其中，通过对目标路径的展示，用户可获悉所规划的路径，进而以此为依据操作手术或指定手术，可保障操作结果能准确适配手术需求。
122.此外，一种举例中，在展示目标路径的同时，还可同步展示出所述实时位置(即展示出所述目标位置)。例如，可利用特定颜色、形状的显示元素显示出支气管镜的实时位置。
123.其中一种实施方式中，服务器12还可用于检查并确认获取到的数据正常有效。
124.其中一种实施方式中，所述混合现实显示装置11，还用于：
125.响应于当前用户的交互信息，对所展示的内容进行调整；
126.所述交互信息是交互装置检测到的，所述交互装置集成于所述混合现实显示装置，或被配置为能够与所述混合现实显示装置通信。
127.具体举例中，所述调整可以包括以下至少之一：
128.缩小所述外观模型；
129.放大所述外观模型；
130.旋转所述外观模型；
131.改变所述外观模型的展示位置；
132.关闭所述外观模型的展示；
133.开启所述外观模型的展示；
134.例如，针对虚拟支气管树的外观模型，用户(例如主刀医生或专家)可以通过手势对其进行拖拽、旋转、放缩等操作实现调整，例如可通过拖拽的手势改变外观模型的展示位置，通过旋转的手势旋转所述外观模型，通过放缩的手势放大、缩小所述外观模型。
135.具体举例中，所述调整可以包括以下至少之一：
136.缩小显示窗口；
137.放大所述显示窗口；
138.改变所述显示窗口的位置；
139.所述显示窗口的开启；
140.所述显示窗口的关闭；
141.其中，所述显示窗口为用于显示对应图像的窗口，所述对应图像为以下任意之一：所述实时内窥图像、所述内部导航图像、所述ct数据中的ct图像、所述虚拟支气管树的三维透视图像。
142.从中可见，在混合现实显示装置11的显示内容中，可能仅显示所述实时内窥图像、
所述内部导航图像、所述ct数据中的ct图像、所述虚拟支气管树的三维透视图像、所述手术过程的现实场景图像中的部分或全部，且具体显示什么是可以基于所述调整而确定、变化的。
143.所述交互装置例如可以包括以下至少之一：
144.检测用户手势的装置，对应的，交互信息可包括手势信息；
145.检测用户眼睛变化的装置；对应的，交互信息可包括眼睛变化信息；其中的眼睛变化可例如眼珠的位置、朝向的变化、眼睛是否眨眼等；
146.检测用户声音指令的装置，对应的交互信息可包括声音指令。
147.请参考图2，其中所示的混合现实显示装置21可参照图1所示实施例及其各种可选实施方式中的混合现实显示装置11理解，其中所示的服务器22可参照图1所示实施例及其各种可选实施方式中的服务器11理解，其中所示的支气管镜23可参照图1所示实施例及其各种可选实施方式中的支气管镜13理解。对于重复的内容，不再赘述。
148.图2所示的实施例中，混合现实显示装置21的数量为至少两个；其中的混合现实显示装置21可供执行手术操作的主刀医生使用，也可供指导手术的专家使用。基于混合现实显示装置21的功能，其可有效兼顾两种可能性的需求。
149.一种应用场景中，可仅由主刀医生使用混合现实显示装置，另一应用场景中，可仅由指导手术的专家使用混合现实显示装置，再一应用场景中，可由主刀医生与指导手术的专家分别使用不同的混合现实显示装置。
150.其中一种实施方式中，多个所述混合现实显示装置所展示的内容保持同步。其中，当主刀医生与指导手术的专家分别使用不同混合现实显示装置时，可保证专家所查看到的信息能够适配于主刀医生所查看到的信息，保障指导的准确性。
151.在此基础上，若结合对展示内容的调整，则：一个用户对所展示内容的调整可及时同步到其他用户的混合现实显示装置。进而，可进一步便于实现用户间信息的共享、交流与指导。
152.例如：专家可通过混合现实显示装置的调整放大显示窗口或外观模型，此时，主刀医生的混合现实显示装置也可观察相同的调整结果，进而可向主刀医生展示某些视角、位置的内容，从而辅助于专家的指导(例如)，反之，主刀医生也可向专家调整展示相应内容，不同专家之间也可调整展示相应内容。
153.再例如，佩戴混合现实显示装置的用户可通过眼睛凝视、手势、声音等交互方式自主或协同操作，并实时共享调整结果与展示内容。
154.此外，各混合现实显示装置可支持多个混合现实显示装置协同操作，例如，某用户通过混合现实显示装置旋转外观模型后，另一用户可通过混合现实显示装置对旋转后的外观模型进行放大，服务器可同步更新所有混合现实显示装置的数据，其他佩戴混合现实显示装置的医生都可实时共享各种数据，远程指导时，医生可以做到即时反馈或指导，提高了手术效率。
155.其中一种实施方式中，不同用户对所述调整中内容的操作权限是不同的，其中的操作权限可例如允许实施某种或某些调整的操作权限，也可例如禁止实施某种或某些调整的操作权限；例如，部分用户只具有放大、缩小所述外观模型这两种调整的操作权限，再例如，部分用户不具有放大、缩小某个显示窗口的操作权限。
156.进一步的一种举例中，专家的操作权限与主刀医生的操作权限可以是不同的，另一种举例中，不同医生的操作权限可以是不同的，其中的不同医生可例如：不同职责的医生、不同资历的医生、不同标识(例如姓名、证书编码等)的医生、不同科室的医生等等。
157.主刀医生使用混合现实显示装置时，无需额外人员配置，混合现实显示装置会将所有画面融合渲染并显示在主刀医生视野中，主刀医生无需转头观看其他设备的画面。
158.图2所示的实施例中，手术辅助的数据处理系统，还包括：ct扫描设备24，所述ct数据可以是所述ct扫描设备24采集的，所述服务器22能够与所述ct扫描设备24直接或间接通讯。
159.图2所示的实施例中，手术辅助的处理系统，还包括c型臂28，c型臂28可以与服务器直接或间接通讯，进而，c型臂28可对人体进行扫描，得到x光扫描结果，然后，可将该x光扫描结果反馈至服务器。
160.一种举例中，在支气管镜进入人体后，服务器也可基于x光扫描结果而实现所述实时位置的定位。例如，可在支气管镜进入人体后，计算支气管镜的实际运动轨迹，然后将该实际运动轨迹与x光扫描结果配准，从而定位出支气管镜的实时位置；另一种举例中，服务器也可在构建虚拟支气管树使用该x光扫描结果；又一举例中，服务器也可在混合现实显示装置中展示x光扫描结果。
161.图2所示的实施例中，手术辅助的数据处理系统，还包括：转播设备25和/或录制设备26。
162.所述录制设备26用于对所述混合现实显示装置所展示的内容进行录制；例如可录制为视频或其他形式的数据。
163.所述转播设备25用于对所述混合现实显示装置所展示的内容进行转播，例如可将所展示的内容转播给其他显示设备(例如显示屏、电脑等)。
164.转播设备25与录制设备26可被配置为能够与服务器22直接或间接通信，也可被配置为能够与至少之一混合现实显示装置21直接或间接通讯。
165.以上方案中，通过转播、录制，可便于实现术后的观摩学习、复盘，以及术中的观摩学习。
166.其中一种实施方式中，通过服务器安装的肺部导航软件，可将服务器生成的数据(例如虚拟数据)导入混合现实显示装置，修改服务器ip地址为当前服务器的地址后，可将其中一个混合现实显示装置连接到电脑上，然后，可在电脑同步显示该混合现实显示装置追踪的画面。此时，该电脑可视作转播设备。
167.图2所示的实施例中，手术辅助的数据处理系统，还可包括：例如呼吸机27的医疗设备，服务器22还可用于：获取到该些医疗设备工作时产生的工作数据，并将该些工作数据发送至混合现实显示装置21；
168.对应的，混合现实显示装置21可显示工作数据。进而，通过该些工作数据，可以为用户的手术操作或手术知道提供更充分的依据。
169.请参考图3，其中所示的混合现实显示装置31可参照图1所示实施例及其各种可选实施方式中的混合现实显示装置11理解，也可参照图2所示实施例及其可选实施方式中的混合现实显示装置21理解，其中所示的服务器32可参照图1所示实施例及其各种可选实施方式中的服务器12理解，也可参照图2所示实施例及其可选实施方式中的服务器22理解，其
中所示的转播设备33与录制设备34可参照图2所示实施例及其可选实施方式中的转播设备25、录制设备26理解。对于重复的内容，不再赘述。
170.图3所示实施例中，服务器32、混合现实显示装置31、转播设备33、录制设别34之间可直接通讯，也可基于路由器35实现通讯，也可基于路由器35而接入网络，从而与其他设备通讯。
171.此外，服务器32与混合现实显示装置31之间的通信可基于网络通信部实现，该网络通信部可以为该路由器35，也可以为其他网络设备，进而，通过网络通信部，服务器与混合现实显示装置之间可实现数据传输。
172.例如：可通过网络通信模块将服务器端生成的虚拟支气管树的数据、病灶位置数据、目标路径的数据以及采集的各种设备的影像(实时内窥图像)、信号数据等发送到各个混合现实显示装置31，还可将交互产生的调整实时返回到服务器，然后将该调整带来的数据变化同步到其他混合现实显示装置31，由此实现各混合现实显示装置31的实时共享。
173.具体举例中，服务器32可以为硬件配置较高、系统性能比较好的台式机，可以更快速高效地处理各种数据并进行大量复杂地计算，还可以连接其他设备(例如支气管镜)，采集其他设备(例如支气管镜)的信息，同步传输给混合现实显示装置；混合现实显示装置为混合现实头戴式显示器，既可以将从服务器接收到的数据进行简单处理，实时渲染更新展示的内容，也可以进行交互，并将交互带来的调整同步给服务器。
174.图4所示的实施例中，提供了一种混合现实显示装置31的一种显示结果，其中，可利用显示窗口41展示虚拟支气管树的三维透视图像，利用显示窗口42展示实时内窥图像，利用显示窗口43展示内部导航图像，利用显示窗口44显示ct图像，同时，虚拟支气管树的外观模型可展示于指定区域45内。而在各显示窗口、外观模型、按钮后的背景46中，混合现实显示装置31可提供真实的手术场景(即现实场景图像)，采集现实场景图像的图像采集装置可集成于混合现实显示装置31(例如主刀医生所穿戴的混合现实显示装置31)，且其视角可适配于穿戴混合现实显示装置31的用户(例如主刀医生)双眼的视角。
175.图5所示的实施例可理解为图4所示显示结果的一种具象显示，图5所示的透视图像可理解为图4所示的三维透视图像，图5所示的支气管镜画面可理解为图4所示的实时内窥图像，图5所示的三维模型内部导航画面可理解为图4所示的内部导航图像，图5所示的当前位置ct图像可理解为图4所示的ct图像，图5所示的支气管树可理解为图4所示的外观模型，图5中背景部分的内容可理解为图4所示的背景46。
176.主导医生在手术过程中，若佩戴混合现实显示装置，既可以同步操作支气管镜及其他手术器械，也可以同步操作、调整混合现实显示装置的展示内容，无需额外人员配置，可起到便于操作的效果，同时，混合现实显示装置会将所有图像融合渲染并显示在医生视野中(例如以图4所示的方式)，医生无需转头观看其他设备的画面。此外，专家佩戴混合现实显示装置时，若展示现实场景图像，其能够以类似于主刀医生的视角而观察到主刀医生所观察到的图像，专家佩戴混合现实显示装置时也可能不显示现实场景图像。
177.针对转播设备，部分方案中，可直接将所展示的内容传输后进行转播后的展示，而不对其进行采样、压缩等处理。
178.另部分方案中，由于所需传输的内容较多，可对其进行一定处理。
179.所述转播设备在对混合现实显示装置所展示的内容进行转播时，具体用于：
180.对展示对象(例如ct图像、外观模型、三维透视图像、内部导航图像、实时内窥图像等)进行采样，得到采样后数据；
181.对所述采样后数据进行传输；
182.在传输后，对所述采样后数据进行重建，得到重建结果。
183.以上三个步骤可例如是转播设备的不同设备单元而实现的，例如可包括：
184.接收处理单元，用于对所述展示对象进行采样，得到采样后数据；
185.传输单元，用于对所述采样后数据进行传输；例如可以是有线传输方式的传输线，也可以是无线传输方式的通信单元，也可既采用传输线，又采用通信单元；
186.重建处理单元，用于在传输后，对所述采样后数据进行重建，得到重建结果。
187.所述转播设备在对所述展示对象进行采样，得到采样后数据时，具体用于：
188.将所述展示对象输入对应的第一卷积网络，以利用所述对应的第一卷积网络的卷积处理对所述展示对象进行压缩感知采样，得到所述采样后数据。
189.由于多个展示对象的内容、维度是不同的，故而，可分别采用不同类的卷积处理，例如：
190.多个展示对象中的内部导航图像、实时内窥图像对应的第一卷积网络实现的卷积处理为2d卷积；
191.所述多个展示对象中所述虚拟支气管树的外观模型对应的第一卷积网络实现的卷积处理为1d卷积；
192.所述多个展示对象中所述虚拟支气管树的三维透视图像对应的第一卷积网络实现的卷积处理为1d卷积或2d卷积；
193.所述多个展示对象中ct图像对应的第一卷积网络实现的卷积处理为1d卷积。
194.具体举例中，请参考图6，由于对不同展示对象实现了不同的卷积处理，所以，第一卷积网络61的采样可理解为多模态压缩感知采样，从而关注于多模态的数据：三维透视图像，ct图像(例如一组ct图像所形成的3d的ct图像)，模拟内窥图像，点云渲染的外观模型。它们采用不同维度的卷积采样，进而，该举例中可无需对数据做分块采样，所以重建不会有块效应。
195.例如，请参见以下公式：
196.y＝w
φ
x
ꢀꢀ
(1)
197.公式1是现有技术中常见的压缩感知采样的公式，y代表采样结果，x代表原始数据(即多个展示对象的数据)，因为采样矩阵的尺寸，所以需要把x切成固定的块做采样，重建之后再做合并。但采用第一卷积网络进行卷积时，引入不同维度的卷积采样后，公式如下：
[0198][0199]
n代表x的维度，进而，可通过x的维度选取卷积核，因为卷积的特性，可以处理可变尺寸的数据，所以不需要分块，不会有块效应。
[0200]
其中一种实施方式中，所述转播设备在对所述采样后数据进行重建，得到重建结果时，具体用于：
[0201]
利用第二卷积网络对所述采样后数据进行卷积处理，得到一次恢复后的数据；
[0202]
利用浅度卷积网络对所述一次恢复后的数据进行卷积处理，得到二次恢复后的数据；所述浅度卷积网络在训练时经深度卷积网络进行知识蒸馏；
[0203]
利用注意力网络对所述二次恢复后的数据进行数据增强，得到每个展示对象的重建结果。
[0204]
其中，所述第一卷积网络、所述第二卷积网络、所述浅度卷积网络、所述深度卷积网络、所述注意力网络可以是一同训练的，进而，所述第一卷积网络、所述第二卷积网络、所述浅度卷积网络、所述深度卷积网络、所述注意力网络可具备准确地采样、重构的能力，保障转播结果可准确、高清地还原各展示对象的实际内容。
[0205]
具体举例中，请参考图6，第二卷积网络62可以为深度可分离卷积的卷积网络，其输出结果可表征为：
[0206]
其中，考虑到混合现实显示装置所需传输的数据量巨大，采用普通的卷积网络，计算量巨大，故而采用深度可分离卷积的卷积网络来处理这个问题，具体以网络里的2d卷积为例子，可以采用32个3
×3×
32的2d卷积核，其参数为3
×3×
32
×
32＝9216，
[0207]
而采用深度可分离卷积，32个3
×3×
32的2d卷积核可分离为1个3
×3×
32的2d卷积核，和32个1
×1×
32的2d卷积核，参数一共是1
×3×3×
32+32
×1×1×
32＝1312个参数。参数量减少了85％。
[0208]
其中一种实施方式中，在训练时，所述第二卷积网络的输出数据将分别传输至所述深度卷积网络与所述浅度卷积网络，在对所述采样后数据进行所述重建时，所述第二卷积网络的输出数据仅传输至所述浅度卷积网络。
[0209]
具体举例中，请参考图6，deep cnn代表深度卷积网络64，shallow cnn代表浅度卷积网络63，网络训练的时候，可使用知识蒸馏机制。
[0210]
具体的，深度卷积网络34可采用由k个(例如12个)残差模块组成，每个残差模块由3
×3×
32的卷积、批次归一化(bn，batch normalization)、校正线性单元(relu)和3
×3×
32的卷积和跳跃连接组成。浅度卷积网络63则采用k/2个(例如6个)残差模块组成.知识蒸馏的损失函数为：
[0211]
l1＝kldiv(f
deep
(x0)-f
shallow
(x0))+||x
label-f
shallow
(x0)||2ꢀꢀ
(3)
[0212]
kldiv代表kl散度，x0为压缩感知初始化重建，x
label
为重建数据的标签，f
deep
(x0)为深度卷积网络输出结果，f
shallow
(x0)为浅度卷积网络输出结果。
[0213]
其中，通过知识蒸馏，在训练时可以把深度卷积网络64的知识传递给浅度卷积网络63。
[0214]
其中一种实施方式中，请参考图6，所述注意力网络的数量为两个，两个注意力网络分别为不带位移的采用窗口法注意力机制的第一注意力网络65，以及带位移的采用窗口法注意力机制的第二注意力网络66。
[0215]
所述二次恢复后的数据依次经所述第一注意力网络65与所述第二注意力网络66处理后，能够形成每个对象的重建结果。
[0216]
具体举例中，请参考图6，ln代表层间的正则化，使用方差和期望正则化，mlp代表全连接网络，w-msa(window attention)代表窗口法的注意力机制，sw-msa(shifted window attention)代表带循环移位的窗口法的注意力机制，循环移位对数据进行了数据增强，进而，采用第一注意力网络65与第二注意力网络66的情况下，可使得注意力网络能提供较佳的鲁棒性。
[0217]
此外，其中还利用注意力机制模块来捕捉长距离依赖，窗口法通过对输入进行分块组合，从而减少后面注意力机制计算所需要的时间，有利于实时高清压缩感知重建，得到高清还原的重建结果。
[0218]
其中的算法可以用公式表示为：
[0219][0220]fattention
表示图6中虚线的两个注意力网络。
[0221]
x
l+1
表示重建结果；
[0222]
重建结果的损失函数可以为：
[0223]
l2＝||x
label-x
l+1
||2ꢀꢀ
(5)
[0224]
x
label
表示训练时使用的标签；
[0225]
||x
label-x
l+1
||2表示二范数的计算。
[0226]
请参考图7，本发明实施例提供了一种手术辅助的数据处理方法，包括：
[0227]
s71：自服务器接收虚拟数据；
[0228]
s72：自服务器接收实时内窥图像；
[0229]
s73：基于所述虚拟数据，在混合现实显示装置展示所述虚拟支气管树的外观模型；
[0230]
s74：在所述混合现实显示装置展示所述实时内窥图像；
[0231]
s75：获取并在混合现实显示装置展示手术过程的现实场景图像；
[0232]
图7所示的数据处理方法可以应用于混合现实显示装置，进而，图1、图2、图3、图4所示实施例及其可选实施方式中混合现实显示装置所实现的部分或全部功能，均可理解为图7所示手术辅助的数据处理方法的步骤。图7所示实施例中的技术名词、可选实施方式、技术效果，可参照图1、图2、图3、图4所示实施例及其可选实施方式理解，对于重复的内容，不再赘述。
[0233]
图7所示实施例的一种实施方式中，手术辅助的数据处理方法，还包括：
[0234]
基于所述虚拟数据与所述实时位置，在所述混合现实显示装置展示所述虚拟支气管树内部目标位置的内部导航图像，所述实时位置是所述服务器或所述混合现实显示装置确定的。
[0235]
图7所示实施例的一种实施方式中，手术辅助的数据处理方法，还包括：
[0236]
接收所述服务器发出的所述人体的至少部分ct数据；
[0237]
基于所述实时位置，在所述混合现实显示装置展示所述实时位置的ct图像。
[0238]
图7所示实施例的一种实施方式中，所述的手术辅助的数据处理方法，还包括：
[0239]
在所述混合现实显示装置展示所述虚拟支气管树的三维透视图像。
[0240]
图7所示实施例的一种实施方式中，手术辅助的数据处理方法，还包括：
[0241]
接收所述服务器发出的病灶位置数据；
[0242]
在所述混合现实显示装置展示所述虚拟支气管树的外观模型和/或三维透视图像时，基于所述病灶位置数据，展示所述病灶区域。
[0243]
图7所示实施例的一种实施方式中，手术辅助的数据处理方法，还包括：
[0244]
接收目标路径；
[0245]
在所述混合现实显示装置展示所述虚拟支气管树的外观模型和/或三维透视图像时，在其中展示出所述目标路径。
[0246]
图7所示实施例的一种实施方式中，手术辅助的数据处理方法，还包括：
[0247]
获取所述手术过程的现实场景图像；
[0248]
在所述混合现实显示装置展示所述现实场景图像。
[0249]
图7所示实施例的一种实施方式中，手术辅助的数据处理方法，还包括：
[0250]
获取当前用户的交互信息；
[0251]
响应于当前用户的交互信息，对所述混合现实显示装置中所展示的内容进行调整。
[0252]
对应于图7所示的数据处理方法，请参考图8，本发明实施例提供了一种手术辅助的数据处理装置80，包括：
[0253]
接收模块81，用于：
[0254]
自服务器接收虚拟数据、实时内窥图像；所述虚拟数据包括人体的虚拟支气管树的数据，所述虚拟数据是所述服务器基于所述人体的ct数据形成的，所述实时内窥图像是手术过程中，支气管镜进入所述人体后采集到的；
[0255]
展示模块82，用于：
[0256]
基于所述虚拟数据，在混合现实显示装置展示所述虚拟支气管树的外观模型；
[0257]
在所述混合现实显示装置展示所述实时内窥图像；
[0258]
获取并展示手术过程的现实场景图像；所述现实场景图像是图像采集装置对手术过程进行图像采集而得到的；所展示的现实场景图像适配于所述手术过程的医护人员观察到的真实场景。
[0259]
其中一种实施方式中，所述展示模块82，还用于：
[0260]
基于所述虚拟数据，以及所述支气管镜在所述人体内的实时位置，在所述混合现实显示装置展示所述虚拟支气管树内部目标位置的内部导航图像。
[0261]
其中一种实施方式中，所述接收模块81，还用于：接收所述服务器发出的所述人体的至少部分ct数据；
[0262]
所述展示模块82，还用于基于所述实时位置，在所述混合现实显示装置展示所述实时位置的ct图像。
[0263]
其中一种实施方式中，所述展示模块82，还用于：在所述混合现实显示装置展示所述虚拟支气管树的三维透视图像。
[0264]
其中一种实施方式中，所述接收模块81还用于：接收所述服务器发出的病灶位置数据；
[0265]
所述展示模块82还用于：在所述混合现实显示装置展示所述虚拟支气管树的外观模型和/或三维透视图像时，基于所述病灶位置数据，展示所述病灶区域。
[0266]
其中一种实施方式中，所述接收模块81还用于：接收目标路径；
[0267]
所述展示模块82还用于：在所述混合现实显示装置展示所述虚拟支气管树的外观模型和/或三维透视图像时，在其中展示出所述目标路径。
[0268]
其中一种实施方式中，所述的手术辅助的数据处理装置，还包括：
[0269]
交互获取模块，用于获取当前用户的交互信息；
[0270]
调整模块，用于响应于当前用户的交互信息，对所述混合现实显示装置中所展示的内容进行调整。
[0271]
请参考图9，本发明实施例还提供了一种手术辅助的数据处理方法，应用于服务器，所述的数据处理方法，包括：
[0272]
s91：获取虚拟数据；
[0273]
s92：获取术中数据；
[0274]
s93：获取手术过程的现实场景图像；
[0275]
s94：将所述术中数据、所述虚拟数据与所述现实场景图像发送至混合现实显示装置。
[0276]
该数据处理方法可以应用于服务器，进而，图1、图2、图3、图4所示实施例及其可选实施方式中服务器所实现的部分或全部功能，均可理解为图9所示手术辅助的数据处理方法的步骤。图9所示实施例中的技术名词、可选实施方式、技术效果，可参照图1、图2、图3、图4所示实施例及其可选实施方式理解。
[0277]
图9所示实施例的一种实施方式中，数据处理方法，还包括：在所述人体的手术过程中，确定所述支气管镜在所述人体内的实时位置，并将所述实时位置反馈至所述混合现实显示装置。图7所示实施例的一种实施方式中，数据处理方法，还包括：
[0278]
将所述人体的至少部分ct数据发送至所述混合现实显示装置。
[0279]
对应于图9所示实施例，请参考图10，本发明实施例还提供了一种手术辅助的数据处理装置100，应用于服务器，包括：
[0280]
获取模块101，用于：
[0281]
获取虚拟数据；
[0282]
获取术中数据；
[0283]
获取手术过程的现实场景图像；所述现实场景图像是图像采集装置对手术过程进行图像采集而得到的；
[0284]
发送模块102，用于：
[0285]
将所述术中数据、所述虚拟数据与所述现实场景图像发送至混合现实显示装置。
[0286]
图10所示实施例的一种实施方式中，所述发送模块102还用于：
[0287]
在所述人体的手术过程中，确定所述支气管镜在所述人体内的实时位置，并将所述实时位置反馈至所述混合现实显示装置。
[0288]
其中一种实施方式中，所述发送模块102还用于：
[0289]
将所述人体的至少部分ct数据发送至所述混合现实显示装置。
[0290]
请参考图11，提供了一种电子设备110，包括：
[0291]
处理器111；以及，
[0292]
存储器112，用于存储所述处理器的可执行指令；
[0293]
其中，所述处理器111配置为经由执行所述可执行指令来执行以上所涉及的方法。
[0294]
处理器111能够通过总线113与存储器112通讯。
[0295]
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所涉及的方法。
[0296]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通
过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0297]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。