1.本公开涉及医学观察系统、控制装置和控制方法。


背景技术：

2.近年来，在内窥镜手术中，使用内窥镜拍摄患者的腹腔内的图像，并且在将由内窥镜拍摄的图像显示在显示器上的同时执行手术。
3.例如，专利文献1公开了一种用于使对支撑内窥镜的臂的控制和对内窥镜的电子变焦的控制能够相互配合的技术。
4.引用列表
5.专利文献
6.专利文献1：wo 2017/145475。


技术实现要素：

7.技术问题
8.传统的腹腔镜在体内没有自由度并且对视野扩展有限制，从而造成盲点。已经提出了一种具有通过图像识别来识别工具并跟随相机的功能的臂装置。然而，目前的内窥镜的视野狭窄，只有80度左右，并且在放大视图中仅看到工具的一部分。因此，工具的识别精度可能在屏幕端降低。当识别精度降低时，臂的可控性可能变差。
9.因此，本公开提出一种能够提高图像的识别精度并基于图像适当地控制臂装置的运动的医学观察系统、控制装置和控制方法。
10.问题的解决方案
11.根据本公开的一个方面，提供了一种处理医学图像的方法，包括：使用医学成像装置获取第一医学图像；使用包括深度信息的第一医学图像的图像信息来分析第一医学图像的状态；基于包括对深度信息的分析在内的分析，在没有用户干预的情况下自动确定与第一医学图像相对应并且具有比第一医学图像更小的视角的第二医学图像；并且显示第二医学图像。
12.根据本公开的另一方面，提供了一种医疗系统，包括：医学成像装置；被配置为控制医学成像装置以获取第一医学图像的电路；被配置为使用包括深度信息的第一医学图像的图像信息来执行对第一医学图像的状态的分析的电路；以及被配置为基于包括对深度信息的分析在内的分析，在没有用户干预的情况下自动确定与第一医学图像相对应并且具有比第一医学图像更小的视角的第二医学图像，并且使显示器显示第二医学图像的电路。
13.更进一步地，本公开的又另一方面包括一种训练神经网络的计算机实现的方法，包括：收集训练信息集，该训练信息集包括图像质量信息、相机位置信息和手术工具信息；基于该训练信息集训练神经网络，该神经网络用于基于当前相机位置信息和当前手术工具信息来改变视图。
附图说明
14.图1是示出可以应用根据本公开的技术的内窥镜手术系统的示意性配置的示例的示图。
15.图2是示出图1所示的相机头和相机控制单元(ccu)的功能配置的示例的框图。
16.图3是示出根据本公开的实施例的支撑臂装置的外观的示意图。
17.图4是示出根据本公开的实施例的前斜视内窥镜的配置的示意图。
18.图5是示出根据本公开的实施例的前斜视内窥镜与前视内窥镜以进行比较的示意图。
19.图6是示出根据本公开的实施例的医学观察系统的配置的示例的框图。
20.图7是用于描述根据本公开的实施例的机械臂装置的配置的概要的示图。
21.图8是用于描述根据本公开的实施例的医学观察系统1的处理流程的概要的示图。
22.图9是用于描述由根据本公开的实施例的成像单元拍摄的术野图像的示图。
23.图10是用于描述根据本公开的实施例的第一术野图像和第二术野图像的示图。
24.图11a是示出根据本公开的实施例的第一术野图像的示图。
25.图11b是示出根据本公开的实施例的第二术野图像的示图。
26.图12是用于描述根据本公开的实施例的对第二术野图像执行的处理的示图。
27.图13a是用于描述根据本公开的实施例的由识别单元识别的信息的示图。
28.图13b是用于描述根据本公开的实施例的由识别单元识别的信息的示图。
29.图13c是用于描述根据本公开的实施例的由识别单元识别的信息的示图。
30.图13d是用于描述根据本公开的实施例的由识别单元识别的信息的示图。
31.图13e是用于描述根据本公开的实施例的由识别单元识别的信息的示图。
32.图14a是用于描述根据本公开的实施例的学习单元的确定结果的示图。
33.图14b是用于描述根据本公开的实施例的学习单元的确定结果的示图。
34.图14c是用于描述根据本公开的实施例的学习单元的确定结果的示图。
35.图15是示出根据本公开的实施例的用于通过控制单元控制臂部的位置和姿势的处理流程的示例的流程图。
36.图16是用于描述根据本公开的实施例的通过控制单元从第一术野图像为医生生成第二术野图像的处理流程的示例的流程图。
37.图17是示出用于基于第一术野图像的识别结果控制第二术野图像的裁剪位置的处理流程的示例的流程图。
38.图18是用于描述前斜视内窥镜的光轴的示图。
39.图19是用于描述模型创建和控制的示图。
40.图20是示出当将全身协同控制的扩展应用于6轴臂和前斜视内窥镜单元时的每个连杆配置的示例的示图。
41.图21是示出用于实现控制装置的功能的计算机的示例的硬件配置图。
42.图22a示出了对应于图16的流程图的过程。
43.图22b示出了对应于图16的流程图的过程。
44.图22c示出了对应于图16的流程图的过程。
45.图22d示出了对应于图16的流程图的过程。
46.图22e示出了对应于图17的步骤s305的可选处理。
具体实施方式
47.下面结合附图详细描述本公开的实施例。在以下实施例中，相同的部分用相同的参考符号表示以省略重复的描述。
48.按以下描述的项的顺序描述本公开：
49.1.内窥镜系统的配置示例
50.2.支撑臂装置的具体配置示例
51.3.前斜视内窥镜的基本配置
52.4.医学观察系统
53.5.对支撑前斜视内窥镜的臂的控制
54.6.虚拟连杆的设置；以及
55.7.硬件配置
56.1.内窥镜系统的配置示例
57.图1是示出可以应用根据本公开的技术的内窥镜手术系统5000的示意性配置的示例的示图。图1示出了操作者(外科医生)5067使用内窥镜手术系统5000对病床5069上的患者5071执行手术的情况。如图1所示，内窥镜手术系统5000包括内窥镜5001、其他手术工具5017、支撑内窥镜5001的支撑臂装置5027和安装有用于内窥镜手术的各种装置的推车5037。
58.在内窥镜手术中，被称为套管针5025a至5025d的多个圆柱形切口工具被针刺到腹壁中而不是为了剖腹术而切割腹壁。通过套管针5025a至5025d，内窥镜5001中的镜头筒5003和其他手术工具5017被插入到患者5071的体腔中。在所示的示例中，作为其他手术工具5017，将气腹管5019、能量治疗工具5021和钳子5023插入患者5071的体腔。能量治疗工具5021是用于通过高频电流或超声波振动切割和释放组织或封闭血管的治疗工具。所示的手术工具5017仅是示例，并且作为手术工具5017，例如可以使用在一般的内窥镜手术中使用的各种手术工具，诸如镊子和牵引器。
59.在显示装置5041上显示由内窥镜5001拍摄的患者5071的体腔中的手术部位的图像。操作者5067在实时观察显示装置5041上显示的手术部位的图像的同时使用能量治疗工具5021和钳子5023执行诸如切割患部的治疗。尽管未示出，但是在手术期间由操作者5067或助手支撑气腹管5019、能量治疗工具5021和钳子5023。
60.支撑臂装置
61.支撑臂装置5027包括从基部5029延伸的臂部5031。在所示的示例中，臂部5031包括关节部5033a、5033b和5033c以及连杆5035a和5035b，并且由来自臂控制装置5045的控制驱动。内窥镜5001由臂部5031支撑，并且内窥镜5001的位置和姿势受到控制。以此方式，内窥镜5001的位置可以被稳定地固定。
62.内窥镜
63.内窥镜5001包括要插入到患者5071的体腔中的具有距远端预定长度的区域的镜头筒5003以及连接到镜头筒5003的基端的相机头5005。图1示出了具有硬镜头筒5003(即，硬镜)的内窥镜5001的示例，但是内窥镜5001可以被配置为具有柔性镜头筒5003的所谓的
柔性镜。
64.在镜头筒5003的远端，设置了开口，物镜通过该开口装配。光源装置5043连接到内窥镜5001。由光源装置5043生成的光通过延伸到镜头筒5003的内部的光导被引导到镜头筒的远端，并通过可以实现为作为内窥镜5001和/或镜头筒5003的一部分的广角镜头的物镜照射到患者5071体腔中的观察目标。内窥镜5001可以是前视内窥镜、前斜视内窥镜或侧视内窥镜。
65.光学系统和成像元件设置在相机头5005内部，并且来自观察目标的反射光(观察光)通过光学系统聚光到成像元件。观察光被成像元件光电转换以生成对应于观察光的电信号，即对应于观察图像的图像信号。图像信号作为原始数据被发送到相机控制单元(ccu)5039。相机头5005具有用于适当地驱动光学系统以调整放大率和焦距的功能。
66.例如，相机头5005可以设置有多个成像元件以便支持立体观察(3d显示)。在这种情况下，在镜头筒5003内部设置多个系统的回放光学系统以将观察光引导到成像元件。
67.各种装置安装在推车5037中。ccu 5039由中央处理单元(cpu)或图形处理单元(gpu)构成，并且全面控制内窥镜5001和显示装置5041的操作。具体地，ccu 5039对从相机头5005接收的图像信号执行诸如显影处理(去马赛克)的各种图像处理以基于图像信号显示图像。ccu 5039将经过图像处理的图像信号提供给显示装置5041。ccu 5039将控制信号发送至相机头5005以控制相机头5005的驱动。控制信号可以包括关于诸如放大率和焦距的成像条件的信息。
68.在ccu 5039的控制下，显示装置5041基于经过ccu 5039的图像处理的图像信号显示图像。例如，当内窥镜5001支持诸如4k(水平像素数3,840
×
垂直像素数2,160)和8k(水平像素数7,680
×
垂直像素数4,320)和/或3d显示的高分辨率拍摄时，可以相应地使用能够高分辨率显示和/或3d显示的显示装置作为显示装置5041。当显示装置5041支持诸如4k和8k的高分辨率拍摄时，如果显示装置5041的尺寸为55英寸或更大尺寸，则可以获得更高的沉浸感。根据用途，可以提供具有不同分辨率和尺寸的多个显示装置5041。
69.光源装置5043由诸如发光二极管(led)的光源构成，并且将用于拍摄手术部位的照射光供应至内窥镜5001。
70.臂控制装置5045由诸如cpu的处理器构成。臂控制装置5045根据预定的计算机程序进行操作，并根据预定的控制方法控制支撑臂装置5027中的臂部5031的驱动。
71.输入装置5047是用于内窥镜手术系统5000的输入接口。用户可以通过输入装置5047将各种类型的信息和指令输入至内窥镜手术系统5000。例如，用户通过输入装置5047输入关于手术的各种类型的信息，诸如关于患者的身体信息和关于手术的手术过程的信息。例如，用户通过输入装置5047输入驱动臂部5031的指令、改变内窥镜5001的成像条件(诸如照射光的类型、放大率和焦距)的指令以及驱动能量治疗工具5021的指令。
72.输入装置5047的类型不受限制，并且输入装置5047可以是各种公知的输入装置。作为输入装置5047，例如，可以应用鼠标、键盘、触摸面板、开关、脚踏开关5057和/或操纵杆。当触摸面板用作输入装置5047时，触摸面板可以设置在显示装置5041的显示表面上。
73.可选地，例如，输入装置5047是安装在用户上的装置，诸如眼镜式可穿戴装置和头戴式显示器(hmd)，并且根据由装置检测到的用户的手势或视线进行各种输入。输入装置5047包括能够检测用户的运动的相机，并且根据由相机拍摄的视频中检测到的用户的手势
或视线进行各种输入。此外，输入装置5047包括能够收集用户的语音的麦克风，并且通过麦克风通过语音进行各种输入。以此方式，输入装置5047被配置为以非接触方式输入各种信息，并且因此尤其是属于清洁区域的用户(例如，操作者5067)可以以非接触方式操作属于非清洁区域的装置。用户可以在不将他/她的手从握持的手术工具上松开的情况下操作装置，并且因此提高了用户的便利性。
74.治疗工具控制装置5049控制能量治疗工具5021的驱动以进行组织的烧灼和切口或血管的封闭。气腹装置5051通过气腹管5019将气体送入患者5071的体腔中以扩张体腔，目的是为了确保内窥镜5001的视野并确保操作者的操作空间。记录仪5053是能够记录关于手术的各种信息的装置。打印机5055是能够以诸如文本、图像和图表的各种格式打印关于手术的各种信息的装置。
75.下面更详细地描述内窥镜手术系统5000的具体特征配置。
76.支撑臂装置
77.支撑臂装置5027包括作为基座的基部5029和从基部5029延伸的臂部5031。在所示的示例中，臂部5031包括多个关节部5033a、5033b和5033c以及通过关节部5033b耦接的多个连杆5035a和5035b。在图1中，为简单起见简化了臂部5031的配置的图示。在实践中，关节部5033a至5033c以及连杆5035a和5035b的形状、数量和布置以及关节部5033a至5033c的旋转轴的方向可以被适当地设置使得臂部5031具有期望的自由度。例如，臂部5031可以被优选地配置为具有六个或更多个自由度。以此方式，内窥镜5001可以在臂部5031的可移动范围内自由移动，并且因此内窥镜5001中的镜头筒5003可以从期望的方向插入到患者5071的体腔中。
78.关节部5033a至5033c设置有致动器，并且关节部5033a至5033c由致动器驱动从而可围绕预定旋转轴旋转。当致动器的驱动由臂控制装置5045控制时，关节部5033a至5033c的旋转角度被控制以控制臂部5031的驱动。以此方式，可以控制内窥镜5001的位置和姿势。在这种情况下，臂控制装置5045可以通过诸如力控制和位置控制的各种公知的控制方法来控制臂部5031的驱动。
79.例如，当操作者5067通过输入装置5047(包括脚踏开关5057)适当地输入操作时，臂部5031的驱动可以根据操作输入由臂控制装置5045适当地控制，使得内窥镜5001的位置和姿势受到控制。这种控制使得在臂部5031的远端处的内窥镜5001能够从期望位置移动到另一期望位置并且在移动之后的位置处被固定地支撑。臂部5031可以通过所谓的“主从方法”进行操作。在这种情况下，用户可以通过安装在远离手术室或手术室中的位置处的输入装置5047(主控制台)远程操作臂部5031(从)。
80.在施加力控制的情况下，臂控制装置5045可以执行所谓的“动力辅助控制”，其中，从用户接收外力并且驱动关节部5033a至5033c的致动器，使得臂部5031响应于外力而平稳地移动。以此方式，当用户在直接接触臂部5031的同时移动臂部5031时，用户可以以相对较小的力移动臂部5031。因此，用户可以通过更直观和更简单的操作来移动内窥镜5001，并且可以提高用户的便利性。
81.通常，在内窥镜手术中，内窥镜5001由医生或被称为“内窥镜师”的其他医疗人员支撑和/或操作。另一方面，支撑臂装置5027的使用使得内窥镜5001的位置能够在无需人力的情况下更加可靠地固定，从而稳定地获得手术部位的图像以执行顺利的手术。
82.臂控制装置5045不一定需要设置在推车5037上。臂控制装置5045不一定需要是单个装置。例如，臂控制装置5045可以设置在支撑臂装置5027中的臂部5031中的每个关节部5033a至5033c上，并且多个臂控制装置5045可以协同实现对臂部5031的驱动控制。
83.光源装置
84.光源装置5043将用于拍摄手术部位的照射光供应至内窥镜5001。例如，光源装置5043由通过led、激光光源或其组合形成的白色光源构成。当白色光源由rgb激光光源的组合构成时，可以高精度地控制每种颜色(每种波长)的输出强度和输出定时，并且因此可以通过光源装置5043调整拍摄图像的白平衡。在这种情况下，通过以时分方式将来自rgb激光光源的激光光束施加到观察目标并与施加定时同步地控制相机头5005中的成像元件的驱动，可以以时分方式拍摄对应于rgb的图像。这种方法可以在不向成像元件提供滤色器的情况下获得彩色图像。
85.可以控制光源装置5043的驱动，使得每预定时间改变输出光的强度。通过与改变光强度的定时同步地控制相机头5005中的成像元件的驱动从而以时分方式获取图像并组合图像，可以生成没有所谓“破碎阴影”或“过曝亮点”的高动态范围图像。
86.光源装置5043可以被配置为提供对应于特殊光观察的预定波长带的光。例如，在特殊光观察中，执行所谓的“窄带成像”，在该“窄带成像”中，使用身体组织中光吸收的波长依赖性，以及施加比正常观察期间的照射光(即，白光)更窄带宽的光，从而以高对比度拍摄诸如黏膜表层中的血管的预定组织。可选地，在特殊光观察中，可以执行通过施加激发光生成的荧光来获得图像的荧光观察。在荧光观察中，可以将激发光施加到身体组织上，并可以观察来自身体组织的荧光(自发荧光观察)，或者将诸如吲哚菁绿(icg)的试剂局部注入身体组织，并可以将对应于试剂的荧光波长的激发光施加到身体组织以获得荧光图像。光源装置5043可以能够提供支持这种特殊光观察的窄带光和/或激发光。
87.相机头和ccu
88.参考图2，更详细地描述了内窥镜5001中的相机头5005和ccu 5039的功能。图2是示出图1所示的相机头5005和ccu 5039的功能配置的示例的框图。
89.参考图2，相机头5005按照其功能包括镜头单元5007、成像单元5009、驱动单元5011、通信单元5013和相机头控制单元5015。ccu 5039按照其功能包括通信单元5059、图像处理单元5061和控制单元5063。相机头5005和ccu 5039通过传输电缆5065连接以便双向通信。
90.首先，描述相机头5005的功能配置。镜头单元5007是设置在与镜头筒5003的连接部分处的光学系统。从镜头筒5003的远端获取的观察光被引导到相机头5005，并进入镜头单元5007。镜头单元5007由包括变焦镜头和聚焦镜头的多个镜头的组合构成。镜头单元5007的光学特性被调整为使得观察光聚光在成像单元5009中的成像元件的光接收表面上。变焦镜头和聚焦镜头被配置为使得它们在光轴上的位置可以移动以便调整所拍摄的图像的放大率和焦点。
91.成像单元5009由成像元件构成，并且被设置在镜头单元5007的后方。已经穿过镜头单元5007的观察光聚光在成像元件的光接收表面上，并经过光电转换，使得生成对应于观察图像的图像信号。由成像单元5009生成的图像信号被提供给通信单元5013。
92.构成成像单元5009的成像元件的示例包括互补金属氧化物半导体(cmos)类型的
图像传感器，并且使用具有能够进行彩色拍摄的拜耳排列的成像元件。作为成像元件，例如，可以使用支持以4k或更高的高分辨率拍摄的成像元件。当可以以高分辨率获得手术部位的图像时，操作者5067可以更详细地掌握手术部位的情况并且更顺利地进行手术。
93.构成成像单元5009的成像元件具有用于获取对应于3d显示的右眼和左眼的图像信号的一对成像元件。3d显示使操作者5067能够更准确地掌握手术部位中生物组织的深度。当成像单元5009由多型成像单元构成时，多个系统的镜头单元5007对应于成像元件设置。
94.成像单元5009不必设置在相机头5005中。例如，成像单元5009可以设置在紧接物镜后面的镜头筒5003内部。
95.驱动单元5011由致动器构成。在相机头控制单元5015的控制下，驱动单元5011将镜头单元5007中的变焦镜头和聚焦镜头沿光轴移动预定距离。以此方式，可以适当地调整由成像单元5009拍摄的图像的放大率和焦点。
96.通信单元5013由用于将各种信息发送至ccu 5039和从ccu 5039接收各种信息的通信装置构成。通信单元5013通过传输电缆5065将从成像单元5009获得的图像信号作为原始数据发送至ccu 5039。在这种情况下，为了以低延迟显示手术部位的拍摄图像，优选通过光通信发送图像信号。原因在于，在手术中，操作者5067在通过所拍摄的图像观察患部的状态的同时执行手术，并且因此为了更安全和可靠的手术，需要尽可能实时地显示手术部位的移动图像。当执行光通信时，通信单元5013设置有用于将电信号转换为光信号的光电转换模块。在图像信号由光电转换模块转换为光信号之后，图像信号通过传输电缆5065发送至ccu 5039。
97.通信单元5013从ccu 5039接收用于控制相机头5005的驱动的控制信号。例如，控制信号包括关于成像条件的信息，诸如用于指定所拍摄的图像的帧速率的信息、用于指定成像期间的曝光值的信息和/或用于指定所拍摄的图像的放大率和焦点的信息。通信单元5013将所接收的控制信号提供给相机头控制单元5015。来自ccu 5039的控制信号也可以通过光通信发送。在这种情况下，通信单元5013设置有用于将光信号转换为电信号的光电转换模块。控制信号由光电转换模块转换为电信号，并且随后被提供给相机头控制单元5015。
98.ccu 5039中的控制单元5063基于所获取的图像信号自动设置上述成像条件，诸如帧速率、曝光值、放大率和焦点。换句话说，在内窥镜5001中安装了所谓的“自动曝光(ae)功能”、“自动聚焦(af)功能”和“自动白平衡(awb)功能”。
99.相机头控制单元5015基于通过通信单元5013接收到的来自ccu 5039的控制信号来控制相机头5005的驱动。例如，相机头控制单元5015基于用于指定所拍摄的图像的帧速率的信息和/或用于指定成像期间的曝光的信息来控制成像单元5009中的成像元件的驱动。例如，相机头控制单元5015基于用于指定所拍摄的图像的放大率和焦点的信息通过驱动单元5011适当地移动镜头单元5007中的变焦镜头和聚焦镜头。相机头控制单元5015还可以具有用于在其中存储用于识别镜头筒5003和相机头5005的信息的功能。
100.通过将诸如镜头单元5007和成像单元5009的配置设置在具有高气密性和防水性的气密结构中，相机头5005可以设置有对高压灭菌的耐受性。
101.接下来，描述ccu 5039的功能配置。通信单元5059包括用于将各种信息发送至相机头5005发送和从相机头5005接收各种信息的通信装置。通信单元5059从相机头5005接收
通过传输电缆5065发送的图像信号。在这种情况下，如上所述，图像信号可以优选地通过光通信发送。在这种情况下，通信单元5059设置有用于将光信号转换为电信号以便支持光通信的光电转换模块。通信单元5059将转换为电信号的图像信号提供给图像处理单元5061。
102.通信单元5059将用于控制相机头5005的驱动的控制信号发送至相机头5005。控制信号可以通过光通信发送。
103.图像处理单元5061对从相机头5005发送的作为原始数据的图像信号执行各种图像处理。图像处理的示例包括各种公知的信号处理，诸如显影处理、图像质量提高处理(增强、超分辨率处理、降噪(nr)处理和/或图像稳定处理)和/或放大处理(电子变焦)。图像处理单元5061针对ae、af和awb对图像信号执行检测处理。
104.图像处理单元5061由诸如cpu和gpu的处理器构成。当处理器根据预定的计算机程序操作时，可以执行上述图像处理和检测处理。在图像处理单元5061由多个gpu构成的情况下，图像处理单元5061适当地划分关于图像信号的信息，并且通过gpu并行执行图像处理。
105.控制单元5063对由内窥镜5001对手术部位的成像及其所拍摄的图像的显示执行各种控制。例如，控制单元5063生成用于控制相机头5005的驱动的控制信号。在这种情况下，当用户输入成像条件时，控制单元5063基于用户的输入生成控制信号。可选地，当内窥镜5001配备有ae功能、af功能和awb功能时，控制单元5063通过根据由图像处理单元5061进行检测处理的结果适当地计算最佳曝光值、焦距和白平衡来生成控制信号。
106.控制单元5063基于经过图像处理单元5061的图像处理的图像信号在显示装置5041上显示手术部位的图像。在这种情况下，控制单元5063通过使用各种图像识别技术来识别手术部位图像中的各种对象。例如，控制单元5063可以通过检测包括在手术部位图像中的对象的边缘的形状和颜色来识别在能量治疗工具5021的使用期间诸如镊子的手术工具、特定生物部位、出血和雾气。当在显示装置5041上显示手术部位的图像时，控制单元5063使用识别结果以叠加方式在手术部位的图像上显示各种手术辅助信息。通过叠加显示呈现给操作者5067的手术辅助信息使得操作者5067能够更安全且可靠地进行手术。
107.连接相机头5005和ccu 5039的传输电缆5065是支持电信号的通信的电信号电缆、支持光通信的光纤或其复合电缆。
108.在所示的示例中，执行使用传输电缆5065的有线通信，但是可以以无线方式执行相机头5005与ccu 5039之间的通信。当以无线方式执行相机头5005与ccu 5039之间的通信时，传输电缆5065不需要铺设在手术室中，并且因此可以消除手术室中的医务人员的移动受传输电缆5065的阻碍的情况。
109.上面已经描述了可以应用根据本公开的技术的内窥镜手术系统5000的示例。尽管内窥镜手术系统5000已经作为示例进行了描述，但是可以应用根据本公开的技术的系统并不限于该示例。例如，根据本公开的技术可以应用于检查柔性内窥镜系统或显微手术系统。
110.2.支撑臂装置的具体配置示例
111.接下来，详细描述根据本公开的实施例的支撑臂装置的具体配置示例。以下描述的支撑臂装置是在臂部的远端处支撑内窥镜的支撑臂装置的示例，但是本实施例不限于该示例。在根据本公开的实施例的支撑臂装置应用于医疗领域的情况下，根据本公开的实施例的支撑臂装置可以用作医疗支撑臂装置。
112.2-1.支撑臂装置的外观
113.首先，参考图3描述根据本实施例的支撑臂装置400的示意性配置。图3是示出根据本实施例的支撑臂装置400的外观的示意图。
114.根据本实施例的支撑臂装置400包括基部410和臂部420。基部410是支撑臂装置400的基座，并且臂部420从基部410延伸。尽管图3中未示出，但是可以在基部410中设置用于全面控制支撑臂装置400的控制单元，并且可以通过该控制单元来控制臂部420的驱动。控制单元由诸如cpu和dsp的各种信号处理电路构成。
115.臂部420包括多个主动关节部421a至421f、多个连杆422a至422f以及设置在臂部420的远端处的作为远端单元的内窥镜装置423。
116.连杆422a至422f基本上是杆状构件。连杆422a的一端通过主动关节部421a耦接到基部410，连杆422a的另一端通过主动关节部421b耦接到连杆422b的一端，而连杆422b的另一端通过主动关节部421c耦接到连杆422c的一端。连杆422c的另一端通过被动滑动机构100耦接到连杆422d，并且连杆422d的另一端通过被动关节部433耦接到连杆422e的一端。连杆422e的另一端通过主动关节部421d和421e耦接到连杆422f的一端。内窥镜装置423通过主动关节部421f耦接到臂部420的远端，即连杆422f的另一端。以此方式，连杆422a至422f的端部通过主动关节部421a至421f、被动滑动机构100和被动关节部433以基部410为支点彼此耦接，从而形成从基部410延伸的臂形状。
117.通过控制设置在臂部420中的主动关节部421a至421f上的致动器的驱动，内窥镜装置423的位置和姿势受到控制。在本实施例中，内窥镜装置423的远端进入作为手术部位的患者的体腔以拍摄手术部位的一部分。设置在臂部420的远端处的远端单元不限于内窥镜装置423，并且可以在臂部420的远端连接各种医疗工具作为远端单元。以此方式，根据本实施例的的支撑臂装置400被配置为设置有医疗工具的医疗支撑臂装置。
118.在下文中，通过定义如图3所示的坐标轴来描述支撑臂装置400。对应于坐标轴，定义了上下方向、前后方向和左右方向。具体地，相对于安装在地板表面上的基部410的上下方向被定义为z轴方向和上下方向。将与z轴正交并且臂部420从基部410延伸的方向(即，内窥镜装置423相对于基部410定位的方向)定义为y轴方向和前后方向。此外，将与y轴和z轴正交的方向定义为x轴方向和左右方向。
119.主动关节部421a至421f耦接连杆以便可转动。主动关节部421a至421f具有致动器，并且每个主动关节部都具有在致动器被驱动时绕预定旋转轴被旋转驱动的旋转机构。通过控制主动关节部421a至421f的旋转驱动，可以控制臂部420的驱动，诸如臂部420的延伸和臂部420的收缩(折叠)。主动关节部421a至421f的驱动例如可以通过公知的全身协同控制和理想关节控制来控制。如上所述，主动关节部421a至421f具有旋转机构，并且因此在以下描述中，主动关节部421a至421f的驱动控制具体指主动关节部421a至421f的旋转角度和/或生成扭矩(通过主动关节部421a至421f生成的扭矩)的控制。
120.被动滑动机构100是被动形式改变机构的一种形式，并且将连杆422c和连杆422d彼此耦接以便可沿预定方向往复运动。例如，被动滑动机构100可以将连杆422c和连杆422d彼此耦接以便可线性移动。连杆422c和连杆422d的往复运动不限于直线运动，并且可以是在形成弧形的方向上的往复运动。例如，被动滑动机构100的往复运动操作由用户执行以改变连杆422c的一个端侧上的主动关节部421c与被动关节部433之间的距离。以此方式，可以改变臂部420的整体形式。
121.被动关节部433是被动形式改变机构的一种形式，并且将连杆422d和连杆422e彼此耦接以便能够转动。例如，被动关节部433的转动操作由用户执行以改变连杆422d与连杆422e之间形成的角度。以此方式，可以改变臂部420的整体形式。
122.本文中，“臂部的姿势”是指臂部的状态，其可以通过提供给主动关节部421a至421f的致动器的驱动控制来改变，该驱动控制在跨一个或多个连杆的相邻的主动关节部之间的距离恒定的状态下通过控制单元来执行。在本公开中，“臂部的姿势”不限于可以通过致动器的驱动控制而改变的臂部的状态。例如，“臂部的姿势”可以是当关节部协同操作时改变的臂部的状态。在本公开中，臂部不一定需要具有关节部。在这种情况下，“臂部的姿势”是相对于对象的位置或相对于对象的相对角度。“臂部的形式”是指当跨连杆的相邻的主动关节部之间的距离或连接相邻主动关节部的连杆所形成的角度由于被动变形机构的操作而变化时臂部的状态。在本公开中，“臂部的形式”不限于当跨连杆的相邻的主动关节部之间的距离或连接相邻主动关节部的连杆所形成的角度变化时可以变化的臂部的状态。例如，“臂部的形式”可以是当关节部之间的位置关系或角度由于关节部的协同操作而改变时可以改变的臂部的状态。在臂部没有设置关节部的情况下，“臂部的形式”可以是当相对于目标的位置或相对于目标的相对角度改变时可以改变的臂部的状态。
123.根据本实施例的支撑臂装置400具有六个主动关节部421a至421f，并且为臂部420的驱动实现了六个自由度。换句话说，支撑臂装置400的驱动控制是通过控制单元对六个主动关节部421a至421f的驱动控制来实现的，而被动滑动机构100和被动关节部433不受控制单元的驱动控制。
124.具体地，如图3所示，主动关节部421a、421d和421f被设置为使得连接的连杆422a和422e的长轴方向和连接的内窥镜装置423的拍摄方向与旋转轴方向匹配。主动关节部421b、421c和421e被设置为使得x轴方向，即连接的连杆422a至422c、422e和422f与内窥镜装置423的耦接角在y-z平面(由y轴和z轴定义的平面)内改变的方向与旋转轴方向匹配。以此方式，在本实施例中，主动关节部421a、421d和421f具有所谓的“偏航”功能，并且主动关节部421b、421c和421e具有所谓的“俯仰”功能。
125.由于臂部420的上述配置，在根据本实施例的支撑臂装置400中，实现了用于臂部420的驱动的六个自由度，并且因此内窥镜装置423可以在臂部420的可移动范围内自由移动。在图3中，作为内窥镜装置423的可移动范围的示例示出了半球。假设半球的中心点运动的远程中心(rcm)是由内窥镜装置423拍摄的手术部位的拍摄中心，通过在将内窥镜装置423的拍摄中心固定在半球的中心点处的同时在半球的球面上移动内窥镜装置423，可以从各个角度拍摄手术部位。
126.上面已经描述了根据本实施例的支撑臂装置400的示意性配置。接下来，描述根据本实施例的用于控制支撑臂装置400中的臂部420的驱动(即主动关节部421a至421f的驱动)的全身协同控制和理想关节控制。
127.已经描述了具有多个关节部和六个自由度的支撑臂装置200中的臂部220，但是本公开不限于此。具体地，臂部220仅需要具有在其远端设置内窥镜装置223或外窥镜的结构。例如，臂部220可以仅具有一个自由度，使得内窥镜装置223被驱动以沿进入患者体腔的方向和退出的方向移动。
128.3.前斜视内窥镜的基本配置
129.随后，描述作为内窥镜的示例的前斜视内窥镜的基本配置。
130.图4是示出根据本公开的一个实施例的前斜视内窥镜4100的配置的示意图。如图4所示，前斜视内窥镜4100安装在相机头4200的远端。前斜视内窥镜4100对应于上文参考图1和图2描述的镜头筒5003，而相机头4200对应于上文参考图1和图2描述的相机头5005。前斜视内窥镜4100和相机头4200可彼此独立地转动。与关节部5033a、5033b和5033c类似，致动器设置在前斜视内窥镜4100与相机头4200之间，并且前斜视内窥镜4100响应于致动器的驱动而相对于相机头4200旋转。以此方式，稍后描述的旋转角θz受到控制。
131.前斜视内窥镜4100由支撑臂装置5027支撑。支撑臂装置5027具有用于代替内窥镜师来保持前斜视内窥镜4100和响应于操作者或助手的操作移动前斜视内窥镜4100以观察期望部位的功能。
132.图5是示出前斜视内窥镜4100与前视内窥镜4150以进行比较的示意图。在前视内窥镜4150中，物镜朝向被摄体的方向(c1)与前视内窥镜4150的纵向方向(c2)相匹配。另一方面，在前斜视内窥镜4100中，物镜朝向被摄体的方向(c1)相对于前斜视内窥镜4100的纵向方向(c2)具有预定角度当角度为90度时，内窥镜被称为“侧视内窥镜”。
133.4.医学观察系统
134.参考图6，描述根据本公开的实施例的医学观察系统的配置。图6是示出根据本公开的实施例的医学观察系统的配置的示例的框图。
135.如图6所示，医学观察系统1包括机械臂装置10、控制单元20、操作单元30、第一术野图像显示单元40、第二术野图像显示单元50和存储单元60。
136.在描述医学观察系统1的配置的细节之前，描述通过医学观察系统1进行处理的概要。在医学观察系统1中，首先，拍摄患者的腹腔内部的图像以识别腹腔内的环境。医学观察系统1基于腹腔内环境的识别结果驱动机械臂装置10。当机械臂装置10被驱动时，腹腔内的成像范围发生变化。当腹腔内的成像范围发生变化时，医学观察系统1识别变化的环境，并基于识别结果驱动机械臂装置10。医学观察系统1重复对腹腔内环境的图像的识别和对机械臂装置10的驱动。换句话说，医学观察系统1执行整合了图像识别处理和用于控制机械臂装置10的位置和姿势的处理的处理。
137.机械臂装置10具有作为由多个关节部和多个连杆形成的多连杆结构的臂部11(多关节臂)，并且在可移动范围内驱动臂部来控制设置在臂部的远端的远端单元的位置和姿势。机械臂装置10对应于图3所示的支撑臂装置400。
138.参考图7，描述了根据本公开的实施例的机械臂装置的配置的概要。
139.如图7所示，机械臂装置10中的臂部11包括第一关节部1111、第二关节部1112、第三关节部1113和第四关节部1114。机械臂装置10连接到相机控制单元530、电子裁剪控制单元540、姿势控制单元550、gui生成单元560、用户界面单元570和监视器580。
140.第一关节部1111包括马达5011、编码器5021、马达控制器5031和马达驱动器5041。第二关节部1112至第四关节部1114具有与第一关节部1111相同的配置，并且因此以下以第一关节部1111作为示例进行描述。
141.马达5011在马达驱动器5041的控制下被驱动，并驱动第一关节部1111。例如，马达5011沿附接到第一关节部1111的箭头的方向驱动第一关节部1111。马达5011驱动第一关节部1111以控制臂部11的位置和姿势以及镜头筒(光学系统510)和相机520(对应于相机头
5005)的位置和姿势。在本实施例中，作为内窥镜的一种形式，相机520(在这种情况下，例如，对应于镜头单元5007和成像单元5009)可以设置在镜头筒的远端处。
142.编码器5021在马达控制器5031的控制下检测关于第一关节部1111的旋转角度的信息。换句话说，编码器5021获取关于第一关节部1111的姿势的信息。
143.例如，光学系统510是包括广角镜头的广角光学系统。例如，相机520拍摄要拍摄的对象(诸如患者的器官和用于治疗的医疗工具)的图像。如下所述，在本公开中，例如，从广角视野r1裁剪用户期望的显示目标区域r2以生成第二术野图像。
144.相机控制单元530对应于图2所示的ccu 5039。换句话说，相机控制单元530全面控制相机520的成像处理和监视器580上显示的视频处理的操作。
145.电子裁剪控制单元540从已经从相机控制单元530接收到的拍摄要被拍摄的对象的视频中裁剪预定区域，并且将所裁剪的数据输出到gui生成单元560。稍后描述用于从拍摄要拍摄的对象的视频中裁剪预定区域的处理。
146.gui生成单元560生成通过对由电子裁剪控制单元540裁剪的视频执行各种处理而获得的视频数据，并将该视频数据输出到监视器580。以此方式，监视器580显示由gui生成单元560生成的各种视频。电子裁剪控制单元540和gui生成单元560的一部分或两者可以设置在相机控制单元530中。
147.姿势控制单元550控制臂部11的位置和姿势。具体地，姿势控制单元550控制马达控制器5031至5034和马达驱动器5041至5044以控制第一关节部1111至第四关节部1114。以此方式，姿势控制单元550控制臂部11的位置和姿势。姿势控制单元550可以包括在相机控制单元530中。
148.用户界面单元570接收来自用户的各种操作。例如，用户界面单元570接收用于控制臂部11的位置和姿势的操作。用户界面单元570将对应于所接收的操作的操作信号输出到姿势控制单元550。在这种情况下，姿势控制单元550根据从用户界面单元570接收的操作来控制第一关节部1111至第四关节部1114以控制臂部11的位置和姿势。
149.在机械臂装置10中，通过裁剪由相机520拍摄的相机图像来改变视线的电子自由度和臂部11中的致动器的自由度都被视为机器人的自由度。以此方式，可以实现用于改变视线的电子自由度和致动器的自由度协作的运动控制。
150.参考图8，描述了根据本公开的实施例的医学观察系统1的处理流程的概要。
151.如上所述，医学观察系统1执行整合了图像识别处理和用于控制机械臂装置10的位置和姿势的处理的处理。
152.首先，在医学观察系统1中，要拍摄的对象的广角图像由相机520拍摄(步骤s1)。基于由相机520拍摄的广角图像，执行用于裁剪将由医生视觉识别的视频的电子裁剪处理(步骤s2)和用于识别术野的图像识别处理(步骤s3)。步骤s2的处理和步骤s3的处理可以并行执行。
153.可以对在步骤s2处电子裁剪的视频执行超分辨率处理以便使医生更容易地视觉识别视频以生成超分辨率图像(步骤s4)。所生成的图像显示在监视器580上。
154.在步骤s3执行图像识别处理之后，输出包括在图像中的各种对象、场景和情况的识别结果(步骤s5)。在执行人工智能(ai)处理时使用关于识别结果的信息。
155.为了自主控制相机520的位置和姿势，关于正在实施的手术的数据被输入到学习
模型(ai)，在该模型中已经预先学习了关于各种手术的数据作为学习数据(步骤s6)。关于各种手术的数据的示例包括关于内窥镜图像的信息、关于医生对内窥镜的操纵数据、关于机械臂装置10的操作信息以及关于臂部11的位置和姿势的信息。稍后描述学习模型的细节。
156.基于在步骤s5处识别的各种识别结果的信息和在步骤s6处输入的关于手术的数据，执行用于自主控制相机520的位置和姿势的ai处理(步骤s7)。作为ai处理的结果，输出用于自主控制相机520的位置的控制信息(步骤s8)。在步骤s3处的图像识别处理中使用的广角图像被输入到gui生成单元560。以此方式，gui生成单元560显示术野的广角图像。
157.在步骤s8处输出的控制信息被输入到姿势控制单元550。姿势控制单元550控制相机520的位置和姿势。相机520的位置和姿势可以由用户界面单元570指定。
158.基于由姿势控制单元550控制的位置和姿势，确定广角图像中的裁剪位置。裁剪位置由所确定的裁剪位置指定(步骤s9)。以此方式，由相机520拍摄的广角图像再次被裁剪。
159.在本公开中，重复图8所示的处理以执行整合了图像识别处理和用于控制机械臂装置10的位置和姿势的处理的处理。
160.再次参考图6，臂部11为由关节部和连杆形成的多连杆结构，并且对其的驱动在臂控制单元23的控制下进行控制。臂部11对应于图3所示的臂部420。在图6中，作为关节部的代表示出了一个关节部111的配置。
161.成像单元12设置在臂部11的远端处，并且拍摄各种要成像的对象的图像。例如，成像单元12拍摄包括患者的腹腔内的各种医疗工具和器官的术野图像。由成像单元12拍摄的术野图像也被称为“第一术野图像”。具体地，成像单元12是能够以运动图像或静止图像的形式拍摄拍摄对象的相机。更具体地，成像单元12是由广角光学系统构成的广角相机。换句话说，第一术野图像是由广角相机拍摄的术野图像。例如，普通内窥镜的视角约为80
°
，而根据本实施例的成像单元12的视角可以为140
°
。成像单元12的视角可以小于140
°
或140
°
或更大，只要大于80
°
。成像单元12将对应于所拍摄的图像的电信号(图像信号)发送到控制单元20。在图6中，成像单元12不一定需要包括在机械臂装置中，并且其形式不受限制，只要成像单元12由臂部11支撑即可。
162.参考图9，描述了由成像单元12拍摄的术野图像的示例。图9是用于描述由成像单元12拍摄的术野图像的示图。
163.图9示出了由具有正常角视野的成像单元12拍摄的术野图像im1、术野图像im3和术野图像im5。图9还示出了由具有广角视野的成像单元12拍摄的术野图像im2、术野图像im4和术野图像im6。术野图像im1至术野图像im6是通过医疗工具md1和医疗工具md2对器官o进行治疗的同一术野进行拍摄而获得的图像。术野图像im1和术野图像im2是具有大放大率的术野图像。术野图像im3和术野图像im4是具有中等放大率的术野图像。术野图像im5和术野图像im6是具有小放大率的术野图像。
164.比较具有大放大率的术野图像im1和术野图像im2。医疗工具md1和医疗工具md2的末端执行器部分出现在术野图像im1中，而医疗工具md1和医疗工具md2的整个末端执行器出现在术野图像im2中。因此，即使当术野被最大程度放大时，医生也可以通过参考术野图像im2来掌握医疗工具md1和医疗工具md2的末端执行器的整体。由于医疗工具md1和医疗工具md2的整个末端执行器没有出现在具有大放大率的术野图像im1中，因此在执行图像识别
处理以识别医疗工具的类型时，屏幕末端的识别精度趋于降低。另一方面，医疗工具md1整体和医疗工具md2整体出现在术野图像im2中，并且因此当执行图像识别处理时提高医疗工具md1和医疗工具md2的医疗工具类型的识别精度。
165.整个术野出现在具有小放大率的术野图像im6中。因此，医生可以通过参考术野图像im6来掌握术野的整体环境。
166.换句话说，在本公开中，可以通过使用广角镜头来获得宽视野。当使用常规内窥镜的缩放功能接近对象时，位于屏幕端的识别目标的整体可能无法在其视场角中被视觉识别，并且因此识别率可能会下降，这可能影响臂部11的可控性。另一方面，在本公开中，广角镜头的使用可以减少屏幕端无法视觉识别的区域并提高识别率。因此，作为识别率提高的结果，本公开可以提高臂部11的可控性。
167.光源单元13向成像单元12要成像的对象施加光。例如，光源单元13可以通过用于广角镜头的发光二极管(led)来实现。例如，光源单元13可以由普通led和透镜的组合构成以漫射光。光源单元13可以被配置为使得通过光纤传输的光被透镜漫射(用于更广的角度)。光源单元13可以被配置为使得光纤本身在多个方向上被引导以增加照射范围。在图6中，光源单元13不一定需要包括在机械臂装置10中，并且光源单元13的形式不受限制，只要照射光可以被引导到由臂部11支撑的成像单元12即可。
168.关节部111耦接臂部11中的连杆以便可转动，并且在臂控制单元23的控制下控制关节部111的旋转驱动以驱动臂部11。关节部111对应于图3所示的主动关节部421a至421f。关节部111具有致动器。
169.关节部111具有关节驱动单元111a和关节状态检测单元111b。
170.关节驱动单元111a是用于关节部111中的致动器的驱动机构。当关节驱动单元111a被驱动时，关节部111被旋转驱动。关节驱动单元111a对应于图7所示的马达5011。关节驱动单元111a的驱动由臂控制单元23控制。例如，关节驱动单元111a具有对应于马达和马达驱动器的配置，并且关节驱动单元111a的驱动对应于马达驱动器以对应于来自臂控制单元23的指令的电流量对马达的驱动。
171.关节状态检测单元111b检测关节部111的状态。关节部111的状态可以是指关节部111的运动状态。关节部111的状态的示例包括关于关节部111的旋转角度、旋转角速度、旋转角加速度和生成扭矩的信息。关节状态检测单元111b对应于图7所示的编码器5021。在本实施例中，关节状态检测单元111b具有用于检测关节部111的旋转角度的旋转角度检测单元和用于检测关节部111的生成扭矩和外部扭矩的扭矩检测单元。旋转角度检测单元和扭矩检测单元分别对应于用于致动器的编码器和扭矩传感器。关节状态检测单元111b将检测到的关节部111的状态发送到控制单元20。
172.例如，当中央处理单元(cpu)或微处理单元(mpu)通过使用随机存取存储器(ram)作为工作区执行存储在存储单元(未示出)中的计算机程序(例如，根据本发明的计算机程序)时，实现控制单元20。控制单元20是控制器，并且可以通过诸如专用集成电路(asic)或现场可编程门阵列(fpga)的集成电路实现。控制单元20包括图像处理单元21、成像控制单元22、臂控制单元23、确定单元24、接收单元25和显示控制单元26。
173.图像处理单元21对由成像单元12成像的成像目标执行各种处理。图像处理单元21包括获取单元211、生成单元212、处理单元213、识别单元214和评估单元215。
174.获取单元211获取各种图像。例如，获取单元211获取由成像单元12成像的成像目标的图像。例如，获取单元211获取由成像单元12成像的患者的腹腔内的第一术野图像。
175.生成单元212基于由成像单元12拍摄的第一术野图像生成各种图像。例如，生成单元212生成关于第一术野图像中的显示目标区域的图像，该区域是医生的受关注区域(roi)。例如，显示目标区域可以通过识别单元214的识别结果来确定。例如，显示目标区域可以由确定单元24确定。例如，显示目标区域可以由医生通过使用操作单元30来指定。例如，生成单元212通过从第一术野图像裁剪显示目标区域来生成关于显示目标区域的图像。具体地，生成单元212通过从第一术野图像裁剪并放大显示目标区域来生成图像。在这种情况下，生成单元212可以根据臂部11的位置和姿势来改变裁剪位置。具体地，例如，当臂部11的位置和姿势改变时，生成单元212改变裁剪位置使得显示在显示屏上的图像不改变。由生成单元212生成的图像被称为“第二术野图像”。
176.参考图10，描述第一术野图像和第二术野图像。
177.如图10所示，成像单元12设置在前斜视内窥镜4100的远端部分处。成像单元12对半球(2π球面角度)的广角视野r1成像。生成单元212从广角视野r1中裁剪用户期望的显示目标区域r2以生成第二术野图像。具体地，生成单元212通过自由设置俯仰角θ、滚转角η和视野角度来生成第二术野图像。生成单元212通过放大或缩小显示目标区域r2来生成第二术野图像。
178.常规地，前视内窥镜的俯仰、滚转、变焦三个自由度的运动和前斜视内窥镜的俯仰、滚转、变焦和偏航四个自由度的运动是通过使用患者体外的机械自由度改变前视内窥镜或前斜视内窥镜的位置和姿势来实现的。另一方面，在本公开中，提供了如图10所示的配置，并且因此可以通过具有俯仰、滚转和变焦三个电子自由度的系统来实现与常规上所需的相同的运动，而无需使用体外的机械运动。可以实现受到常规内窥镜的限制的与目标具有恒定距离的环视操作。例如，常规地，当在跟踪观察目标的点的同时执行环视操作时，前斜视内窥镜4100的观察轴需要在指向该点的同时以锥形图案移动。另一方面，在本公开中，与对象的横向距离的环视操作中的姿势可以在广角视野r1中自由地采取，而无需以锥形图案移动前斜视内窥镜4100。在使前斜视内窥镜4100在观察轴方向上变焦的同时改变环视方向的这种运动中，通过添加电子变焦操作，可以在保持对象的放大率恒定的同时环视该对象。在本公开中，前斜视内窥镜4100的俯仰和滚转操作可以电子地执行，并且因此可以避免前斜视内窥镜4100的俯仰和滚转操作与医生操作之间的干扰。以此方式，提高了医生的可操作性。通过电子地执行前斜视内窥镜4100的俯仰和滚转操作，可以消除医生手动操作前斜视内窥镜4100的操作。以此方式，可以提高医生的可操作性。
179.参考图11a和图11b，描述用于基于第一术野图像生成第二术野图像的处理。图11a是示出第一术野图像的示图。图11b是示出第二术野图像的示图。
180.图11a示出了第一术野图像im11。第一术野图像im11是捕获患者的器官的治疗情况的图像，并且包括医疗工具md1、医疗工具md2和医疗工具md3。在第一术野图像im11中，由医疗工具md2对器官进行治疗的位置是显示目标区域r2。
181.生成单元212从第一术野图像im2裁剪显示目标区域r2。如图11b所示，生成单元212放大裁剪的显示目标区域r2以生成第二术野图像im12。
182.再次参考图6，处理单元213对第一术野图像和第二术野图像执行各种处理。例如，
处理单元213可以对第二术野图像执行图像质量提高处理。例如，处理单元213可以对第二术野图像执行超分辨率处理作为图像质量提高处理。处理单元213可以对第二术野图像执行增强、降噪(nr)处理、图像稳定和亮度校正处理作为图像质量提高处理。例如，处理单元213可以对第一术野图像执行与针对第二术野图像相同的图像处理。在本公开中，图像质量提高处理不限于以上处理，并且可以包括其他各种处理。
183.参考图12，描述对第二术野图像执行的处理。图12是用于描述对第二术野图像执行的处理的示图。
184.图12所示的第二术野图像im12a是在处理单元213对图11b所示的第二术野图像im12执行图像质量提高处理之后获得的图像。在处理单元213执行图像质量提高处理之后，可以向医生提供显示目标区域的高图像质量视频。因此，医生可以通过参考第二术野图像im12a容易地掌握术野。如上所述，处理单元213可以执行增强、nr处理或图像稳定处理。通过执行增强，可以向医生提供强调特定带宽中的颜色的图像。因此，医生可以容易地识别出术野中的颜色差异。通过执行nr处理，可以去除包括在图像中的随机噪声。因此，医生可以容易地掌握术野。通过执行图像稳定，可以校正包括在图像中的模糊。因此，医生可以容易地掌握术野。
185.再次参考图6，处理单元213可以通过对第一术野图像执行分辨率降低处理来生成第三术野图像。例如，处理单元213可以通过劣化第一术野图像的图像质量来生成第三术野图像。处理单元213可以通过生成第三术野图像来减小术野图像的体积。例如，处理单元213可以生成具有与第二术野图像不同的视野的第三术野图像。处理单元213还可以对第二术野图像执行图像质量降低处理。因此，可以进一步减小术野图像的体积。
186.处理单元213可以处理广角第一术野图像。例如，处理单元213可以校正第一术野图像。例如，处理单元213可以校正第一术野图像的末端的失真。因此，可以提高识别单元214对第一术野图像的识别精度。通过处理单元213对第一术野图像进行处理，生成单元212基于校正后的第一术野图像生成第二术野图像。因此，可以提高第二术野图像的图像质量。
187.当生成单元212生成第二术野图像时，处理单元213可以根据第二术野图像在第一术野图像中的裁剪位置来改变对第二术野图像的校正的类型。换句话说，处理单元213可以在每次裁剪位置改变时改变校正内容。例如，处理单元213可以根据裁剪位置改变失真校正的强度。具体地，处理单元213可以通过随着接近第二术野图像的末端而更多地增加中心区域的强度来执行校正。处理单元213可以通过降低第二术野图像的中心区域的强度来执行校正，也可以不执行校正。以此方式，处理单元213可以根据裁剪位置对第二术野图像执行最佳校正。因此，可以提高识别单元214对第二术野图像的识别精度。通常，随着接近广角图像的末端失真变大，并且因此通过根据裁剪位置改变校正强度，可以生成使医生在没有任何不适感的情况下更容易掌握术野情况的第二术野图像。
188.处理单元213可以根据臂部11的位置和姿势改变对第二术野图像的校正的类型。换句话说，每当臂部11的位置和姿势改变时，处理单元213可以改变校正内容。以此方式，处理单元213可以根据臂部11的位置和姿势对第二术野图像执行最佳校正。因此，可以提高识别单元214对第二术野图像的识别精度。
189.处理单元213可以基于输入到控制单元20的信息来改变对第二术野图像执行的处理。具体地，例如，处理单元213可以基于关于臂部11中的关节部111的运动的信息、基于第
一术野图像对术野环境的识别结果以及包括在第一术野图像中的对象和治疗状态中的至少一个改变对第二术野图像执行的图像处理。处理单元213根据各种情况改变图像处理，并且因此医生可以容易地识别第二术野图像。
190.识别单元214基于第一术野图像识别各种信息。例如，识别单元214识别包括在第一术野图像中的关于医疗工具的各种信息。例如，识别单元214识别关于包括在第一术野图像中的器官的各种信息。
191.参考图13a、图13b、图13c、图13d和图13e，描述了由识别单元214识别的信息。图13a至图13e是用于描述由识别单元214识别的信息的示图。
192.图13a所示的第一术野图像im21是通过使用医疗工具md11、医疗工具md12和医疗工具md13对器官o进行治疗的图像。例如，第一术野图像im21是由立体传感器拍摄的图像数据。例如，识别单元214识别包括在第一术野图像im11中的医疗工具md11、医疗工具md12和医疗工具md13的类型。由识别单元214识别的医疗工具的类型的示例包括但不限于镊子、手术刀、牵引器和内窥镜。
193.在图13b所示的第一术野图像im21a中，识别医疗工具的坐标。如图13b所示，识别单元214在腹腔内的三维直角坐标系中识别医疗工具md11、医疗工具md12和医疗工具md13的坐标。例如，识别单元214识别医疗工具md11的一个端部的坐标(x1，y1，z1)和另一端部的坐标(x2，y2，z2)。例如，识别单元214识别医疗工具md12的一个端部的坐标(x3，y3，z3)和另一端部的坐标(x4，y4，z4)。例如，识别单元214识别医疗工具md13的一个端部的坐标(x5，y5，z5)和另一端部的坐标(x6，y6，z6)。
194.在图13c所示的第一术野图像im21b中，识别器官的深度。例如，第一术野图像im21b是由深度传感器测量的图像数据。如图13c所示，识别单元214识别器官o的形状。识别单元214识别器官o中每个位置的深度。具体地，识别单元214识别深度d1、深度d2、深度d3和深度d4。在图13c所示的示例中，深度按照深度d1、深度d2、深度d3和深度d4的顺序变小。识别单元214识别器官o的每个部分的深度以三维地识别器官o的形状。
195.在图13d所示的第一术野图像im21c中，识别每个医疗工具的运动。如图13d所示，识别单元214识别医疗工具md11、医疗工具md12和医疗工具md13的运动。例如，识别单元214通过识别医疗工具md11的运动向量v1来识别医疗工具md11的运动。例如，识别单元214通过识别医疗工具md13的运动向量v2来识别医疗工具md13的运动。例如，在图13d中，可以通过运动传感器获取运动向量v1和运动向量v2。
196.在图13e所示的第一术野图像im21d中，识别器官的运动。如图13e所示，识别单元214识别器官o的运动。例如，识别单元214通过识别器官o中每个位置处的运动向量v11来识别器官o的运动。在图13e中，例如，运动向量v11可以通过运动传感器获取。基于第一术野图像im21d，可以通过诸如光流法的图像处理相关算法来识别运动向量v11。基于所识别的运动向量v11，可以执行用于消除成像单元12的运动的处理。
197.具体地，识别单元214识别诸如医疗工具和器官的对象以及包括医疗工具的运动的治疗状态中的至少一个。换句话说，在本公开中，识别单元214可以识别在第二术野周围的区域中的各种情况，这些情况在医生视觉识别的第二术野中是不能被视觉识别。换句话说，识别单元214可以监测第二术野周围的区域。
198.再次参考图6，评估单元215评估医生的受关注区域作为显示目标区域，在该显示
目标区域中，由第一术野图像生成第二术野图像。例如，评估单元215基于识别单元214对术野的识别结果确定医生的受关注区域。
199.成像控制单元22控制成像单元12。例如，成像控制单元22控制成像单元12对术野成像。例如，成像控制单元22控制成像单元12的放大率。
200.例如，成像控制单元22基于从确定单元24接收的确定结果来控制成像单元12的放大率。例如，成像控制单元22基于从接收单元25接收的来自操作单元30的操作信息来控制成像单元12的放大率。
201.成像控制单元22控制光源单元13。例如，当成像单元12对术野成像时，成像控制单元22控制光源单元13的亮度。
202.例如，成像控制单元22基于从确定单元24接收的确定结果来控制光源单元13的亮度。例如，成像控制单元22基于成像单元12相对于受关注区域的位置关系来控制光源单元13的亮度。例如，成像控制单元22基于从接收单元25接收的来自操作单元30的操作信息来控制光源单元13的亮度。
203.臂控制单元23全面控制机械臂装置10，并控制臂部11的驱动。具体地，臂控制单元23通过控制关节部130的驱动来控制臂部11的驱动。更具体地，臂控制单元23控制提供给用于关节部130中的致动器的马达的电流量以控制马达的转数，并且控制关节部130中的旋转角度和生成扭矩。
204.例如，臂控制单元23基于从确定单元24接收的对识别单元214的识别结果的确定结果来控制臂部11的位置和姿势。臂控制单元23基于学习模型控制臂部11的位置和姿势。例如，臂控制单元23基于从接收单元25接收的来自操作单元30的操作信息来控制臂部的位置和姿势。例如，臂控制单元23基于从确定单元24接收的确定结果来控制第二术野图像的裁剪位置。例如，臂控制单元23基于从确定单元24接收的确定结果来控制第二术野图像的尺寸。
205.例如，臂控制单元23控制臂部11的位置和姿势以提高由评估单元215确定的第一术野图像中受关注区域的图像质量。例如，臂控制单元23控制臂部11的位置和姿势以避开来自受关注区域的镜面反射。以此方式，臂控制单元23改变成像单元12和光源单元13相对于受关注区域的相对位置关系。具体地，臂控制单元23控制成像单元12的位置和姿势以抑制受关注区域周边的失真。
206.在这种情况下，例如，臂控制单元23可以通过驱动臂部11中的关节部111来控制臂部11的位置和姿势以避开阻挡用户的视野的医疗工具。例如，臂控制单元23可以通过控制臂部11的位置和姿势使得受关注区域从第一术野图像的中心偏移来控制臂部11的位置和姿势。
207.臂控制单元23可以控制臂部11的位置和姿势，使得受关注区域基本上位于第一术野图像的中心。以此方式，医生可以容易地视觉识别受关注区域。
208.确定单元24基于预先学习的模型输出各种确定结果。学习模型可以存储在确定单元24或存储单元60中。例如，确定单元24基于通过学习包括关于操作者进行治疗的信息和关于内窥镜师进行相机操作的内窥镜操作数据的治疗状态而生成的学习模型输出各种确定结果。例如，确定单元24基于学习模型确定术野中医生的受关注区域。
209.根据一个实施方式，例如，在不利用标记的情况下，可能出现以下情况。假设在学
习阶段由内窥镜捕获的图像的中心区域对应于外科医生的受关注区域，则内窥镜的运动可以基于训练模型生成，从而使得其复制学习到的运动。训练后的模型可以输出内窥镜在未来时间的估计位置(空间位置和姿态)，并且到内窥镜的对象的位置和距离可以移动到基于训练人工智能模型未来预测或计算的位置。可选地，在没有执行标记的情况下，外科医生或其他观察者关注或感兴趣的像素可以用作正在使用的人工智能模型的训练数据。
210.在本公开中，用于生成学习模型的学习数据不限于治疗状态和内窥镜操作数据。例如，可以基于关于手术的其他类型的数据来生成学习模型。例如，关于手术的数据可以包括关于用于手术的医疗工具的信息。例如，关于医疗工具的信息可以包括由医疗工具生成的图像数据和关于医疗工具的信息。在本公开中，可以通过使用基于由各种医疗工具拍摄的图像数据和关于各种医疗工具的操作的信息生成的学习模型来提高确定精度。
211.具体地，例如，学习数据可以包括立体传感器、深度传感器和运动传感器中的至少一个的测量结果。更具体地，学习数据可以包括由立体传感器、深度传感器和运动传感器中的至少一个获得的关于术野环境的信息，其包括医疗工具和器官的位置、姿势、类型和运动中的至少一个。通过使用基于立体传感器、深度传感器和运动传感器中的至少一个的测量结果的学习模型，可以使用在手术期间测量的立体传感器、深度传感器和运动传感器的测量结果来确定医生的受关注区域。
212.用于生成学习模型的关于手术的数据可以包括关于臂部11的信息。例如，关于臂部11的信息可以包括关于臂部11中的关节部111的状态的信息。例如，关于臂部11中的关节部111的状态的信息可以包括关于臂部11中的关节部的位置、姿势和运动的各种信息。在本公开中，可以通过使用基于关于臂部11的各种信息生成的学习模型来提高确定精度。
213.关于臂部11的信息可以包括关于由臂部11抓握的医疗工具的信息。例如，关于医疗工具的信息可以包括医疗工具的类型和关于医疗工具的位置信息和姿势信息中的至少一个。在本公开中，可以通过使用基于关于由臂部11抓握的医疗工具的各种信息生成的学习模型来提高确定精度。
214.例如，确定单元24基于预先生成的学习模型确定包括要被医生视觉识别的受关注区域的视向量(对应于视线)、成像单元12的预期位置和姿势以及从内窥镜的远端到目标的距离信息。臂控制单元23基于确定单元24的确定结果来计算臂部11的位置和姿势以及第二术野图像的裁剪位置，并基于该计算结果被驱动。
215.在训练或学习阶段期间，外科医生将内窥镜的位置和所需图像的位置或图像的裁剪移动到校正位置。质量具有“良好”标签的图像的中心区域可以被认为是受关注区域，或者外科医生可以在图像上添加受关注点和/或要观察的对象。可以通过使用例如内窥镜的远端位置和姿态(通过臂配置)、裁剪位置、受关注区域的位置以及受关注区域的深度信息来计算从内窥镜到受关注区域的向量。
216.在本公开中，控制单元20可以具有用于生成学习模型的功能。在这种情况下，控制单元20保存用于学习的模型，并将所生成的学习模型存储在存储单元60中。
217.本公开中使用的学习模型是通过执行学习模型的学习来生成的，在该学习模型中，基于具有各种输入信息的特征来执行与输入信息的分类和排序结果相对应的处理。学习模型可以通过具有多个节点的多层神经网络(包括输入层、中间层(隐藏层)和输出层)来实现。例如，确定单元24利用具有多个隐藏层的深度神经网络(dnn)作为学习模型来执行学
习。以下描述确定单元24执行dnn的示例，但是本公开不限于此。
218.各种输入信息通过输入层被输入到学习模型中。当通过输入层向学习模型输入各种输入信息时，在多个中间层执行用于提取输入信息的特征的处理。更具体地，该模型具有串联连接的中间层，并且中间层依次对输入信息执行各种处理。模型通过输出层输出基于从中间层输出的信息的各种处理结果(诸如分类结果)作为与输入信息相对应的输出信息。这种模型通过校正节点之间的连接系数来学习具有输入信息的特征，从而使得在输入预定输入信息时输出期望的输出信息。这种学习可以通过诸如反向传播的方法来实现。
219.用于训练模型(诸如神经网络或任何其他人工智能模型)的训练数据可以包括：(1)可以被提供或对应于每个测量时间测量的每个数据的样本id；(2)时间；(3)由相机(例如，附接到臂上的内窥镜或显微镜)捕获的图像的图像质量/状况的指示，(4)相机信息以及(5)一个工具、两个工具或三个或更多个工具的手术工具信息。虽然上面列出了5种类型的训练数据，但是可以使用任意数量类型的训练数据，包括例如5种类型的训练数据中的3种。多种类型的训练数据可以被认为是训练信息集。
220.图像质量/条件/方向的指示可以采用以下形式：良好、中或差。可选地，图像质量/条件/方向可以是0与1之间的数字。例如，“良好”可以是0.6到1，“中”可以是0.4到0.6，并且“差”可以是小于0.4。训练数据将优选地具有由人(例如，医生)指示的这种质量/条件，该人主观地指示他/她的偏好和/或对场景的观察，重点是什么可见/被阻挡。
221.相机信息可以通过使用坐标x、y和z来指示相机的位置。此外，如果需要，训练数据将包括四元数信息，诸如例如q0、q1、q2和q3。
222.除了正在查看的项、器官或组织之外，可能还存在可能会阻挡图像的一个或多个工具。例如，对于每个训练数据样本，可能存在右侧工具和左侧工具。每个工具可以具有工具的类型、工具的位置x、y和z(诸如工具的远端或尖端)以及四元数q0、q1、q2和q3的指示。
223.除了上述信息之外和/或作为上述信息的替代，对于每个训练样本，深度图或视差图可以用作训练的一部分。深度图或视差图可以将屏幕或图像划分为网格。例如，可以利用10
×
8垂直网格、190
×
100网格或任何期望尺寸的网格，其指示从特定点或平面到图像中相应网格位置处的对象的深度。
224.除了以上解释的用于训练的信息之外或作为以上解释的用于训练的信息的替代，内窥镜图像本身可以用于训练。
225.用作上述训练数据的几何数据(也被称为输入信息)可以包括位置信息、相机和工具的四元数信息，该几何数据从用于图像识别的接收捕获的内窥镜图像并计算几何数据的处理器提供给训练模型。因此，所捕获的图像可以不直接从内窥镜系统提供给训练模型。相机的运动数据可以可选地由捕获手术场景并计算附接到相机和/或工具(诸如手术工具)的标记的空间位置的相机提供。
226.用于标记的功能不是必需的，但是可以被实现为用于以时间序列方式计算内窥镜的视野的质量。例如，所捕获的图像的中心与图像中右侧器械(或左侧器械)的位置之间的距离可以作为视场质量的指标之一。
227.控制单元20可以为各种手术生成学习模型或者可以保存预先确定的模型。例如，控制单元20由包括治疗状态的学习数据生成学习模型，该治疗状态包括关于操作者进行的治疗的信息和关于内窥镜师进行的相机操作的内窥镜操作数据。例如，控制单元20通过使
用由跟踪装置测量的内窥镜的位置和姿势作为学习数据的医疗工具来生成学习模型。例如，控制单元20通过使用包括每个目标的深度和运动以及由立体内窥镜拍摄的医疗工具的类型的内窥镜图像作为学习数据来生成学习模型。
228.控制单元20可以通过使用关于各种手术机器人的数据作为学习数据来生成学习模型。例如，控制单元20通过使用医生和内窥镜师对手术机器人的各种操作信息作为学习数据来生成学习模型。例如，控制单元20可以通过使用利用图3所示的支撑臂装置400进行的治疗作为学习数据来生成学习模型。
229.通过使用上述信息来训练人工智能模型或系统(诸如神经网络)，结果将提高预测外科医生、内窥镜操作者或图像观察者希望看到什么视图的能力。因此，呈现给观察者的图像可以在没有用户干预的情况下自动地并且使用经过训练的人工智能模型或神经网络自主地改变为更好或更优选的视图。根据一个实施例，用户或内窥镜师不需要触发第二医学图像或裁剪医学图像的生成，而是系统将在没有用户干预的情况下自动确定第二医学图像将被显示。另外或可选地，可以在没有用户干预的情况下自动确定第二医学图像。
230.本公开可以利用包括神经网络的常规人工智能技术，该神经网络已经被改进和/或训练以使用具有不同程度阻挡的一个或多个器械，以便通过使内窥镜或其他医疗相机自动地并自主地改变其位置来向观察者呈现改进的图像。
231.训练样本可以被认为是“真实(ground truth)”样本。将新捕获的图像与经训练的模型和/或被表征为适当、准确和/或理想的实际或真实示例/样本进行比较，从而使得系统可以自动将正在显示的图像偏移或更改为包括更多相关信息的更好的图像。
232.确定单元24使用学习模型执行深度学习。例如，确定单元24接收上面参考图13a至图13e描述的识别单元214的各种识别结果。例如，确定单元24基于识别结果来确定医生期望的广角图像中术野的裁剪位置以及臂部11的位置和姿势。
233.参考图14a、图14b和图14c，描述了确定单元24的确定结果。图14a至图14c是用于描述确定单元24的确定结果的示图。
234.例如，如图14a所示，确定单元24基于识别单元214的各种识别结果确定医疗工具md12(内窥镜)应该指向的关注点p1。例如，确定单元24确定医疗工具md11与器官o中的目标区域r11之间的距离l1。例如，确定单元24确定医疗工具md12与目标区域r11之间的距离l2。例如，确定单元24确定医疗工具md13与目标区域r11之间的距离l3。
235.如图14b所示，例如，确定单元24基于识别单元214的各种识别结果来确定连接医疗工具md12(内窥镜)的远端和内窥镜应该指向的关注点p2的视向量v21。可选地，确定单元24确定用于将医疗工具md12(内窥镜)引导至关注点p2的轨迹规划。
236.如图14c所示，例如，确定单元24基于识别单元214的各种识别结果来确定连接医疗工具md12(内窥镜)的远端和内窥镜应该指向的关注点p3的视向量v21。例如，确定单元24确定医疗工具md12(内窥镜)的位置和姿势pp1，使得连接医疗工具md12(内窥镜)的远端和内窥镜应该指向的关注点p2的视向量变为视向量v21。
237.确定单元24将图14a至图14c所示的各种确定结果输出到成像控制单元22和臂控制单元23。例如，成像控制单元22基于从确定单元24接收的确定结果来控制成像单元12的放大率。例如，臂控制单元23基于从确定单元24接收的确定结果来控制臂部11的位置和姿势。
238.具体地，确定单元24基于包括在第一术野图像中的对象(例如，医疗工具和器官)和治疗状态中的至少一个来确定臂部11的位置和姿势。确定单元24基于器官的类型和形状以及医疗工具的位置、姿势和形状中的至少一个来确定臂部11的位置和姿势。
239.确定单元24根据基于确定结果控制臂部的位置和姿势的结果是否是医生所期望的控制来更新学习模型的权重。具体地，例如，当基于确定结果控制臂部的位置和姿势的结果是错误的确定结果时，确定单元24更新学习模型的权重。确定单元24将具有更新的权重的学习模型存储在存储单元60中。例如，每次更新学习模型的权重时，确定单元24将学习模型存储在存储单元60中。
240.接收单元25接收输入到操作单元30的各种操作信息。操作信息可以通过语音输入，并且可以通过物理机构输入。来自操作单元30的操作信息的示例包括用于改变成像单元12的放大率和臂部11的位置和姿势的指令信息。例如，接收单元25将指令信息输出到成像控制单元22和臂控制单元23。例如，成像控制单元22基于从接收单元25接收的指令信息来控制成像单元12的放大率。例如，臂控制单元23基于从接收单元接收的指令信息来控制臂部11的位置和姿势。
241.显示控制单元26在第一术野图像显示单元40和第二术野图像显示单元50上显示各种视频。例如，显示控制单元26在第一术野图像显示单元40上显示由获取单元211从成像单元12获取的第一术野图像。例如，显示控制单元26在第二术野图像显示单元50上显示由生成单元212生成的第二术野图像。
242.操作单元30从用户接收各种操作信息。例如，操作单元30由用于检测语音的麦克风、用于检测视线的视线传感器以及用于接收物理操作的开关和触摸面板构成。操作单元30可以由其他物理机构构成。
243.第一术野图像显示单元40和第二术野图像显示单元50显示各种图像。例如，第一术野图像显示单元40显示由成像单元12拍摄的第一术野图像。例如，第二术野图像显示单元50显示由生成单元212生成的第二术野图像。第一术野图像显示单元40和第二术野图像显示单元50的示例包括液晶显示器(lcd)和有机电致发光(el)显示器。
244.例如，本公开中的医学观察系统1可以包括第三术野图像显示单元(未示出)以用于显示上述第三术野图像。例如，第三术野图像显示单元是由操作者的助手视觉识别的显示单元。在本公开中，通过为助手提供第三术野图像显示单元，可以提高可操作性。
245.存储单元60在其中存储各种信息。例如，存储单元60在其中存储由确定单元24生成的学习模型。例如，存储单元60由诸如随机存取存储器(ram)和闪存的半导体存储器元件或者诸如硬盘和光盘的存储装置来实现。
246.如上所述，在本公开中，可以向医生提供通过对与常规内窥镜相对应的第二术野图像执行超分辨率处理而获得的精细图像。通过对由成像单元12拍摄的第一术野图像执行识别处理，可以检测出在医生无法视觉识别的盲点中出现的情况。
247.如上所述，除了从用户接收到的对操作单元30的操作信息之外，还可以基于确定单元24对第一术野图像的确定结果自主控制臂部11的位置和姿势。确定单元24的操作和操作单元30的操作可以切换或者可以同时使用。例如，当操作单元30由视线检测传感器构成时，用户可以在第二术野图像显示单元50上检测关注点，并通过确定单元24相结合确定关注点的放大量。
248.在内窥镜的视线通过患者身体内部环境中的六个自由度控制的情况下，只要使用具有多个自由度的输入装置(诸如主-从装置)，在常规情况下控制是困难的。在本公开中，臂部11基于术野的广角视频自主地控制，从而控制患者身体内部环境中的视线。因此，可以在不使用任何用户操作和任何特殊输入装置的情况下，在身体内部环境中自由改变视线。
249.参考图15，描述根据本发明的实施例的控制单元20控制臂部的位置和姿势的处理。图15是示出根据本发明的实施例的控制单元20控制臂部的位置姿势的处理流程的示例的流程图。
250.首先，控制单元20获取第一术野图像(步骤s101)。具体地，获取单元211从成像单元12获取第一术野图像。流程前进到步骤s102。
251.接下来，控制单元20基于第一术野图像识别术野(步骤s102)。具体地，识别单元214识别包括在第一术野图像中的医疗工具的类型以及医疗工具和器官的状态。流程前进到步骤s103。
252.接下来，控制单元20确定臂部11的预期位置和姿势(步骤s103)。具体地，确定单元24基于在步骤s102处识别单元214的识别结果来确定臂部11的预期位置和姿势(在识别的术野的环境中的理想位置和姿势)。流程前进到步骤s104。
253.接下来，控制单元20控制臂部11的位置和姿势(步骤s104)。具体地，臂控制单元23基于在步骤s103处确定单元24的确定结果来控制臂部11的位置和姿势。完成图15中的处理。
254.参考图16，描述了根据本发明的实施例的控制单元20由第一术野图像为医生生成第二术野图像的处理。图16是用于描述根据本发明的实施例的控制单元20由第一术野图像为医生生成第二术野图像的处理流程的示例的流程图。
255.在本公开中，并行执行图15所示的用于控制臂部11的位置和姿势的处理和图16所示的用于由第一术野图像生成第二术野图像的处理。
256.首先，控制单元20获取第一术野图像(步骤s201)。具体地，获取单元211从成像单元12获取第一术野图像。第一术野(也称为第一医学图像)被示为图22a所示的图像150。在图22a中，图像150包括肝脏152、胆囊154、肿瘤156和胰腺158。内窥镜、相机或显微镜(也被称为医学成像装置162)通常但不必在诸如人或动物的身体的身体内部捕获图像。第一医学图像150优选地是宽的，并且如果需要，可以由医学成像装置162通过广角镜头捕获。医学成像装置162的示例性捕获角度160可以例如是140度、大于100度、大于120度、大于或等于140度或大于160度。图像150中还示出了剪刀164。
257.器官和手术工具可以例如由rgb(红、绿、蓝)和距某一位置的深度(也被称为rgbd)(诸如距医学成像装置162(或医学成像装置162的远端)或如果需要距某个点或虚拟点的深度或距离)定义，将在下面描述。当分析第一医学图像的状态以确定第二医学图像时，分析包括深度信息的第一医学图像的图像信息。
258.然而，应该执行学习阶段以训练系统图像中的各种元素是什么。第一术野图像(或第一医学图像)中受关注区域的位置和尺寸的标记以及器官和手术工具的类型被提供给第一术野图像(诸如捕获的为广角图像的rgb+深度图像，例如140度视角)。通过训练模型学习捕获的广角图像以及受关注区域相对于器官和工具的位置的位置和尺寸。流程前进到步骤s202。
259.接下来，控制单元20确定第二术野图像的裁剪位置(步骤s202)。这可以被认为是推理阶段。具体地，识别单元214基于包括在第一术野图像或第一医学图像150中的诸如剪刀164的医疗工具和一个或多个器官和/或肿瘤156来确定裁剪位置。图22b示出了具有围绕四个元素的矩形框的第一医学图像150。元素周围的矩形框通常表示具有框的对象被图像处理功能识别，诸如对所捕获的图像150执行的图像识别。在图22b中，示出了围绕肝脏152的框170、围绕胆囊153的框172和围绕剪刀176的框176。
260.还有一个矩形框174，在该矩形框174中，具有肿瘤156和剪刀164的末端。这个框174为受关注区域，并且不必仅是单个识别的对象，下面有更多的描述。框174内的图像将成为第二医学图像。通过训练模型学习工具与器官之间的位置关系、基于工具类型估计的治疗任务(例如，消融、切除或摘除)以及受关注区域的位置和内窥镜相对于治疗位置的位置。基于捕获的rgb+d图像(第一术野图像)和识别的器官和工具的位置输出由框174指定的受关注区域的位置和尺寸。第一医学图像的图像信息包括上述特征，这些特征包括器官和/或工具和/或肿瘤以及本文描述的任何其他特征。
261.图22c类似于图22b，但是包括向量180，其可以例如从医学成像装置162的远侧尖端延伸至框或受关注区域174的中心点。该向量180是内窥镜的高低线的向量，并且可以通过使用从医学成像装置162的远端到受关注区域174的中心点的深度以及受关注区域的输出位置来计算。基于受关注区域174的中心的像素位置以及到该中心的深度或距离来计算连接医学成像装置162的远端和受关注区域174的高低线的向量180。在图22c中还示出了从医学成像装置182的端部到剪刀164的远端的向量182。该向量可以用于确定从医学成像装置182到剪刀的远端的深度。图22d示出了位于线186之间的较窄视场。基于受关注区域的输出位置和尺寸以及预定视角(对应于内窥镜的通常视角，诸如70度，并被用于将图像裁剪为显示器上的放大图像)来确定或计算第一术野图像150的裁剪区域(位置和尺寸)，以便以预定的视角覆盖受关注区域。当然，可以利用除70度之外的其他值，诸如60度或小于60度，或80度或大于80度可以用于作为裁剪区域的受关注区域或称为第二医学图像的受关注区域。
262.识别受关注区域、器官和手术工具的类型的标记被赋予由内窥镜捕获的图像。训练模型可以学习(a)工具与器官之间的位置关系，(b)基于工具类型估计的治疗任务(例如，消融)以及(c)受关注区域的位置和内窥镜相对于治疗位置的位置。基于内窥镜的位置和受关注区域的位置计算视线的向量。然后可以计算内窥镜的位置和图像裁剪的位置。流程前进到步骤s203。
263.在步骤s203中，控制单元20生成第二术野图像或第二医学图像(步骤s203)。具体地，生成单元212基于步骤s202的确定结果由第一术野图像中裁剪并生成第二术野图像。流程前进到步骤s204。
264.接下来，控制单元20在第二术野图像显示单元50上显示第二术野图像(步骤s204)。具体地，显示控制单元26在第二术野图像显示单元50上显示在步骤s203处生成的第二术野图像。完成图16中的处理。
265.参考图17，描述了根据本发明实施例的控制单元20基于第一术野图像的识别结果控制第二术野图像的裁剪位置的处理流程。图17是示出根据本发明的实施例的控制单元20基于第一术野图像的识别结果来控制第二术野图像的裁剪位置的处理流程的示例的流程图。
266.首先，控制单元20获取第一术野图像(步骤s301)。具体地，获取单元211从成像单元12获取第一术野图像。流程前进到步骤s302。
267.接下来，控制单元20基于第一术野图像识别术野(步骤s302)。具体地，识别单元214识别包括在第一术野图像中的医疗工具的类型以及医疗工具的状态和器官状态。流程前进到步骤s303。
268.接下来，控制单元20基于第一术野图像的识别结果计算成像单元12的预期位置和姿势(步骤s303)。具体地，确定单元24基于步骤s302处的识别结果和学习模型计算成像单元12的预期位置和姿势(最佳位置和姿势)。流程前进到步骤s304。
269.接下来，控制单元20确定臂部11的预期位置和姿势以及第二术野图像的裁剪位置(步骤s304)。具体地，臂控制单元23基于步骤s303处的计算结果确定臂部11的预期位置和姿势以及第二术野图像的裁剪位置。流程前进到步骤s305。
270.接下来，控制单元20控制臂部11的预期位置和姿势以及第二术野图像的裁剪位置(步骤s305)。具体地，臂控制单元23基于步骤s304处的确定结果控制臂部11的预期位置和姿势以及第二术野图像的裁剪位置。
271.在图16的步骤s202和/或s203中描述的过程中，裁剪区域被确定。作为进一步的步骤，确定受关注区域的中心与位置(虚拟视点)(诸如图22e的点190)之间的距离，该位置可以远离可以捕获受关注区域的医学成像装置162的远端。基于计算出的向量180和满足预定视角的距离(深度)确定计算出的向量(图22c和图22d的向量180)上的虚拟视点和医学成像装置162的姿势。所确定的视点和内窥镜的姿势可以用于控制保持医学成像装置162的关节臂。由于第二术野图像是电裁剪的，并且裁剪时不需要对臂的机械控制。因此，图22e所示的虚拟点180的这种确定和/或使用是任选的。完成图17中的处理。
272.5.对支撑前斜视内窥镜的臂的控制
273.在本实施例中，主要描述用于实现保持手眼协调的内窥镜支架臂的技术。手眼协调可以指手感和视觉感(视觉)是协同的(手感和视觉感(视觉)匹配)。这种技术的一个特征在于“(1)前斜视内窥镜单元被建模为多个互锁连杆”。这种技术的另一特征在于“(2)将臂的全身协同控制扩展为通过使用相对运动空间与联锁连杆之间的关系执行控制”。
274.参考图18，描述了作为硬镜示例的前斜视内窥镜的使用和操作。图18是用于描述前斜视内窥镜的光轴的示图。参考图18，示出了前斜视内窥镜4100中的硬镜轴c2和前斜视内窥镜光轴c1。
275.在手术期间，为了保持前斜视内窥镜旋转操作时操作者的手眼协调性，内窥镜师旋转相机头ch来调整监视器屏幕。当内窥镜师旋转相机头ch时，臂动态特性围绕硬镜轴c2发生变化。监视器上的显示屏围绕前斜视内窥镜光轴c1旋转。
276.在本公开中，由内窥镜师执行的内窥镜旋转操作的电子自由度如以上所述改变以保持手眼协调。
277.随后，描述了上述“(1)前斜视内窥镜单元被建模为互锁连杆”。在本实施例中，对上述围绕硬镜轴c2的操作和围绕前斜视内窥镜光轴c1的操作的特性进行建模以执行控制。首先，通过实际旋转连杆和虚拟旋转连杆对前斜视内窥镜进行建模。本文中，主要通过使用实际旋转连杆作为实际连杆的示例并使用虚拟旋转连杆作为虚拟连杆的示例给出描述。然而，可以使用另一实际连杆(诸如平行实际连杆)代替实际旋转连杆，并且可以使用另一虚
拟连杆(诸如平行虚拟连杆)代替虚拟旋转连杆。实际旋转连杆的轴可以是硬镜轴c2(＝成像器的旋转轴)，并且虚拟旋转连杆的轴可以是前斜视内窥镜光轴c1。虚拟旋转连杆是实际不存在的连杆，并且与实际旋转连杆协同操作。
278.图19是用于描述建模和控制的示图。参考图19，示出了每个连杆处的旋转角度。参考图19，示出了监视器坐标系mnt。具体地，执行控制使得由下式(1)表示的相对运动空间c变为0。
279.[数学1]
[0280]
c(＝α
i+1
*q
i+1
+αi*qi)＝q
i+1-qiꢀꢀꢀꢀꢀꢀ
(1)
[0281]
随后，描述上述“(2)将臂的全身协同控制扩展为通过使用相对运动空间与联锁连杆之间的关系执行控制”。在本实施例中，全身协同控制是通过使用联锁连杆和相对运动空间的扩展按统一方式执行的。在关节空间中，考虑了实际旋转轴和虚拟旋转轴。实际旋转轴和虚拟旋转轴独立于臂配置。在运动目的方面，除笛卡尔空间外，还考虑了相对运动空间。通过改变笛卡尔空间的运动目的，可以执行各种运算。
[0282]
例如，假设全身协同控制的扩展被应用于六轴臂和前斜视内窥镜单元。图3将连杆处的旋转角度示为q1至q8。q7对应于围绕实际旋转连杆轴(＝成像器的旋转轴)的旋转角度，并且q8对应于围绕虚拟旋转连杆轴的旋转角度。图20是示出当将全身协同控制的扩展应用于六轴臂和前斜视内窥镜单元时的每个连杆配置的示例的示图。在这种情况下，控制表达式由下式(2)表示。
[0283]
[数学2]
[0284][0285]
在上述(2)中，q8的时间微分值和相对运动空间c的时间微分值对应于全身协同控制的扩展部分。
[0286]
上面已经描述了“(2)将臂的全身协同控制扩展为通过使用相对运动空间与联锁连杆之间的关系执行控制”。
[0287]
6.虚拟连杆的设置
[0288]
随后，描述虚拟连杆的设置。在描述本公开中用于设置虚拟连杆的方法之前，首先描述用于控制臂的机构以设置虚拟连杆的方法。
[0289]
用于设置虚拟连杆的条件的计算条件设置单元可以用作用于设置作为虚拟连杆的示例的虚拟旋转连杆的虚拟连杆设置单元。例如，计算条件设置单元通过设置虚拟连杆的距离和方向中的至少一个来设置虚拟连杆。图20示出了“虚拟旋转连杆”和“实际旋转连杆”的示例。如图20所示，实际旋转连杆是对应于内窥镜的镜头筒轴的连杆。虚拟旋转连杆是对应于内窥镜的前斜视内窥镜光轴c1的连杆。
[0290]
计算条件设置单元基于参考臂的实际旋转连杆远端定义的坐标系、存在于前斜视内窥镜光轴c1上的自由选择的点和连接点的线来形成虚拟旋转连杆的模型，并使用全身协同控制。以此方式，独立于臂的硬件配置，可以在虚拟旋转连杆坐标系中固定姿势，并且在
手术中，可以在保持套管针的用作内窥镜插入位置的位置的同时，实现诸如在虚拟旋转连杆远端处固定任意点方向的视点的运动目的。实际旋转连杆远端可以是指光轴c1在臂上通过的点。
[0291]
计算条件设置单元可以基于连接的内窥镜的规格和空间上自由选择的点来设置虚拟旋转连杆。根据基于内窥镜规格对虚拟旋转连杆的设置，设置虚拟旋转连杆的条件不限于使用特定内窥镜的情况，并且因此在内窥镜改变时可以仅通过设置虚拟旋转连杆动态更新模型来实现用于运动目的的操作。
[0292]
内窥镜规格可以包括内窥镜的结构规格和内窥镜的功能规格中的至少一个。在这种情况下，内窥镜的结构规格可以包括内窥镜的偏斜角和内窥镜的尺寸中的至少一个。内窥镜的规格可以包括内窥镜的轴的位置(内窥镜的轴的信息可以用于设置实际旋转连杆)。内窥镜的功能规格可以包括内窥镜的焦距。
[0293]
例如，在基于内窥镜的规格设置虚拟旋转连杆的情况下，可以根据偏斜角信息确定虚拟旋转连杆的方向，该虚拟旋转连杆是来自实际旋转连杆远端的连接连杆。到连接到实际旋转连杆远端的虚拟旋转连杆的距离可以通过内窥镜尺寸信息确定。可以根据焦距信息确定用于针对运动目的固定焦点的虚拟旋转连杆的长度。以此方式，可以通过使用相同的控制算法并简单地通过虚拟旋转连杆的设置变化来实现对应于各种内窥镜变化的用于运动目的的操作。
[0294]
此外，当内窥镜改变时，上述虚拟旋转连杆可以动态地改变为独立于臂的硬件配置的虚拟连杆。例如，当具有30度偏斜角的前斜视内窥镜变为具有45度偏斜角的前斜视内窥镜时，可以基于改变后的内窥镜的规格重新设置新的虚拟旋转连杆。以此方式，可以根据内窥镜的变化来相应地切换运动目的。
[0295]
当根据臂系统设置了关于内窥镜规格的信息但未限制将信息输入到臂系统的手段时，基于内窥镜规格更新虚拟旋转连杆的设置。例如，计算条件设置单元可以在连接内窥镜时识别与内窥镜相对应的内窥镜id，并获取与所识别的内窥镜id相对应的内窥镜规格。
[0296]
在这种情况下，如果已经将内窥镜id写入到内窥镜的存储器中，则计算条件设置单元可以识别从存储器读取的内窥镜id。在这种情况下，即使当用户没有输入改变的内窥镜的规格时，虚拟旋转连杆也会被更新，因此可以顺利地继续手术。可选地，当在内窥镜的表面上指示内窥镜id时，看到内窥镜id的用户可以通过输入单元210输入内窥镜id作为输入信息，并且计算条件设置单元可以基于输入信息识别内窥镜id。
[0297]
对应于内窥镜id的内窥镜规格可以从任何地方获取。例如，当在臂系统中的存储器中累积了内窥镜规格时，可以从臂系统中的存储器中获取内窥镜规格。可选地，当在连接到网络的外部装置中累积了内窥镜规格时，可以通过网络获取内窥镜规格。可以基于如此获取的内窥镜规格自动设置虚拟旋转连杆。
[0298]
对于虚拟旋转连杆，可以将与所连接的内窥镜远端相距任意距离的观察目标上的任意点设置为虚拟旋转连杆远端。计算条件设置单元可以基于从内窥镜远端到从传感器获得的观察目标的距离或方向来设置或改变虚拟旋转连杆。即使在观察目标的位置动态变化的情况下，计算条件设置单元也可以基于用于指定观察目标的空间位置的传感器信息获取到内窥镜远端的方向和距离信息，并基于该信息设置或更新虚拟旋转连杆。以此方式，可以在手术中响应于继续注视观察目标的手术请求切换观察目标的同时进行注视操作。
[0299]
常规地，获取从内窥镜远端到观察目标的距离或方向，并基于所获取的信息设置或改变虚拟旋转连杆。
[0300]
另一方面，在本公开中，如上面参考图10所述，设置俯仰、滚转和变焦这三个电子自由度。可以实现受到常规内窥镜的限制的与目标具有恒定距离的环视操作。例如，在本公开中，可以自由地采取与目标具有恒定距离的环视操作中的姿势。在本公开中，通过增加电子变焦操作，可以在保持目标的放大率恒定的同时环视该目标。换句话说，本公开可以在无需机械运动的情况下通过电子自由度的运动来实现虚拟连杆的运动。
[0301]
7.硬件配置
[0302]
诸如上述控制单元20的信息装置例如由如图21所示配置的计算机1000实现。图21是示出用于实现诸如控制单元20的信息处理装置的计算机1000的示例的硬件配置图。下面作为示例描述根据实施例的控制单元20。计算机1000包括cpu 1100、ram 1200、只读存储器(rom)1300、硬盘驱动器(hdd)1400、通信接口1500和输入/输出接口1600。计算机1000中的单元通过总线1050连接。
[0303]
cpu 1100基于存储在rom 1300或hdd 1400中的计算机程序进行操作，并控制这些单元。例如，cpu 1100将存储在rom 1300或hdd 1400中的计算机程序部署到ram 1200上，并执行对应于各种计算机程序的处理。
[0304]
rom 1300在其中存储引导程序，诸如在计算机1000启动时由cpu 1100执行的基本输入输出系统(bios)和取决于计算机1000的硬件的计算机程序。
[0305]
hdd 1400是用于非临时记录由cpu 1100执行的计算机程序和由计算机程序使用的数据的计算机可读记录介质。具体地，hdd 1400是用于记录作为程序数据1450的示例的根据本公开的信息处理程序的记录介质。
[0306]
通信接口1500是用于计算机1000连接到外部网络1550(例如，因特网)的接口。例如，cpu 1100从其他装置接收数据并且通过通信接口1500将cpu 1100生成的数据发送到其他装置。
[0307]
输入/输出接口1600是用于连接输入/输出装置1650和计算机1000的接口。例如，cpu 1100通过输入/输出接口1600从诸如键盘和鼠标的输入装置接收数据。cpu 1100通过输入/输出接口1600将数据发送到诸如显示器、扬声器和打印机的输出装置。输入/输出接口1600可以用作用于读取记录在预定记录介质(介质)中的计算机程序的介质接口。介质的示例包括诸如数字通用盘(dvd)和相变可重写盘(pd)的光记录介质、诸如磁光盘(mo)的磁光记录介质、磁带介质、磁记录介质和半导体存储器。
[0308]
例如，当计算机1000用作根据实施例的控制单元20时，计算机1000中的cpu 1100执行加载在ram 1200上的信息处理程序以实现控制单元20的功能。在hdd 1400中，存储了根据本公开的信息处理程序和存储单元60中的数据。cpu 1100从hdd 1400读取并执行程序数据1450，但在另一示例中，可以通过外部网络1550从另一装置获取程序。
[0309]
效果
[0310]
医学观察系统1包括：臂部11，其中，连杆通过关节部耦接；成像单元12，其由臂部11支撑并被配置为拍摄第一术野图像；以及控制单元20，其被配置为驱动臂部11中的关节部111以基于第一术野图像控制臂部11的位置和姿势。控制单元20基于第一术野图像中的显示目标区域生成第二术野图像，并将第二术野图像输出到外部。控制单元20根据基于第
一术野图像的术野环境的识别结果来确定成像单元的位置和姿势。
[0311]
这种配置可以提供一种将图像处理的电子自由度和臂部11的机械自由度相结合的医学观察系统。因此，可以简化臂部11的机构以抑制成本增加。用于实现期望运动的臂部的运动可以被最小化以减少对患者身体中的医疗工具等的干扰。可以适当调整手眼协调以改善医生的可操作性。
[0312]
成像单元12可以具有广角光学系统。
[0313]
这种配置可以提供一种将图像处理的电子自由度和臂部11的机械自由度相结合的医学观察系统。因此，可以简化臂部11的机构以抑制成本增加。用于实现期望运动的臂部的运动可以被最小化以减少对患者身体中的医疗工具等的干扰。可以适当调整手眼协调以改善医生的可操作性。
[0314]
控制单元20可以通过裁剪第一术野图像的至少一部分来生成第二术野图像。
[0315]
通过这种配置，可以由以广角拍摄的第一术野图像裁剪并生成作为医生想要看到的区域的第二术野图像。因此，可以在不需要特殊机构的情况下实现虚拟连杆的方向和长度。
[0316]
控制单元20可以通过根据臂部11的位置和姿势改变裁剪位置来生成第二术野图像。
[0317]
通过这种配置，当臂部11的位置和姿势改变时，可以再次设置裁剪位置。因此，即使当臂部11的位置和姿势发生变化时，也可以防止屏幕上的第二术野图像发生变化。
[0318]
控制单元20可以通过基于识别结果由第一术野图像确定裁剪位置来生成第二术野图像。
[0319]
通过这种配置，可以生成基于识别结果的第二术野图像。因此，可以准确地生成医生所期望的第二术野图像。
[0320]
控制单元20可以基于识别结果确定第一术野图像中的关注点，并生成包括关注点的第二术野图像。
[0321]
通过这种配置，可以生成包括第一术野图像中的关注点的第二术野图像。因此，可以更准确地生成医生所期望的第二术野图像。
[0322]
控制单元20可以基于通过使用关于手术的数据作为学习数据生成的学习模型来驱动臂部11中的关节部111。
[0323]
通过这种配置，可以基于关于手术的学习数据来控制臂部11。因此，臂部11的位置和姿势可以在无需来自医生的任何指示的情况下自主地控制。可以根据基于关于过去手术的学习数据生成的学习模型来实现最优控制。
[0324]
关于手术的数据可以包括关于在手术中使用的医疗工具的信息。
[0325]
通过这种配置，可以基于手术中使用的医疗工具来控制臂部11的位置和姿势。因此，臂部11的位置和姿势可以在无需来自医生的任何指示的情况下基于医疗工具自主地控制。
[0326]
关于医疗工具的信息可以包括医疗工具的图像和关于医疗工具的操作的数据。
[0327]
通过这种配置，可以基于手术中使用的医疗工具的图像和关于医疗工具的操作的数据来控制臂部11的位置和姿势。因此，可以更适当地控制臂部11的位置和姿势。
[0328]
医疗工具可以是内窥镜。
[0329]
通过这种配置，可以基于手术中使用的内窥镜的图像和关于内窥镜的操作的数据来控制臂部11的位置和姿势。
[0330]
关于手术的数据包括关于臂部11的信息。
[0331]
通过这种配置，可以基于臂部11的信息来控制臂部11的位置和姿势。因此，臂部11的位置和姿势可以在无需来自医生的任何指示的情况下基于关于臂部11的信息自主地控制。
[0332]
关于臂部11的信息包括关于臂部11中的关节部111的状态的信息。
[0333]
通过这种配置，可以基于关于臂部11中的关节部111的状态的信息来控制臂部11的位置和姿势。因此，可以更适当地控制臂部11的位置和姿势。
[0334]
关于臂部11中的关节部111的信息包括关于臂部11中的关节部111的运动的信息。
[0335]
通过这种配置，可以基于关于臂部11中的关节部111的运动的信息来控制臂部11的位置和姿势。因此，可以更适当地控制臂部11的位置和姿势。
[0336]
关于臂部11的信息包括关于由臂部11抓握的医疗工具的信息。
[0337]
通过这种配置，可以基于关于由臂部11抓握的医疗工具的信息来控制臂部11的位置和姿势。因此，臂部11的位置和姿势可以在无需来自医生的任何指示的情况下基于关于由臂部11抓握的医疗工具的信息自主地控制。
[0338]
关于由臂部11的医疗工具的信息包括医疗工具的类型、医疗工具的位置信息和姿势信息中的至少一个。
[0339]
通过这种配置，可以基于关于由臂部11抓握的医疗工具的位置信息和姿势信息中的至少一个来控制臂部11的位置和姿势。因此，可以更适当地控制臂部11的位置和姿势。
[0340]
学习数据包括立体传感器、深度传感器和运动传感器的测量结果。
[0341]
通过这种配置，可以通过使用包括立体传感器、深度传感器和运动传感器中的至少一个的测量结果的学习数据来驱动臂部11中的关节部111。因此，在手术中，可以基于立体传感器、深度传感器和运动传感器的测量结果更适当地控制臂部11的位置和姿势。
[0342]
学习数据包括由立体传感器、深度传感器和运动传感器中的至少一个获得的关于术野环境的信息，其包括医疗工具和器官的位置、姿势、类型和运动中的至少一个。
[0343]
通过这种配置，可以基于由立体传感器、深度传感器和运动传感器中的至少一种获得的关于医疗工具和器官的位置、姿势、类型和运动的信息来驱动臂部11中的关节部111。因此，在手术中，可以基于立体传感器、深度传感器和运动传感器的测量结果更适当地控制臂部11的位置和姿势。
[0344]
确定单元24基于关于臂部11的姿势信息和立体传感器、深度传感器和运动传感器的测量结果中的至少一个来确定臂部11的位置和姿势。
[0345]
通过这种配置，确定单元24基于各种传感器的测量结果确定臂部11的位置和姿势。因此，可以更适当地控制臂部11的位置和姿势。
[0346]
确定单元24基于包括在第一术野图像中的对象和治疗状态中的至少一个来确定臂部11的位置和姿势。
[0347]
通过这种配置，确定单元24可以使用包括在第一术野图像中的对象和治疗内容作为要输入到学习模型并执行的数据。
[0348]
对象是包括在第一术野图像中的器官和医疗工具。
[0349]
通过这种配置，确定单元24可以使用包括在第一术野图像中的医疗工具作为要输入到学习模型并执行的数据。
[0350]
确定单元24基于器官的类型和形状以及医疗工具的位置、姿势和形状中的至少一个来确定臂部11的位置和姿势。
[0351]
通过这种配置，确定单元24可以使用器官的类型和形状以及医疗工具的位置、姿势和形状中的至少一个作为要输入到学习模型并执行的数据。
[0352]
医学观察系统1可以包括处理单元213以用于对第二术野图像执行图像处理以进行图像校正。
[0353]
通过这种配置，可以对第二术野图像执行各种图像处理。
[0354]
控制单元20可以对第一术野图像执行图像处理。
[0355]
通过这种配置，可以对第一术野图像执行各种图像处理。
[0356]
控制单元20可以对第二术野图像执行图像质量提高处理。
[0357]
通过这种配置，可以高质量地提供由医生视觉识别的第二术野图像。具体地，可以提供具有与传统内窥镜相同的精细图像质量的第二术野图像。
[0358]
处理单元213可以对第二术野图像执行超分辨率处理、失真校正、增强、降噪(nr)处理、图像稳定和亮度校正处理中的至少一个。
[0359]
通过这种配置，可以对第二术野图像执行各种高级图像处理。
[0360]
控制单元20可以根据第二术野图像的裁剪位置来改变对第二术野图像执行的图像处理。
[0361]
通过这种配置，可以执行与第二术野图像的裁剪位置相对应的最佳图像处理，并且因此可以提高第二术野图像的图像质量。
[0362]
控制单元20可以基于输入到控制单元20的信息来改变对第二术野图像执行的处理。
[0363]
通过这种配置，可以执行与输入到控制单元20的信息相对应的最佳图像处理，并且因此可以提高第二术野图像的图像质量。
[0364]
处理单元213可以基于关于臂部11中的关节部111的运动的信息、基于第一术野图像对术野环境的识别结果以及包括在第一术野图像中的对象和治疗状态中的至少一个改变对第二术野图像执行的图像处理。
[0365]
通过这种配置，关于臂部11中的关节部111的运动的信息、基于第一术野图像对术野环境的识别结果以及包括在第一术野图像中的对象和治疗状态中的至少一个可以用作输入到控制单元20的信息。
[0366]
控制单元20可以生成第三术野图像，该第三术野图像是通过基于第一术野图像执行图像质量降低处理而获得的，并且确定单元24可以基于第三术野图像识别术野环境，并基于识别结果确定臂部11的位置和姿势。
[0367]
通过这种配置，可以基于分辨率降低的图像来识别目标，并且因此可以降低处理负荷。因此，可以降低功耗。
[0368]
控制单元20可以对第二术野图像执行图像质量降低处理。
[0369]
通过这种配置，可以生成分辨率降低的第二术野图像，并且因此可以降低处理负荷。因此，可以降低功耗。
[0370]
控制单元20可以将用户的受关注区域确定为显示目标区域，并驱动臂部11中的关节部111以提高受关注区域的图像质量。
[0371]
通过这种配置，可以自主地确定医生的受关注区域，并且可以基于该确定结果来控制臂部11的位置和姿势。因此，可以提高受关注区域的图像质量。
[0372]
控制单元20可以驱动臂部11中的关节部111以避开阻挡用户对受关注区域的视野的医疗工具。
[0373]
通过这种配置，在确定为受关注区域内存在医疗工具时，可以控制臂部11以避开医疗工具。因此，可以提高受关注区域的可见性。
[0374]
控制单元20可以驱动臂部11中的关节部111，使得受关注区域从屏幕的中心偏移。
[0375]
通过这种配置，当假设医疗工具位于屏幕的中心时，可以控制臂部11，使得受关注区域出现在屏幕的端部。因此，可以控制受关注区域的可见性。
[0376]
控制单元20可以驱动臂部11中的关节部111以避开来自受关注区域的镜面反射。
[0377]
通过这种配置，可以改变臂部11的位置和姿势以避开来自受关注区域的光的反射。因此，可以减少来自受关注区域的光的反射，并且因此可以提高受关注区域的图像质量。
[0378]
控制单元20可以相对于受关注区域改变光源单元13的位置和成像单元12的位置。
[0379]
通过这种配置，通过改变臂部11的位置和姿势以及改变光源单元13的位置和成像单元12的位置，可以减少来自受关注区域的光的反射。因此，可以提高受关注区域的图像质量。
[0380]
控制单元20可以基于成像单元12相对于受关注区域的位置关系来控制光源单元13的光量。
[0381]
通过这种配置，可以根据成像单元12相对于受关注区域的位置来调整光源单元13的光量。因此，可以根据成像单元12的位置实现最佳光量，并且因此可以减少光的反射以提高受关注区域的可见性。
[0382]
控制单元20可以控制臂部11的位置和姿势以抑制受关注区域周边的失真。
[0383]
通过这种配置，可以在观察或处理受关注区域的中心时抑制失真。因此，可以提高受关注区域的图像质量。
[0384]
控制单元20可以驱动臂部11中的关节部111，使得受关注区域基本上位于第一术野图像的中心。
[0385]
通过这种配置，由医生视觉识别的受关注区域基本上位于第一术野图像的中心，并且因此可以在第一术野图像中容易地检查由医生进行的治疗。
[0386]
控制装置包括控制单元，该控制单元被配置为基于第一术野图像驱动臂部11中的关节部111以控制成像单元的位置和姿势。控制单元基于第一术野图像中的显示目标区域生成第二术野图像，并将第二术野图像输出到外部。控制单元根据基于第一术野图像的术野环境的识别结果来确定成像单元的位置和姿势。
[0387]
这种配置可以提供一种将图像处理的电子自由度和臂部11的机械自由度相结合的医学观察系统。因此，可以简化臂部11的机构以抑制成本增加。用于实现期望运动的臂部的运动可以被最小化以减少对患者身体中的医疗工具等的干扰。可以适当调整手眼协调以改善医生的可操作性。
[0388]
一种用于医学观察系统的控制方法，包括：基于由臂部11支撑的成像单元12拍摄的第一术野图像中的显示目标区域生成第二术野图像，并将第二术野图像输出到外部；并且根据基于第一术野图像对术野环境的识别结果来确定成像单元12的位置和姿势。
[0389]
这种方法可以提供一种将图像处理的电子自由度和臂部11的机械自由度相结合的医学观察系统。因此，可以简化臂部11的机构以抑制成本增加。用于实现期望运动的臂部的运动可以被最小化以减少对患者身体中的医疗工具等的干扰。可以适当调整手眼协调以改善医生的可操作性。
[0390]
本文描述的效果仅是说明性的而不是限制性的。可以获得其他效果。
[0391]
本技术可以具有如下配置。
[0392]
(1)根据一个实施例，一种处理医学图像的方法，包括：使用医学成像装置获取第一医学图像；使用包括深度信息的第一医学图像的图像信息来分析第一医学图像的状态；基于包括对深度信息的分析在内的分析，在没有用户干预的情况下自动确定与第一医学图像相对应并且具有比第一医学图像更小的视角的第二医学图像；并且显示第二医学图像。
[0393]
(2)根据(1)的实施例，确定包括基于分析确定医学成像装置要捕获第二医学图像的位置；将医学成像装置移动到已确定的位置；并且在显示第二医学图像之前，当医学成像装置处于已确定的位置时捕获第二医学图像。
[0394]
(3)根据实施例(1)，确定包括基于分析确定针对第一医学图像的裁剪信息；并且使用裁剪信息裁剪第一医学图像以生成第二医学图像。
[0395]
(4)根据(1)的实施例，其中，确定包括基于分析确定医学成像装置要捕获第二医学图像的位置；将医学成像装置移动到已确定的位置；确定第二医学图像的裁剪信息；并且使用位于已确定的位置的医学成像装置和裁剪信息创建第二医学图像。
[0396]
(5)此外，根据(4)的实施例，其中，创建通过裁剪与第一医学图像不同的新捕获的图像来创建第二医学图像。
[0397]
(6)此外，根据(1)的实施例，其中，第一医学图像是通过广角镜头获取的。
[0398]
(7)此外，根据(1)的实施例，分析包括通过分析第一医学图像中医疗工具和器官中的至少一者的存在来分析第一医学图像的状态。
[0399]
(8)此外，根据(7)的实施例，分析包括：
[0400]
通过分析第一医学图像中医疗工具和器官两者的存在来分析第一医学图像的状态。
[0401]
(9)此外，根据(1)的实施例，分析分析相机位置信息和手术工具信息以创建模型，并且自动确定利用模型来确定要显示第二图像并确定第二图像。
[0402]
(10)此外，根据(9)的实施例，模型为神经网络，并且分析创建神经网络。
[0403]
(11)此外，根据(1)的实施例，在显示之前对第二医学图像执行图像处理。
[0404]
(12)此外，根据(11)的实施例，图像处理包括超分辨率处理、失真校正、增强、降噪(nr)处理、图像稳定和亮度校正处理中的至少一种。
[0405]
(13)此外，根据(11)的实施例，还包括基于裁剪信息确定要执行的图像处理的类型。
[0406]
(14)此外，根据(13)的实施例，
[0407]
裁剪信息包括裁剪位置。
[0408]
(15)根据另一实施例，提供了一种医疗系统，包括：医学成像装置；被配置为控制医学成像装置以获取第一医学图像的电路；被配置为使用包括深度信息的第一医学图像的图像信息来执行对第一医学图像的状态的分析的电路；以及被配置为基于包括对深度信息的分析在内的分析，在没有用户干预的情况下自动确定与第一医学图像相对应并且具有比第一医学图像更小的视角的第二医学图像，并且使显示器显示第二医学图像的电路。
[0409]
(16)此外，根据(15)的实施例，被配置用于确定的电路包括：被配置为基于分析确定医学成像装置要捕获第二医学图像的位置的电路；以及被配置为将医学成像装置移动到已确定的位置的电路；被配置为在显示第二医学图像之前，当医学成像装置处于已确定的位置时使用医学成像装置捕获第二医学图像的电路。
[0410]
(17)此外，根据(15)的实施例，被配置用于确定的电路包括：被配置为基于分析确定针对第一医学图像的裁剪信息的电路；以及被配置为使用裁剪信息裁剪第一医学图像以生成第二医学图像的电路。
[0411]
(18)此外，根据(15)的实施例，被配置用于确定的电路包括：被配置为基于分析确定医学成像装置要捕获第二医学图像的位置的电路；被配置为将医学成像装置移动到已确定的位置的电路；被配置为确定第二医学图像的裁剪信息的电路；以及被配置为使用位于已经确定的位置处的医学成像装置和裁剪信息来创建第二医学图像的电路。
[0412]
(19)此外，根据(18)的实施例，被配置为创建的电路通过裁剪与第一医学图像不同的新捕获的图像来创建第二医学图像。
[0413]
(20)此外，根据(15)的实施例，第一医学图像是由医学成像装置通过广角镜头获取的。
[0414]
(21)此外，根据(15)的实施例，被配置为分析的电路通过分析第一医学图像中医疗工具和器官中的至少一者的存在来分析第一医学图像的状态。
[0415]
(22)此外，根据(21)的实施例，被配置为分析的电路通过分析第一医学图像中医疗工具和器官两者的存在来分析第一医学图像的状态。
[0416]
(23)此外，根据(15)的实施例，被配置为执行分析的电路分析相机位置信息和手术工具信息以创建模型，并且被配置为自动确定的电路利用该模型来确定要显示第二图像并确定第二图像。
[0417]
(24)此外，根据(23)的实施例，模型为神经网络，并且被配置为执行分析的电路创建神经网络。
[0418]
(25)此外，根据(15)的实施例，该实施例还包括被配置为在显示第二医学图像之前对第二医学图像执行图像处理的电路。
[0419]
(26)此外，根据(25)的实施例，图像处理包括超分辨率处理、失真校正、增强、降噪(nr)处理、图像稳定和亮度校正处理中的至少一种。
[0420]
(27)此外，根据(25)的实施例，该实施例还包括被配置为基于裁剪信息确定要执行的图像处理的类型的电路。
[0421]
(28)此外，根据(27)的实施例，裁剪信息包括裁剪位置。
[0422]
(29)此外，根据另一实施例，提供了一种训练神经网络的计算机实现的方法，包括：收集训练信息集，该训练信息集包括图像质量信息、相机位置信息和手术工具信息；基于该训练信息集训练神经网络，该神经网络用于基于当前相机位置信息和当前手术工具信
息来改变视图。
[0423]
(30)此外，根据(29)的实施例，训练信息中的手术工具信息包括手术工具的类型和手术工具的位置。
[0424]
(31)此外，根据(30)的实施例，手术工具的位置由x坐标、y坐标和z坐标表示。
[0425]
(32)此外，根据(31)的实施例，训练信息中的手术工具信息包括至少两个手术工具的手术工具信息。
[0426]
(33)此外，根据(29)的实施例，训练信息中的相机位置信息由x坐标、y坐标和z坐标表示。
[0427]
(34)此外，根据(29)的实施例，图像质量信息由与呈现给观察者的图像的质量相对应的至少两个级别值指示。
[0428]
(35)此外，根据(29)的实施例，
[0429]
图像质量信息为单个数字。
[0430]
(36)此外，根据(29)的实施例，相机位置信息基于支撑相机的臂的位置信息。
[0431]
本技术可以另选具有如下配置。
[0432]
(1)一种医学观察系统，包括：
[0433]
臂部，其中，多个连杆通过关节部耦接；
[0434]
成像单元，由臂部支撑并被配置为拍摄第一术野图像；以及
[0435]
控制单元，被配置为驱动臂部中的关节部以基于第一术野图像控制成像单元的位置和姿势，其中，
[0436]
该控制单元
[0437]
基于第一术野图像中的显示目标区域生成第二术野图像，并将第二术野图像输出到外部，并且
[0438]
根据基于第一术野图像的术野的环境识别结果来确定成像单元的位置和姿势。
[0439]
(2)根据(1)的医学观察系统，其中，成像单元包括广角光学系统。
[0440]
(3)根据(1)或(2)的医学观察系统，其中，控制单元通过裁剪第一术野图像的至少一部分来生成第二术野图像。
[0441]
(4)根据(1)至(3)中任一项的医学观察系统，其中，控制单元通过根据成像单元的位置和姿势由第一术野图像改变裁剪位置来生成第二术野图像。
[0442]
(5)根据(3)的医学观察系统，其中，控制单元通过基于识别结果由第一术野图像确定裁剪位置来生成第二术野图像。
[0443]
(6)根据(5)的医学观察系统，其中，控制单元基于识别结果确定第一术野图像中的关注点，并生成包括关注点的第二术野图像。
[0444]
(7)根据(1)至(6)中任一项的医学观察系统，其中，控制单元基于通过使用关于手术的数据作为学习数据生成的学习模型来驱动臂部中的关节部。
[0445]
(8)根据(7)的医学观察系统，其中，关于手术的数据包括关于在手术中使用的医疗工具的信息。
[0446]
(9)根据(8)的医学观察系统，其中，关于医疗工具的信息包括由医疗工具获取的图像数据和关于医疗工具的操作的数据。
[0447]
(10)根据(9)的医学观察系统，其中，医疗工具为内窥镜。
[0448]
(11)根据(7)至(10)中任一项的医学观察系统，其中，关于手术的数据包括关于臂部的信息。
[0449]
(12)根据(11)的医学观察系统，其中，关于臂部的信息包括关于臂部中的关节部的状态的信息。
[0450]
(13)根据(12)的医学观察系统，其中，关于臂部中的关节部的信息包括关于臂部中的关节部的运动的信息。
[0451]
(14)根据(11)至(13)中任一项的医学观察系统，其中，关于臂部的信息包括关于由臂部抓握的医疗工具的信息。
[0452]
(15)根据(14)的医学观察系统，其中，关于由臂部抓握的医疗工具的信息包括医疗工具的类型、医疗工具的位置信息和姿势信息中的至少一个。
[0453]
(16)根据(7)至(15)中任一项的医学观察系统，其中，学习数据包括立体传感器、深度传感器和运动传感器中的至少一个的测量结果。
[0454]
(17)根据(16)的医学观察系统，其中，学习数据包括由立体传感器、深度传感器和运动传感器中的至少一个获得的关于术野环境的信息，其包括医疗工具和器官的位置、姿势、类型和运动中的至少一个。
[0455]
(18)根据(1)至(17)中任一项的医学观察系统，其中，控制单元基于对臂部的至少一个姿势信息的测量结果和通过立体传感器、深度传感器和运动传感器中的至少一个的测量结果来确定成像单元的位置和姿势。
[0456]
(19)根据(1)至(18)中任一项的医学观察系统，其中，控制单元基于包括在第一术野图像中的对象和治疗状态中的至少一个来确定成像单元的位置和姿势。
[0457]
(20)根据(19)的医学观察系统，其中，对象是包括在第一术野图像中的器官和医疗工具。
[0458]
(21)根据(20)的医学观察系统，其中，控制单元基于器官的类型和形状以及医疗工具的位置、姿势和形状中的至少一个来确定成像单元的位置和姿势。
[0459]
(22)根据(1)至(21)中任一项的医学观察系统，其中，控制单元还对第二术野图像执行图像处理以进行图像校正。
[0460]
(23)根据(22)的医学观察系统，其中，控制单元对第一术野图像执行图像处理。
[0461]
(24)根据(22)或(23)的医学观察系统，其中，控制单元对第二术野图像执行图像质量提高处理。
[0462]
(25)根据(24)的医学观察系统，其中，控制单元对第二术野图像执行超分辨率处理、失真校正、增强、降噪(nr)处理、图像稳定和亮度校正处理中的至少一个。
[0463]
(26)根据(22)至(25)中任一项的医学观察系统，其中，控制单元根据第二术野图像的裁剪位置改变对第二术野图像执行的图像处理。
[0464]
(27)根据(22)至(26)中任一项的医学观察系统，其中，控制单元基于输入到控制单元的信息改变对第二术野图像执行的处理。
[0465]
(28)根据(27)的医学观察系统，其中，控制单元基于关于臂部中的关节部的运动的信息、基于第一术野图像对术野环境的识别结果以及包括在第一术野图像中的对象和治疗状态中的至少一个改变对第二术野图像执行的图像处理。
[0466]
(29)根据(1)至(28)中任一项的医学观察系统，其中，控制单元被配置为：
[0467]
生成第三术野图像，该第三术野图像是通过基于第一术野图像执行图像质量降低处理而获得的；并且
[0468]
根据基于第三术野图像的术野环境识别结果来确定成像单元的位置和姿势。
[0469]
(30)根据(1)至(29)中任一项的医学观察系统，其中，控制单元对第二术野图像执行图像质量降低处理。
[0470]
(31)根据(1)至(30)中任一项的医学观察系统，其中，控制单元将用户的受关注区域确定为显示目标区域，并驱动臂部中的关节部以提高受关注区域中的图像质量。
[0471]
(32)根据(31)的医学观察系统，其中，控制单元驱动臂部中的关节部以避开阻挡用户对受关注区域的视野的医疗工具。
[0472]
(33)根据(31)或(32)的医学观察系统，其中，控制单元驱动臂部中的关节部，使得受关注区域从屏幕的中心偏移。
[0473]
(34)根据(31)至(33)中任一项的医学观察系统，其中，控制单元驱动臂部中的关节部以避开来自受关注区域的镜面反射。
[0474]
(35)根据(31)至(34)中任一项的医学观察系统，其中，控制单元相对于受关注区域改变光源单元的位置和成像单元的位置。
[0475]
(36)根据(35)的医学观察系统，其中，控制单元基于成像单元相对于受关注区域的位置关系来控制光源单元的光量。
[0476]
(37)根据(31)至(36)中任一项的医学观察系统，其中，控制单元控制成像单元的位置和姿势以抑制受关注区域周边的失真。
[0477]
(38)根据(31)至(37)中任一项的医学观察系统，其中，控制单元驱动臂部中的关节部，使得受关注区域基本上位于第一术野图像的中心。
[0478]
(39)一种用于医学观察系统的控制装置，包括控制单元，该控制单元被配置为驱动臂部中的关节部以基于第一术野图像来控制成像单元的位置和姿势，
[0479]
其中，控制单元被配置为：
[0480]
基于第一术野图像中的显示目标区域生成第二术野图像，并将第二术野图像输出到外部；并且
[0481]
根据基于第一术野图像的术野环境的识别结果来确定成像单元的位置和姿势。
[0482]
(40)一种用于医学观察系统的控制方法，包括：
[0483]
基于由臂部支撑的成像单元拍摄的第一术野图像中的显示目标区域生成第二术野图像，并将第二术野图像输出到外部；并且
[0484]
根据基于第一术野图像的术野环境的识别结果来确定成像单元的位置和姿势。
[0485]
参考标记列表
[0486]1ꢀꢀ
医学观察系统
[0487]
10
ꢀꢀ
机械臂装置
[0488]
11
ꢀꢀ
臂部
[0489]
20
ꢀꢀ
控制单元(控制装置)
[0490]
21
ꢀꢀ
图像处理单元
[0491]
22
ꢀꢀ
成像控制单元
[0492]
23
ꢀꢀ
臂控制单元
[0493]
24
ꢀꢀ
学习单元
[0494]
25
ꢀꢀ
接收单元
[0495]
26
ꢀꢀ
显示控制单元
[0496]
30
ꢀꢀ
操作单元
[0497]
40
ꢀꢀ
第一术野图像显示单元
[0498]
50
ꢀꢀ
第二术野图像显示单元
[0499]
60
ꢀꢀ
存储单元
[0500]
111
ꢀꢀ
成像单元
[0501]
112
ꢀꢀ
光源单元
[0502]
113
ꢀꢀ
关节部
[0503]
211
ꢀꢀ
获取单元
[0504]
212
ꢀꢀ
生成单元
[0505]
215
ꢀꢀ
处理单元
[0506]
214
ꢀꢀ
识别单元
[0507]
215
ꢀꢀ
评估单元。