用于跟踪外科装置的系统和方法
1.相关申请的交叉引用
2.本技术要求美国临时申请63/059,805的权益，该申请如同完整阐述般以引用方式并入。
技术领域
3.本发明整体涉及不同坐标系的配准，并且具体涉及用于外科手术的不同坐标系的配准。


背景技术：

4.在侵入式外科手术包括微创手术中，通常需要跟踪患者体内对执行手术的医师而言并不直接可见的外科装置诸如导管。通常，医师可使用患者的计算机断层摄影(ct)图像，诸如荧光镜透视检查的图像或磁共振成像(mri)的图像。
5.一种用于跟踪患者体内的外科装置的方法是由acclarent有限公司(33technology drive,irvine,ca 92618usa)生产的trudi
tm
电磁图像引导的导航系统。在此系统中，从患者体外的固定发射器发射交变磁场，以便穿过患者。如果正在对患者头部执行手术，诸如耳鼻喉(ent)手术，则可将固定磁场发射器放置在患者头部周围。作为规程的一部分，将外科装置放置于校准腔室的中间，并且可施加三个正交场。将传感器(通常为单轴线圈或多轴线圈)附接到外科装置上，并插入患者体内并进行电压测量。处理器记录穿过传感器的场生成的电流。处理器分析电流，以便确定传感器在固定发射器所限定的电磁参照系中的位置和取向两者。
6.当前基于磁性的位置检测系统还可利用位于外科装置上的柔性传感器结合算法或处理器，以基于传感器获得的电压测量值来估计外科装置的位置、形状和尺寸。柔性传感器通常由具有9个发射器和1个传感器的单轴传感器(sas)组成，从而在单个点处获得总共9个测量值。三轴传感器(tas)包括3个传感器，具有9个发射器和2个线圈，从而在单个点处收集总共27个电压测量值。当外科装置被导航或推进时，可在短时间内收集附加点。
7.ct图像与三维(3d)相机图像的配准是trudi
tm
导航规程中的预备步骤。配准涉及将外科装置相对于所配准的ct图像定位。换句话讲，通过将ct图像与3d图像和磁坐标配准或匹配，由电磁跟踪系统跟踪的外科装置的位置可准确地确定并显示在所述3d相机图像、ct图像或它们的组合上。在一些情况下，可能有益的是向操作者提供患者的头部中的解剖结构的表面的3d视图。在完成3d图像与ct图像的配准以及3d图像与磁坐标的配准之后，然后可将ct图像与磁坐标配准。当前用于将ct图像与3d相机图像配准的系统需要将设备(诸如患者跟踪器)附接到患者头部，并且在配准期间，必须为患者跟踪器考虑某些措施。期望具有用于将ct图像与3d相机图像配准的精简的系统和方法。


技术实现要素：

8.本发明公开了用于将患者的3d图像与磁坐标配准的系统、方法和装置。可将三轴
传感器(tas)添加到3d相机。可基于由磁场发射器施加的已知磁场来确定tas传感器的位置和取向。然后可将相机坐标系转换到磁坐标系。在完成3d图像与ct图像的配准以及3d图像与磁坐标的配准之后，然后可将ct图像与磁坐标配准。通过将ct图像与磁坐标配准，由电磁跟踪系统跟踪的导管的位置可准确地显示在ct图像、光学图像或它们的组合的显示器上。
附图说明
9.图1是根据一个实施方案的配准系统的示意图；
10.图2a和图2b是示出根据一个实施方案的图1的系统中所用的患者跟踪器的示意图；
11.图3是根据一个实施方案的用于执行配准算法的方法的流程图；
12.图4是根据另一个实施方案的用于执行配准算法的方法的流程图；
13.图5是根据一个实施方案的对应于定位在配准系统中的患者的光学图像的3d散点图的示意图；并且
14.图6a至图6c是示出对应于光学图像的3d散点图到ct图像的映射的示意图。
具体实施方式
15.图1是根据本发明的实施方案的配准系统20的示意图。
16.假设患者经历的医疗手术包括跟踪由医疗专业人员25插入患者体内的外科装置，诸如导管。由下文更详细描述的电磁跟踪系统24提供跟踪。
17.电磁跟踪系统包括围绕患者头部定位的磁辐射器组件26。组件26包括磁场发射器28，这些磁场发射器固定在适当位置并将交变正弦磁场发射到患者22的头部所在的区域30内。以举例的方式，组件24的磁场发射器28被布置成在患者22的头部周围的大致马蹄形状。然而，组件26的辐射器的另选构型对于本领域的普通技术人员将是显而易见的，并且假设所有此类构型包括在本发明的范围内。
18.本文中假设为线圈的磁传感器附接到患者22体内被跟踪的外科装置。附接的线圈响应于交变磁场穿越线圈而生成电信号，并且这些信号被传输到系统处理器40。处理器40被配置成处理信号以便导出传感器的位置和取向值。系统20的其他组件(包括磁发射器28)由系统处理器40控制。
19.上文提及的trudi
tm
系统使用与本文所述的跟踪系统类似的跟踪系统来寻找线圈在由磁场照射的区域中的位置和取向。
20.处理器40使用存储在存储器42中的软件来操作系统20。例如，软件可通过网络以电子形式被下载到处理器40，或者附加地或另选地，软件可被提供和/或存储在非临时性有形介质诸如磁性、光学或电子存储器上。处理器40使用该软件来分析从磁传感器接收的信号。由处理器40执行的用于实现配准系统20的配准算法60的软件也存储在存储器42中。下文更详细地描述配准算法60。
21.处理器40可安装在控制台50中，该控制台包括操作控件58，该操作控件通常包括小键盘和/或指向装置，诸如鼠标或轨迹球。控制台50经由缆线92和/或无线地连接到辐射器。医疗专业人员25可在执行上文所描述的医疗手术时使用操作控件58来与处理器交互。在执行该手术时，处理器可在屏幕56上呈现该手术的结果。手术结果在屏幕56上的展示，允
许使用该系统的医疗专业人员25将外科装置诸如导管相对于患者的ct图像的精确位置可视化。
22.如上所述，电磁跟踪系统24能够凭借从磁发射器28发射到区域中的磁场来跟踪磁传感器在区域30中的位置和取向。应当理解，针对系统24导出的位置和取向是参考如由磁发射器28的位置限定的磁系统的参照系(for)的。为了跟踪传感器是有用的，需要将磁系统for与存储在存储器42中的患者22的图像的for配准。下文进一步描述的图像64的子集66和68也存储在存储器42中。
23.虽然ct图像通常可包括磁共振成像(mri)图像或荧光透视图像，但是在本文的描述中，以举例的方式，图像被假设为包括荧光透视ct图像。
24.医疗专业人员25使用三维(3d)相机70来捕获患者22的面部的3d光学图像。在一些实施方案中，相机70是由英特尔公司(santa clara,california)生产的realsense 3d相机。3d相机70可包括至少一个光学传感器。在一些实施方案中，3d相机70可包括两个独立的光学传感器。3d光学图像包括光学体素集，每个体素具有三个笛卡尔坐标以及色值，通常为红色、绿色、蓝色(rgb)值。该光学体素集在本文中也称为3d散点图74，并且散点图74的光学体素存储在存储器42中。
25.为了由系统20实现的配准，将患者跟踪器78定位在患者22身上。下文参考图2a和图2b描述患者跟踪器78。
26.图2a和图2b是示出根据一个实施方案的患者跟踪器78的示意图。患者跟踪器78被形成为基本上平面的片材，并且图2a示出了如相机70所见(即在跟踪器已定位在患者22身上之后)的跟踪器的视图。图2b是跟踪器的分解图。
27.在一些实施方案中，患者跟踪器78由五个层状片材80a、80b、80c、80d和80e构成，所有片材具有基本上相同的形状并且结合在一起。片材80a为上部片材，也在图2a中示出，并且多个可光学标识界标82结合在该片材中。以举例的方式，片材80a包括三个光学界标82。然而，其他实施方案可包括其他数量的界标。
28.片材80c为通常由柔性绝缘材料形成的中间层状片材，其上通常通过打印形成呈导电螺旋形式的平面导电线圈84。线圈84充当电磁传感器。存在与界标82相同数量的线圈84，并且每个线圈在片材80c上定位成使得其与相应界标82处于已知空间关系。以举例的方式，每个线圈84被定位成当跟踪器的片材结合在一起时与相应界标82直接对准。然而，其它实施方案可被形成为在线圈和界标之间具有不同的已知空间关系。例如，线圈和界标可偏移已知空间量。
29.缆线90(图1所示)将线圈84连接到处理器40。为简单起见，线圈84与缆线的连接未在图2a和2b中示出。
30.片材80e为由生物兼容性粘合剂形成的下部层状片材，并且正是该片材在系统20的操作期间接触患者22。
31.片材80b和80d为中间层状片材，其由导电材料形成，以便充当线圈84的电屏蔽件。片材80b内是与线圈84对准的非导电区域86。非导电区域86的存在使得线圈能够正常工作。在一些实施方案中，非导电区域86是开口。
32.图3是根据一个实施方案的用于执行配准算法60的方法300的流程图。可对图1所示的配准系统20执行方法300。
33.在301处，启动电磁跟踪系统24，并且将患者22的头部放置在系统的区域30内。使用生物兼容性粘合剂片80e将患者跟踪器78附接到患者的前额，并且使得光学界标82在最上方并且可见。缆线90连接在患者跟踪器和处理器40之间，并且处理器40可被启动以从线圈84获取由缆线传送的信号。处理器分析信号以计算线圈在由磁发射器28限定的for中的位置。如果发现所计算的位置在区域30的预期部分内，则处理器40可向医疗专业人员25提供电磁跟踪系统24正在正常工作的指示。电磁跟踪系统24正常工作的示例性指示是处理器所发送的显示在屏幕56上的通知。
34.在302处，处理器40可分析存储在存储器42中的患者头部的ct图像。在一些实施方案中，处理器40可分析图像以识别所存储图像的对应于患者头部的表面特征的ct体素的子集，并且可将子集存储为表面子集66。
35.在303处，医疗专业人员25启动3d相机70以获取患者22的面部的3d光学图像，并且将所获取图像作为散点图74存储在存储器42中。应当理解，由3d相机70获取的图像包括在患者面部上的患者跟踪器78的图像。
36.可使用任何合适的算法来找到将ct体素66的表面子集最佳映射到3d散点图74的光学体素的转换。例如，可使用任何点云匹配算法，诸如鲁棒点匹配和核相关性。在一些实施方案中，可使用迭代最近点(icp)算法。然而，一直到303，两个体素集中都存在已知差异，因为患者跟踪器的图像存在于散点图74中，但不存在于ct体素子集66中。
37.在304处，通过将患者跟踪器的图像添加到ct体素子集来补偿ct体素子集66中患者跟踪器的图像的缺乏。添加可通过以下方式来实现：在屏幕56上将ct体素子集的图像呈现给医疗专业人员25，从而允许医疗专业人员将患者跟踪器的图像叠加在所呈现图像上，并且将组合图像存储为调整后ct体素子集68。
38.另选地，在304处，通过专业人员25选择子集66中的不包括患者跟踪器图像的部分来从ct体素子集66导出调整后子集68。医疗专业人员25可对呈现在屏幕56上的子集66的图像执行选择，并且所选部分被存储为调整后ct体素子集68。
39.在305处，处理器40将调整后ct体素子集68映射到散点图74的体素。如果在304处调整后ct子集包括患者跟踪器的图像，则可针对两个集合的所有体素执行映像。另选地，如果通过选择子集66的不包括患者跟踪器图像的部分来实现304，则处理器40在散点图74的体素中作出对应选择，并且在所选择体素集之间执行映射。
40.映射提供患者22的ct图像的for与患者的光学图像的for之间的配准。处理器40可将配准量化为第一变换矩阵m[ct-opt]，该第一变换矩阵可用于将参照系中的一个参照系中的实体变换到另一for。
[0041]
在306处，处理器40使用光学界标82和线圈84之间的已知空间关系来执行光学3d散射图74中界标的位置与线圈在电磁跟踪系统24的for中的位置之间的映像，如在301处所见。该映射提供电磁跟踪系统的for和光学图像的for之间的配准，并且这可被量化为第二变换矩阵m[magn-opt]。
[0042]
在307处，处理器40组合在305和306处产生的两个配准，以在电磁跟踪系统24的for和ct图像的for之间产生第三配准。所得的配准可被量化为第三变换矩阵m[ct-magn]，并且应当理解，矩阵m[ct-magn]可由矩阵m[magn-opt]和m[ct-opt]生成。
[0043]
如上所述，可对包括患者跟踪器78的图1的配准系统20执行图3的方法。在一些实
施方案中，配准系统20不包括患者跟踪器78。相反，可将附加传感器添加到3d相机70，以将患者22的头部的3d图像与电磁跟踪系统24的磁坐标配准。附加传感器可确定3d相机70的位置和取向。3d相机70的位置和取向可用于找到电磁系统和ct图像之间的配准，如下文更详细地描述。
[0044]
在一些实施方案中，附加传感器是三轴传感器(tas)。tas包括3个传感器，具有9个发射器和2个线圈，从而在单个点处收集总共27个电压测量值(3
×
9＝27)。tas的三个传感器可在三个正交方向上提供同时测量。可跟踪并导航3d相机以匹配tas的真实位置(磁性位置和取向)。可基于由磁场发射器施加的已知磁场来确定该tas传感器的位置和取向。可使用tas传感器跟踪和导航3d相机70，该tas传感器读取场的配置以搜索3d相机70的位置和取向。将tas传感器添加到3d相机70，提供了3d相机图像与磁坐标配准的能力，增强了ct图像与磁坐标配准的准确性。
[0045]
在其他实施方案中，附加传感器是单轴传感器(sas)或双轴传感器(das)。sas收集总共9个电压测量值(1
×
9＝9)。das收集18个电压测量值(2
×
9＝18)。
[0046]
图4是根据一个实施方案的用于执行配准算法的方法400的流程图。可对图1所示的配准系统20执行方法400，然而，方法400不需要使用患者跟踪器78。3d相机70不使用患者跟踪器78，除了至少一个光学传感器之外，3d相机70还包括至少一个磁传感器。这允许确定3d相机的位置和取向并将其用于将3d图像与ct图像配准。在一些实施方案中，磁传感器是tas，如上所述。tas可在三个正交方向上提供同时测量。在其他实施方案中，可使用sas或das代替tas。
[0047]
如上所述，3d相机70还包括至少一个光学传感器。在一些实施方案中，3d相机70可包括两个独立的光学传感器。3d光学图像包括光学体素集，每个体素具有三个笛卡尔坐标以及色值，通常为红色、绿色、蓝色(rgb)值。该光学体素集在本文中也称为3d散点图74，并且散点图74的光学体素存储在存储器42中。
[0048]
在401处，启动电磁跟踪系统24，并且将患者22的头部放置在系统的区域30内。在电磁跟踪系统24启动时，将磁场发射器28放置在患者22的头部所在的位置，这些磁场发射器被固定在适当位置并将交变正弦磁场发射到区域30中。
[0049]
在402处，医疗专业人员25启动相机70来获取患者22的面部的3d光学图像。处理器40将所获取的3d图像作为3d散点图74存储在存储器42中。
[0050]
在403处，可启动处理器40来分析tas的电压测量值。处理器40被配置成处理信号以便导出传感器的位置和取向值。处理器40被配置成处理信号以便导出传感器的位置和取向值。系统20的其他组件(包括磁发射器28)由系统处理器40控制。系统20的其他组件(包括磁发射器28)由系统处理器40控制。处理器40被配置成处理信号以便导出传感器的位置和取向值，并由此导出相机的位置和取向值。系统20的其他组件(包括磁发射器28)由系统处理器40控制。
[0051]
在一些实施方案中，402和403同时执行。在另外的实施方案中，可在402和403处获得时间戳，并互相参照以确保它们匹配(即，以确认在402处获取患者的3d图像的时间与在403处确定相机位置和取向的时间相同)。
[0052]
在404处，处理器40将光学3d散点图74传输到电磁跟踪系统的磁坐标系。在403处确定的3d相机70的位置和取向可用于将3d散点图74映射到磁坐标。可使用任何合适的位置
算法来将3d散点图74映射到磁坐标。例如，可使用点云匹配算法，诸如icp或鲁棒点匹配。映射可提供光学图像和磁坐标之间的配准。
[0053]
在405处，处理器可将3d图像与患者22的ct图像配准。可从存储器42检索患者22的头部的ct图像。处理器40可分析图像以识别所存储图像的对应于患者22头部的表面特征的ct体素。ct体素可被映射到3d散射图74的光学体素。可使用任何合适的算法来找到将3d散射图74的光学体素最佳映射到ct体素的表面的变换。在一些实施方案中，可使用icp算法。该映射可提供光学图像和ct图像之间的配准。
[0054]
在一些实施方案中，在完成3d图像与ct图像的配准以及3d图像与磁坐标的配准之后，然后可将ct图像与磁坐标配准。例如，处理器40可组合光学图像和磁坐标之间的配准以及光学图像和ct图像之间的配准，以产生磁坐标和ct图像之间的另一个配准。先将3d图像与磁坐标配准，可提高ct图像与磁坐标配准的准确性。
[0055]
图5是根据一个实施方案的对应于定位在配准系统的区域30内的患者22的3d光学图像的3d散点图510的示意图。配准系统可包括图1所示的配准系统20，其中可选用患者跟踪器78。在图5中，为了进行示意性的说明，将所获取的3d图像的3d散点图510叠加到患者22的面部上。
[0056]
图6a至图6c是根据一个实施方案的将所获取的3d图像的3d散点图510映射到电磁跟踪系统的ct坐标系520的示意图。该映射可发生在相对于图4所述的方法的405中。图6a示出了3d散点图510和ct体素520(其时它们分开)，图6b和图6c是3d散点图510映射到ct体素520的示意图。在一些实施方案中，3d散点图映射到磁坐标的算法中使用了3d相机70在获取3d图像时的位置和取向，如上所述。
[0057]
应当理解，上述实施方案以举例的方式被引用，并且本公开不限于上文具体示出和描述的内容。相反，本公开的范围包括上述各种特征的组合和子组合以及它们的变型和修改，本领域的技术人员在阅读上述说明时应当想到所述变型和修改，并且所述变型和修改并未在现有技术中公开。