1.本发明涉及手术导航技术领域，具体涉及一种基于结构光的增强现实骨科透视导航方法及系统。


背景技术：

2.在医疗行业，增强现导航实术中技术越来得到重视，部分技术在微创神经外科以及整形外科和创伤外科迅速发展。而在骨科手术领域，术中变形更小的特点与增强现实技术的特点更加搭配。对于引入增强现实来实现骨科手术术中导航，国外目前研究较少，国内更是凤毛麟角。德国、英国和美国等国在这方面的研究处于世界的领先地位，部分研究团队在将增强现实用于头部、小腿、脊柱等部位的骨科手术，研制出了许多先进的系统和设备，虽然其中一些已经在临床试验中取得了成功，但仍然没有投入实际的大规模临床使用中，这些产品离商业化和产业化还有很长的距离。
3.现有技术分无标记和有标记配准两种增强现实导航技术，有标记配准是采用可跟踪标记点植入患者体内或表面皮肤，再进行ct扫描获得透视信息，利用高精度跟踪设备获得标记点现实中空间位置，再利用ct扫描信息中的标记点位置与现实中空间坐标所配准，以此找到ct中患者患处在实际空间中的位置，最后利用摄像头将虚实信息融合指导医生操作，如2003年，jaramaz等人基于ct机研发的hipnav手术导航系统；无标记配准，则是利用线下标定靶配准，将透视设备与相机在某一固定空间位置配准，配准完毕后即可将患者移动至固定位置进行透视拍摄以此来进行手术导航，如1999年，navab教授等人研究开发的双镜融合x光透视图像的手术导航系统。
4.传统有标记配准增强现实导航系统配准时间长、流程复杂、集成度低，需要大量的时间和人力来调整装置的位置，手术空间狭小，若配准流程出错、误触标记点或者在术中移动了跟踪设备就需要重新配准，会增加手术流程，延长手术时间，增加手术风险；
5.传统无标记配准增强现实导航系统结构复杂，需要对透视设备进行改造，线下配准虽然减少了术中配准时间，但操作依然繁琐并且透视设备必须在固定位置，固定在透视设备上的大体积的机械结构也影响透视设备平时的普通使用，难以使医生接受；
6.目前大多数增强现实导航平台结构复杂，价格高昂，普通医院难以支付高昂的费用购买这类平台，难以普及；而增强现实以外的骨科导航技术，如传统机械或电磁导航等与其相比，导航不够直观，操作也虽然简化但依旧繁琐，且依旧要多次透视，依然会对患者和医生产生大量辐射；
7.将现阶段绝大多数的基于x光透视信息的手术导航系统需要借助外部光学定位设备来对术中医生患者位置以及手术操作进行追踪，这需要高精度的术前配准流程，并且术中附加的手术部位跟踪标记也会对患者的身体造成额外的伤害。并且由于手术系统的组成复杂，各设备间的交互会影响手术中的效率以及精确度，并且也会对狭小的手术操作空间造成很大的负担。对于医生而言，更希望手术导航系统是操作中的辅助设备，而不需要改变原有的手术流程，而不兼容医生操作的手术设备也缺乏临床上的可靠性，难以让医生接受。


技术实现要素：

8.本发明的目的是提供一种基于结构光的增强现实骨科透视导航方法及系统，利用增强现实在骨科手术中导航的要求，结合结构光，满足医生在骨科手术中对透视信息的需求。
9.为了解决上述技术问题，本发明提供了一种基于结构光的增强现实骨科透视导航方法，包括以下步骤：
10.s1：利用标定靶，将x光透视设备的成像源坐标系与结构光重建模型的坐标系转换至同一坐标系下；
11.s2：获取x光透视设备拍摄的病人患处透视图片以及结构光扫描病人患处得到的三维重建点云模型；
12.s3：在同一坐标系下，将透视图片与三维重建点云模型进行匹配融合，得到融合信息；
13.s4：将融合信息输出到结构光中进行图像叠加后进行显示。
14.作为本发明的进一步改进，所述步骤s1具体包括以下步骤：
15.s11：制作标定靶，基于透视原理，采用圆孔标定靶，将x光透视设备等效为针孔相机模型；
16.s22：将标定靶放置于x光透视设备下拍摄一张x光图片，标记标定靶某个边缘角点为世界坐标系原点，利用张氏标定法求得以射线模拟的针孔相机模型的相机坐标到世界坐标系的旋转平移矩阵记为r1t1和针孔相机的内参矩阵记为intrinsic1；
17.s23：保持标定靶位置，利用结构光的光学相机拍摄一张光学图片，标记标定靶同一边缘角点为世界坐标系原点，利用张氏标定法求得结构光相机坐标到世界坐标系的旋转平移矩阵r2t2和内参矩阵记为intrinsic2，再求得结构光相机坐标系到结构光重建坐标系的旋转平移单位矩阵r3t3，即可求得结构光重建坐标系到世界坐标系的旋转平移矩阵记为r3t3r2t2；
18.s33：得到构光重建坐标系到模拟的针孔相机模型的相机坐标系的平移旋转矩阵为rt＝[r1t1]-1
r2t2，两者空间位置的相对关系标定完成。
[0019]
作为本发明的进一步改进，所述步骤s3具体包括以下步骤：
[0020]
s31：以结构光重建坐标系作为空间原点，在虚拟空间中渲染重建好的点云模型；
[0021]
s32：使用标定好的rt和intrinsic1在虚拟空间中创建一个模拟x光透视设备成像的第一虚拟相机；
[0022]
s33：根据第一虚拟相机投影点云模型，创建虚拟投影平面，利用纹理映射将病人患处透视图片映射至虚拟平面，第一虚拟相机拍摄到点云模型和病人患处透视图片融合后的图片；
[0023]
s34：对融合后的图片进行感兴趣区域划分或钻孔规划预处理，得到融合信息。
[0024]
作为本发明的进一步改进，所述步骤s4具体包括以下步骤：利用intrinsic2和r2t2创建模拟结构光相机的第二个虚拟相机，第二个虚拟相机接收到处理后的融合信息后和现实中结构光相机的图像相叠加后输出显示。
[0025]
一种基于结构光的增强现实骨科透视导航系统，包括计算机工作站，所述计算机工作站以执行如上所述的一种基于结构光的增强现实骨科透视导航方法。
[0026]
作为本发明的进一步改进，所述标定靶采用圆孔标定靶，所述圆孔标定靶包括矩形底板，所述矩形底板上设有若干间距相等的圆孔。
[0027]
作为本发明的进一步改进，所述结构光包括外壳和设在所述外壳内的投影仪和相机，所述投影仪和所述相机的相对位置固定。
[0028]
作为本发明的进一步改进，系统还包括移动支架，所述移动支架上铰链有滑动架，所述结构光安装在滑动架上。
[0029]
作为本发明的进一步改进，所述x光透视设备为移动式c型臂，所述移动支架上还设有显示屏，所述显示屏连接所述计算机工作站。
[0030]
本发明的有益效果：本发明利用增强现实在骨科手术中导航的要求，满足医生在骨科手术中对透视信息的需求，虚实结合的效果在手术中起到透视功能，不需要多次拍摄x光图像，大大减少对医生和患者的辐射剂量；x光透视图像和患者身体内部骨骼真实空间位置的叠加精度小于2mm满足大部分骨科手术要求；本发明能够独立于x光透视设备，不对透视设备进行结构改造影响设备其他功能的使用；本发明能够优化标定流程，将整体标定过程缩短至五分钟以内，简化标定方法让医生不接受训练也可以迅速学会操作方法；
[0031]
本发明系统具有较强的集成性，将基于结构光技术的手术导航系统所需要的硬件设施集成在可移动装置中，同时可以满足医生在手术过程中对结构光装置全方位移动的需要，可以移动结构光装置到达所需要的位置，增加协调性、创新性，结构简单，操作方便，成本低廉，减少人为操作失误。
附图说明
[0032]
图1是本发明方法流程示意图；
[0033]
图2是本发明采用的标定靶结构示意图；
[0034]
图3是本发明x光射线源于平面模型关系示意图；
[0035]
图4是本发明渲染和显示彩色点云需要创建颜色查找表图；
[0036]
图5是本发明标量值对应索引值示意图；
[0037]
图6是本发明点云对应像素点值示例图；
[0038]
图7是本发明增强效果示意图；
[0039]
图8是本发明实施例中采用的部分硬件结构示意图；
[0040]
图中标号说明：1、标定靶；2、x光射线源；3、平面模型；4、可移动支架；5、滑动架；6、结构光；7、显示器。
具体实施方式
[0041]
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
[0042]
参考图1，本发明提供了一种基于结构光的增强现实骨科透视导航方法，包括以下步骤：
[0043]
s1：利用标定靶，将x光透视设备的成像源坐标系与结构光重建模型的坐标系转换至同一坐标系下；
[0044]
s2：获取x光透视设备拍摄的病人患处透视图片以及结构光扫描病人患处得到的
三维重建点云模型；
[0045]
s3：在同一坐标系下，将透视图片与三维重建点云模型进行匹配融合，得到融合信息；
[0046]
s4：将融合信息输出到结构光中进行图像叠加后进行显示。
[0047]
具体的，在方法使用前将标定靶至于可移动式x光透视设备下拍摄一张x光图片，此时不移动标定靶，再使用结构光的光学相机拍摄一张光学相片，利用两张图片将x光射线源的世界坐标系变换至以结构光的重建坐标系下，此时完成标定过程。使用时，不移动结构光和x光透视设备，将病人患处移动至x光透视设备下拍摄一张透视图片，再利用结构光扫描患处获得三维重建点云模型，将图片和重建模型二者匹配融合，再将融合信息从结构光的光学相机中进行输出，指导医生进行手术。
[0048]
可移动式x光透视设备与结构光配准标定方法：
[0049]
想要将x光图像和结构光重建图像融合，必须先将透视设备成像源(即射线源)坐标系与结构光重建模型的坐标系转换至同一坐标系下，因此设计了一种基于相机模型的配准标定方法：首先将c型臂等效成一个针孔相机模型，由于标定靶需要x光图片和光学相机图片都可以识别，根据x射线的透视原理设计了一块金属圆孔标定靶，如图2所示；
[0050]
拍摄一张标定靶1的x光图片，标记标定靶1某个边缘角点为世界坐标系原点，利用张氏标定法求得以射线模拟的针孔相机模型的相机坐标系到世界坐标系的旋转平移矩阵记为r1t1和模拟相机的内参矩阵记为intrinsic1；
[0051]
利用结构光的相机拍摄一张标定靶1的照片，同样标记标定靶1同一个边缘角点为世界坐标系原点，利用张氏标定法求得结构光相机坐标系到世界坐标系的旋转平移矩阵r2t2和内参矩阵记为intrinsic2，再求得结构光相机坐标系到结构光重建坐标系的旋转平移矩阵r3t3，即可求得结构光重建坐标系到世界坐标系的旋转平移矩阵记为r3t
3 r2t2；
[0052]
由于r3t3一般为单位矩阵，由此可以得到构光重建坐标系到模拟的针孔相机模型的相机坐标系的平移旋转矩阵为rt＝[r1t1]-1
r2t2，两者空间位置的相对关系标定完成。
[0053]
其中，利用光学相机的标定方法标定x光内、外参数(将x光看做一个光学相机，此时求出的内、外参实际上是模拟相机成像模型的内、外参)。通过生产商已知结构光相机的内参与畸变参数，可用内参反求此时结构光相机的外参。由于标定算法使用的是张正友标定法，需要检测角点，由于普通的棋盘格相机标定板无法被x光识别，所以想要标定x光和结构光的相对位置需要一个可用同时被光学相机和x光同时识别的标定靶1。x光射线会被金属吸收，所以可以使用镂空的金属板来制作拥有特征角点标定靶1，但是棋盘格明显无法加工，所以放弃传统的棋盘角点检测方法，改用检测圆心标记点，设计了一块19x19规则通孔的标定靶1，可以同时被相机和x光所识别。
[0054]
增强现实融合方法：
[0055]
以结构光重建坐标系作为空间原点，利用opengl在虚拟空间中渲染重建好的点云模型，使用标定好的rt和intrinsic1在虚拟空间中创建一个模拟c型臂成像的虚拟相机，再根据opengl相机投影模型，创建虚拟投影平面，利用纹理映射将x光图片映射至虚拟平面，此时虚拟相机则可以拍摄到点云模型和x光图片融合后的图片，此时可以对融合好的x光图片进行感兴趣区域划分或钻孔规划等预处理，再利用intrinsic2和r2t2创建模拟结构光相机的第二个虚拟相机，第二个虚拟相机接受到处理后的信息后和现实中结构光相机的图像
相叠加后显示输出，指导医生手术。
[0056]
原理：如图3所示，标定结束后，可以通过变换矩阵r3t3将所有空间坐标关系转换至以结构光相机光心为原点的坐标系下，同时通过x光射线源2外参和ccd成像平面的尺寸可以重建在结构光坐标系下的x光投影锥形束，通过结构光外参和相机cmos成像元件尺寸可以重建相机投影模型。采集目标点云和透视图像，利用vtk或其他可视化库平台渲染并显示点云，根据重建的投影锥形束和相机投影的参数，可以在图形空间中构建模拟结构光相机和x光的虚拟相机，获得不同视角的点云。根据锥形束对应关系创建一个平面模型3，利用纹理映射将x光图片贴图在平面上，以此得到简单的点云和x光图片对应关系。由于想要在图形空间中渲染和显示彩色点云需要创建颜色查找表，如图4所示。所以需要对点云每个点设定标量，根据标量找到对应的rgb值，由于单目结构光的点云每个点和二维图像的每个像素点一一对应，所以可以根据结构光拍摄的二维图像像素排列顺序给点云定义标量值和创建颜色查找表，如图5所示关系。
[0057]
根据这一特性，就可以根据点云的标量号修改其rgb值和图片的对应像素点的rgb值。例如，以1024x1024分辨率的结构光相机为例，点云中某个点的标量号为150，其对应的像素点坐标为图片上(0，150)，若修改这个点的rgb值则在视频图像中对应修改(0，150)像素坐标的rgb值，若点的标量为1025则对应的像素点坐标是(1，1)，如图6所示；
[0058]
由此可以遍历点云上每一个点，计算此点与射线源相连的直线，判断其是否与平面模型3有交点，如果有交点，则求出交点坐标与之对应的图像的像素坐标(i，j)记录并获取其rgb值赋予点云。由于点云每个点与结构光相机拍摄的二维图像的像素一一对应，则记录被修改rgb值的点的标量号和对应的被修改的rgb值，则可以在二维图像中找到对应的像素点并替换其rgb值，则可以在视频输出时达到增强现实的效果，如图7所示效果。
[0059]
本发明还提供了一种基于结构光的增强现实骨科透视导航系统，包括计算机工作站，所述计算机工作站以执行如上所述的一种基于结构光的增强现实骨科透视导航方法。具体执行过程，体现在以下实施例中。
[0060]
实施例
[0061]
如图8所示，一种基于结构光的增强现实骨科透视导航系统主要由显示器7、计算机工作站、c型臂、单目结构光6、可移动支架4和标定靶1等组成。单目结构光6可以通过可移动支架4来调节和c型臂的距离和结构光6投影仪的俯仰角，上下高度的移动距离范围在0.2m-1.2m,结构光6中的投影仪的投射角度范围分别为0-180
°
和0-360
°
。
[0062]
具体硬件设置：
[0063]
(1)计算机工作站：本发明所涉及的计算机工作站的主要硬件配置为cpu和gpu显卡，计算机的核心控制计算能力主要依靠cpu，与图形计算和显示渲染相关的方面主要依靠gpu能力。在手术过程中需要快速对肝脏表面进行三维重建，这就需要计算机能够快速计算出肝脏表面三维空间的坐标以及对三维点云进行渲染对计算机的cpu计算能力以及gpu显卡的显示渲染能力要求较高。综合以上的需求，本发明所选择的计算机的cpu为i7-9700k,显卡为gtx-2080ti。为了能与双目结构光6设备以及图像交互显示器7相连，计算机工作站至少需要包含1个dp接口、1个hdmi接口，以及3个usb接口。
[0064]
(2)单目结构光6：主要由1台投影仪、1个相机以及固定壳组成，投影仪用于投射条纹光栅，相机用于拍摄图片及表面三维重建，投影仪的产品功率为165w，投影分辨率为
1024*768，相机的型号为mer-130-30ux(-l)，分辨率为2048
×
1536。所选的投影仪和相机具有价格相对低廉、外形小巧的特点，便于将其集成在固定壳内，同时可以满足肝脏表面三维重建的基本需求。在手术过程中可能需要根据医生的站位以及手术位置的变化来将双目结构光6调节到医生指定的区域，为了防止手术过程中需要多次标定系统的参数，本发明设计了固定壳。单目相机和投影仪标定后，它们之间的相对位置不能再改变，否则需要重新标定。将相机和投影仪的地步打上螺纹孔，与固定架通过螺钉连接，当调节好相机和投影仪的相对位置后，将其保持固定可以保证它们在标定以及后续的移动操作下，其相对位置不会发生改变，避免重复标定。
[0065]
(3)滑动架5：保证投影仪和相机能根据需求调整位置，通过螺钉和螺栓分别双目结构光6的固定壳以及可移动支架4相连。可以自由调整其在可移动支架4允许的长度范围内滑动，并且可以借助铰链的旋转来完成双目结构光0-180
°
和0-360
°
的旋转，能够提供医生所需要的投射和三维重建视野范围。
[0066]
(4)显示器7：用于显示虚实融合信息，显示器7采用飞利浦第三代高清显示器7，其具有价格低、4k分辨率、2k屏可以同时满足分屏以及多种不同连接方式的优点。在显示器7的背面打上4个螺纹孔，与可移动支架4通过螺钉连接，以便于其可以悬挂在医生需要的视线范围内。
[0067]
(5)可移动支架4：用于支撑显示器7并给滑动支架提供导向，可移动支架4主要由铝合金材料构成，其外观和尺寸主要如图8所示，其主要功能提供一个将实验所需的设备集成的平台，便于结构光6的扫描、三维重建等操作。
[0068]
(6)标定板：本发明所设的标定板为如图2所示的圆形标定板，其尺寸为15cm*15cm,并且其中的圆心距为7mm。相比于棋盘格标定板，圆形标定板的亚像素提取精度高，通常情况下可以获得更好的标定精度。
[0069]
系统在对髓内钉固定术执行增强现实导航方法，包括以下步骤：
[0070]
1)医生将结构光6装置移动到手术区域的大致位置，固定装置；
[0071]
2)打开结构光6扫描仪的硬件设备。通过电脑打开双目结构光6扫描仪的软件控制系统，启动可移动式c臂，然后利用标定靶1对该系统进行标定；
[0072]
3)标定完成后将病人移动至c臂下，在股骨或肱骨内置入髓内钉后，拍摄一张x光图片，找到钉孔位置后旋转至钉孔正对后固定患者患处，再拍摄一张x光图片；
[0073]
4)点击开始扫描，对手术区域进行扫描实时重建三维曲面，并将其和透视图像融合的信息实时显示在显示器7上，在摄像头拍摄的视频中看到透视信息和规划好的钻孔点，医生可以在实时的视频的指导下在病人体表找到钻孔点后使用手术刀划卡1-2cm的切口，置入导钻套后钻孔，再将固定螺钉置入钉孔和骨骼完成固定。
[0074]
本系统引入结构光系统，可以在不改造透视设备的情况下完成增强现实配准。该系统将c型臂或其他x射线透视设备模拟成针孔相机，设计了一块金属圆孔标定靶1，利用这个金属标定靶1完成了射线源和结构光重建坐标系空间位置的标定。本系统由显示器7、计算机工作站、结构光6、滑动支架以及可移动支架4等组成，结构简单，操作方便，成本低廉。本系统利用创建虚拟相机的方法将透视图片和点云模型融合，并利用虚拟相机将融合信息与真实相机相融合实现增强现实效果。
[0075]
本发明该为骨科医生在病人体表提供准确的透视信息的术中导航系统，为未来的
增强现实技术在骨科手术导航上的发展和推广奠定基础并且有积极推动的作用。该系统大大减少了术中医生和患者所受到的辐射，为医生手术过程提供了更直观的导航，医生可以通过摄像头在病人体表找到切割或者钻孔位置，精准的定位避免了一些骨科手术开放式的必要性，有利于微创骨科的发展。基于该系统的手术流程是简化现在医生的传统手术流程而不是改变，更利于医生接受，同时集成性好、价格低廉、体积小等优点可以使得很多基层医院使用到，也便于更多二、三级骨科手术的使用。对骨科疾病的临床辅助诊断、介入手术的成功率和临床解剖教学等有重要作用。将基于结构光6技术的手术导航系统所需要的硬件设施集成在可移动装置中，同时可以满足医生在手术过程中对结构光装置全方位移动的需要，可以移动结构光装置到达所需要的位置，增加协调性、创新性。
[0076]
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。