1.本发明涉及数据处理领域，具体涉及基于人工智能的骨科牵引异常检测系统。


背景技术：

2.骨科牵引的目的是让骨折、脱位的肢体结构复位和维持脱位后的稳定，也能对痉挛畸变的肢体进行矫正。患者在骨科牵引时需要用牵引工具给患肢施加两个相反方向的力，并且需要用绷带对患肢进行固定。患肢在骨科牵引时往往需要医护人员定期进行检查和检测，及时检查患肢上的绷带是否出现松动或者患肢各个位置是否出现移动等异常情况，防止因绷带松动或者患肢的移动导致患肢病情加重。这些牵引异常情况的出现具有突发性，因此需要医护人员频繁对患者进行检查，这种方法需要花费医护人员太多的时间与精力，效率较低。


技术实现要素：

3.为了解决现有方法获取患肢牵引的异常情况存在的效率较低的问题，本发明的目的在于提供一种基于人工智能的骨科牵引异常检测系统，所采用的技术方案具体如下：本发明提供了一种基于人工智能的骨科牵引异常检测系统, 所述系统包括特征提取模块、绷带差异计算模块和异常程度计算模块，其中：特征提取模块：用于根据各时刻待检测患肢的三维信息和对应绷带的三维信息，得到各时刻待检测患肢的移动特征和对应绷带的松动特征；根据相邻时刻待检测患肢的病症特征，得到各时刻待检测患肢的病症变化特征；获取待检测患肢在不同移动情况下绷带未松动时的移动患病特征，聚类后得到各类别的移动患病特征；获取待检测患肢在不同移动情况下绷带松动时的松动患病特征，聚类后得到各类别的松动患病特征；所述移动患病特征包括病症变化特征和移动特征，所述松动患病特征包括病症变化特征和松动特征；绷带差异计算模块：用于根据各类别的移动患病特征和各类别的松动患病特征，得到待检测患肢在患肢移动且绷带松动情况下的病症变化特征，记为第一病症变化特征；根据各类别的移动患病特征和各类别的松动患病特征，得到待检测患肢在患肢移动且绷带不松动情况下的病症变化特征，记为第二病症变化特征；计算第一病症变化特征与第二病症变化特征的差异；异常程度计算模块：用于获取待检测患肢对应的各类别预测移动特征，根据所述差异和所述各类别预测移动特征，计算当前时刻牵引的异常程度。
4.优选的，所述根据各时刻待检测患肢的三维信息和对应绷带的三维信息，得到各时刻待检测患肢的移动特征和对应绷带的松动特征，包括：将各时刻对应的前一时刻待检测患肢图像中像素点的三维坐标的集合记为患肢第一集合，将各时刻待检测患肢图像中各像素点的三维坐标的集合记为患肢第二集合；对患肢第一集合和患肢第二集合中的像素点进行匹配，得到各时刻待检测患肢图像中各像素点的位移向量；根据所述位移向量，得到各时刻待检测患肢的移动特征；
将各时刻对应的前一时刻绷带图像中像素点的三维坐标的集合记为绷带第一集合；将各时刻绷带图像中各像素点的三维坐标的集合记为绷带第二集合；对绷带第一集合和绷带第二集合中的像素点进行匹配，得到各时刻绷带图像中各像素点的位移向量；采用最大均值差异算法对各时刻待检测患肢图像中各像素点的位移向量和绷带图像中各像素点的位移向量进行处理，得到各时刻待检测患肢对应的绷带的松动特征。
5.优选的，所述根据相邻时刻待检测患肢的病症特征，得到各时刻待检测患肢的病症变化特征，包括：将各时刻待检测患肢的病症特征与上一时刻待检测患肢的病症特征做差，得到各时刻待检测患肢的病症变化特征。
6.优选的，所述获取待检测患肢对应的各类别预测移动特征，包括：判断待检测患肢各历史时刻的移动特征与当前时刻的移动特征的欧式距离，根据欧氏距离小于预设阈值的多个历史时刻的移动特征构建移动特征第一集合；获取移动特征第一集合中各移动特征对应的下一时刻的移动特征，对所述下一时刻的移动特征进行聚类，得到待检测患肢对应的各类别预测移动特征。
7.优选的，采用如下公式计算当前时刻牵引的异常程度：优选的，采用如下公式计算当前时刻牵引的异常程度：其中，为当前时刻牵引的异常程度，为超参数，为当前时刻待检测患肢的病症变化程度，为移动患病特征的类别数量，为松动患病特征的类别数量，为预测移动特征类别数量，为当前时刻的病症参数，为对第n个松动特征类别的松动特征的关注程度，为待检测患肢只在移动特征下的病症变化特征与同时在移动特征和绷带松动特征的情况下的病症变化特征的差异，为待检测患肢对应的第m个移动患病特征类别，为待检测患肢对应的第h个预测移动特征类别，为中所包含的移动特征与中所包含的移动特征的最大均值差异。
8.优选的，利用均值漂移算法对待检测患肢在不同移动情况下绷带未松动时的移动患病特征进行聚类，得到各类别的移动患病特征。
9.优选的，利用均值漂移算法对待检测患肢在不同移动情况下绷带松动时的松动患病特征进行聚类，得到各类别的松动患病特征。
10.本发明具有如下有益效果：本发明根据各时刻待检测患肢的三维信息和绷带的三维信息，分析患肢的移动情况和绷带的松动情况得到当前时刻牵引的异常程度。本发明通过对患肢牵引异常状态实时监测，以保证医护人员对患肢进行及时处理，从而使患者顺利康复。本发明无需再依赖医护人员对牵引的异常程度进行检测，解决了现有依赖医护人员对牵引的异常程度进行检测存在的效率较低的问题。
附图说明
11.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施
例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
12.图1为本发明所提供的一种基于人工智能的骨科牵引异常检测系统的结构示意图；图2为本发明的测试结果。
具体实施方式
13.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的骨科牵引异常检测系统进行详细说明如下。
14.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
15.下面结合附图具体的说明本发明所提供的一种基于人工智能的骨科牵引异常检测系统的具体方案。
16.基于人工智能的骨科牵引异常检测系统实施例骨科患者在骨科牵引时，需要保持患肢制动，维持一定的体位；但是患者在长期的骨科牵引过程中难免会移动肢体，这可能会导致骨折断端受力，不能保持稳定，影响骨骼复位，严重时会使得骨骼关节变形。
17.此外，在骨骼牵引时需要用绷带将患者的患肢牵引部位进行缠绕，一方面固定和保护患肢的骨折处，另一方面固定牵引器具，如牵引弓或牵引皮带，维持牵引力与反牵引力沿正确的方向；但是由于绷带束缚的不牢、受患者肢体移动的干扰、患肢的肿胀褪去，可能会使得绷带松动或者滑脱，一方面不能保证患肢的制动效果，另一方面会使得牵引力与反牵引力的方向改变，导致骨科牵引效果不好，影响恢复进度。上述的这些情况均为患者骨科牵引时的异常状态，为了确保患者顺利康复， 本实施例提供了一种骨科牵引异常检测系统，用于及时检测患者骨科牵引时的异常状态，在出现异常时及时通知医护人员对患者进行护理。
18.如图1所示，本实施例的骨科牵引异常检测系统包括特征提取模块、绷带差异计算模块和异常程度计算模块，接下来分别对各模块进行介绍。
[0019]ⅰ.特征提取模块本实施例的特征提取模块用于根据各时刻待检测患肢的三维信息和对应绷带的三维信息，得到各时刻待检测患肢的移动特征和对应绷带的松动特征；根据相邻时刻待检测患肢的病症特征，得到各时刻待检测患肢的病症变化特征。
[0020]
本实施例的骨科牵引异常检测系统适用于患者在骨科牵引病床上进行骨科牵引的场景，本实施例提供一种获取各时刻待检测患肢的三维信息和对应绷带的三维信息的方式，如下：将rgbd相机和热成像相机安装在牵引病床上，以实现对患肢的实时监测；rgbd相机既可以获得rgb图像数据，又可以获得深度信息；rgbd相机用于实时获取待检测患者患肢上每个位置的三维信息和待检测患肢对应的绷带的三维信息，具体的，利用rgbd相机实时采集患者的rgb图像，将实时采集到的rgb图像输入到语义分割网络中，得到待检测患者患
肢的语义区域和绷带语义区域，获取语义区域内每个像素点的三维坐标，由此可实时获取待检测患肢的三维信息和绷带的三维信息。语义分割网络可为deeplabv3，该语义分割网络为公知技术，此处不再赘述。
[0021]
特征提取模块根据各时刻待检测患肢的三维信息和对应绷带的三维信息得到待检测患肢的移动特征和对应绷带的松动特征的过程为：获取t-1时刻待检测患者患肢上所有像素点的三维坐标的集合,获取t时刻待检测患肢上所有像素点的三维坐标的集合。利用km算法将这两个集合中的像素点进行匹配，使得所有匹配在一起的像素点对的欧式距离的和最小。一个像素点对的三维坐标构成的位移向量视为患肢上同一个位置在相邻时刻发生的位移，所有像素点对的位移向量构成一个集合，表示前后两个时刻患肢不同位置的位移情况。
[0022]
同理，获取t-1时刻待检测患肢缠绕的绷带上所有像素点的三维坐标的集合,获取t时刻绷带上所有像素点的三维坐标的集合。利用km算法将这两个集合中的像素点进行匹配，使得所有匹配在一起的像素点对的欧式距离的和最小。一个像素点对构成的位移向量视为同一个位置不同时刻的位移，所有像素点对的位移向量构成一个集合，表示前后两个时刻患肢上的绷带不同位置的位移情况。如果绷带未松动，绷带会和患肢有一样的运动，如果绷带松动，那么绷带不会和患肢有一样的运动。
[0023]
患肢的移动特征的获取方法为：建立一个三维的高斯模型，该高斯模型的均值为集合a1中所有位移的均值，协方差矩阵为集合a1中所有位移的协方差矩阵。该高斯模型用于描述集合a1中的位移分布情况，集合a1中每个位移向量在这个三维的高斯分布上对应一个概率，称为每个位移向量的重要性，即位移向量越接近平均位移向量就越重要。本实施例以重要性为权重对集合a1中的所有位移向量进行加权求和，得到的结果是一个向量，即患肢的移动特征，用于表示t时刻待检测患肢的移动情况。
[0024]
绷带的松动程度的获取方法为：以集合a1中的位移向量为数据样本，集合a1中的位移向量也作为数据样本，利用最大均值差异算法获得这两个数据样本集合的分布差异，该结果是一个标量，表示绷带位移与患肢位移的差异，本实施例将该结果作为t时刻绷带的松动特征。
[0025]
至此，可获得任意时刻待检测患肢的移动特征以及绷带的松动特征。
[0026]
红外图像能够反映患肢的代谢或血液产生的热量，可以用于反映患者患肢的患病情况及恢复情况。为了检测患者在治疗过程中的恢复情况，本实施例提供一种获取各时刻待检测患肢的病症特征的方式，如下：利用热成像相机获得待检测患者患肢的红外图像，使热成像相机与rgbd相机具有相同的视野，热成像相机采集到肢体的红外图像，将红外图像输入新的语义分割网络中，获得患肢患病的语义区域；然后在红外图像上获得患病的语义区域内所有像素点的灰度值，这些灰度值用于表示患肢不同位置产生的热量，当患肢出现血流不畅等症状时，这些位置的代谢能力或产生的热量会发生变化，利用患肢每个位置的热量评估患者的患病情况。利用sobel算子获取红外图像上每个像素点的梯度向量，用于表示每个像素点的梯度幅值和梯度方向。对红外图像上所有像素点的梯度向量进行主成分分析，由于向量是2维的，因此可以获得两个主成分方向，每个主成分方向是一个单位向量，且
对应一个特征值，特征值表征像素点的梯度向量在每个主成分方向上的投影方差，将特征值最大的主成分方向以及两个特征值合并为一个向量，该向量用来描述红外图像上像素灰度值的分布情况，用该分布情况表征患者患病情况，将该向量记为待检测患肢的病症特征。
[0027]
特征提取模块根据相邻时刻待检测患肢的病症特征，得到各时刻待检测患肢的病症变化特征的过程为：将t-1时刻待检测患肢的病症特征记为,t时刻待检测患肢的病症特征记为,，将称为t时刻待检测患肢的病症变化特征。根据任意两个时刻红外图像上每个像素点周围的灰度分布特征，得到每个像素点在任意时刻的病症变化特征，根据每个像素点在任意时刻的病症变化特征，得到待检测患肢在任意时刻的病症变化特征，用于描述患肢在骨科牵引过程中的病情变化情况。
[0028]
患肢在骨科牵引过程中，伤口的病症情况应该是缓慢变化的、缓慢愈合的，但是患者难免会移动患肢，可能会导致伤口的病症情况发生变化，轻则不影响患肢的恢复，重则导致患肢的病情加重，为了判断患肢在骨科牵引过程中是逐渐愈合的还是逐渐恶化的，需要检测患肢发生移动时患肢的病症变化情况。
[0029]
本实施例的特征提取模块还用于获取待检测患肢在不同移动情况下绷带未松动时的移动患病特征，聚类后得到各类别的移动患病特征；所述移动患病特征包括病症变化特征和移动特征。
[0030]
具体的，本实施例得到了每个时刻待检测患肢的病症变化特征，假设当前时刻为t，病症变化特征为，那么病症变化程度为，为的l2范数，该值用于表示前后两个时刻患肢的病症特征是否发生较大的变化；该值越大，说明当前时刻患者的移动很有可能对原本的治愈过程有较大的干扰和影响，就很有必要让医护人员进行护理或者进一步的病情确认；该值越小，说明病人的病情没有出现明显的变化，即患者的患肢未发生移动或患肢在移动的过程中没有改变患肢骨科牵引的恢复治愈过程，没必要让医护人员进行护理。
[0031]
为了准确的描述当前时刻待检测患肢牵引的异常情况，本实施例将与当前时刻最近的三个时刻的病症变化程度的均值作为患肢当前时刻的初始异常程度，用于表示患者在短时间内是否因为患肢移动导致患肢恢复过程出现突然变化。该值较大时说明患肢在骨科牵引过程中出现异常，需要医护人员及时处理；该值较小时也并不意味着不需要处理，本实施例还需要考虑患肢在后续时刻会不会发生更为严重的患肢移动，患肢移动的同时可能会伴随绷带松动，而绷带松动进一步为患肢的移动创造调剂，这样一来就会导致患肢后续的病情具有较强的不确定性，或者说患肢在骨科牵引的恢复过程中具有较大的不稳定性，即患肢牵引的异常状态也是较大的，因此需要预判未来时刻患者的患肢移动和绷带松动对病情的影响，然后对上述的初始异常程度进行修正，将修正后的异常程度作为最终的异常程度，进而根据最终的异常程度判断是否需要及时护理，避免病情恶化较严重时才通知医护人员进行护理。
[0032]
本实施例需要根据待检测患肢在之前的骨科牵引过程中的数据，得到患肢移动特征与绷带松动特征的影响关系。
[0033]
对于一个患者，每个时刻都会获得一个患肢的病症变化特征、患肢的移动特征和绷带的松动特征。绷带的松动特征为0即为绷带不松动，绷带的松动特征不为0即为绷带出
现松动。本实施例获取绷带的松动特征为0且患肢移动时的所有时刻，这些时刻的病症变化特征只与患肢的移动特征有关。本实施例中患肢移动即患肢的移动特征不为0，患肢不移动即患肢的移动特征为0。将患肢的病症变化特征和患肢的移动特征合并为一个向量，称为移动患病特征；对这些时刻的所有移动患病特征，进行zca白化处理，目的是使所有的移动患病特征在不同的维度具有一致的方差分布，防止每个维度的分布差别太大导致后续计算结果不准确。zca白化处理为公知技术，此处不再赘述。
[0034]
利用均值漂移算法对上述获得的所有移动患病特征进行聚类，获得多个类别，每个类别都是一些移动患病特征的集合，同一个类别中的移动患病特征集中分布在一起，具有较强的相似性，不同类别中的移动患病特征具有较大的差异；也就是说同一个类别中的移动特征与患病特征总是一同出现的，同一个类别中的移动特征对患病特征具有较强的关联性。例如同一个类别中的移动特征导致病症特征的产生，通俗来说就是患者由于发生了某种肢体移动导致了患肢产生了某种患病的变化。假设上述共获得m个类别，这些类别统称为移动患病特征类别，其中第m个类别记为。
[0035]
本实施例的特征提取模块还用于获取待检测患肢在不同移动情况下绷带松动时的松动患病特征，聚类后得到各类别的松动患病特征；所述松动患病特征包括病症变化特征和松动特征。具体为：获取绷带的松动特征不为0的所有时刻，这些时刻的病症变化特征与患肢的移动特征和绷带松动特征有关。将患肢的病症变化特征和绷带的松动特征合并为一个向量，称为松动患病特征；对这些时刻的所有松动患病特征，进行zca白化处理，目的是使所有的松动患病特征在不同的维度具有一致的方差分布，防止每个维度的分布差别太大导致后续计算结果不准确。
[0036]
利用均值漂移算法对上述获得的所有松动患病特征进行聚类，获得多个类别，每个类别都是一些松动患病特征的集合，同一个类别中的松动患病特征集中分布在一起，具有较强的相似性；不同类别中的松动患病特征具有较大的差异；也就是说同一个类别中的松动特征与患病特征总是一同出现的，同一个类别中的松动特征对患病特征具有较强的关联性。例如同一个类别中的松动特征导致病症特征的产生，通俗来说就是患肢上缠绕的绷带存在某种松动特征导致了患肢产生了某种患病的变化。假设上述共获得n个类别，这些类别统称为松动患病特征类别，其中第n个类比记为。
[0037]
本实施例至此获取了待检测患肢对应的各类别的移动患病特征和各类别的松动患病特征，用于后续计算移动特征与松动特征的影响程度。
[0038]ⅱ. 绷带差异计算模块绷带差异计算模块用于根据待检测患肢对应的各类别的移动患病特征和各类别的松动患病特征，得到待检测患肢在患肢移动且绷带松动情况下的病症变化特征，记为第一病症变化特征；根据待检测患肢对应的各类别的移动患病特征和各类别的松动患病特征，得到待检测患肢在患肢移动且绷带不松动情况下的病症变化特征，记为第二病症变化特征；计算第一病症变化特征与第二病症变化特征的差异。
[0039]
、这两个类别中的移动特征与松动特征都和一些患病变化特征具有较强的关联性，这两个类别的数据对于获取移动特征与松动特征的影响程度具有重要作用。
[0040]
中有患肢的多个移动特征，这些移动特征均是绷带不松动时的；中有绷
带的多个松动特征，这些松动特征均是绷带松动时的；统计中与有相同移动特征的所有病症变化特征，这些病症变化特征构成一个集合记为，集合为绷带松动且患肢移动情况下的病症变化特征；中的移动特征与中的松动特征的影响程度为，记为移动松动影响程度，其值为：利用最大均值差异算法获得中所有病症变化特征与中所有病症变化特征的差异，该结果就是，该值表征病症特征在只有移动特征下的病症变化特征与同时在移动特征和松动特征的情况下的病症变化特征的差异，该值越大说明中的松动特征与中的移动特征具有较大的影响关系，即患肢在绷带松动情况下移动会使得骨科牵引时的病情发生较大的变化。
[0041]ⅲ. 异常程度计算模块异常程度计算模块用于获取待检测患肢对应的各类别预测移动特征，根据所述差异和所述各类别预测移动特征计算当前时刻牵引的异常程度。
[0042]
患者肢体的移动是由患者主观意识决定的、不是随机的，下一时刻患肢的移动特征可以根据患肢在历史时刻中的移动特征数据估计出来的。本实施例需要获取当前时刻的下一时刻的移动特征，方法是：假设当前时刻t待检测患肢的移动特征为；在历史所有时刻获得的移动特征中，获取与的欧氏距离小于阈值th的所有移动特征，这些移动特征的集合记为,这些移动特征与都十分相似。获取中的任意一个移动特征，假设获取了q时刻待检测患肢的移动特征，获取该移动特征在时间长度上最近的一个模长非0的移动特征，记为，r》q，称为的邻接移动特征。中所有移动特征的邻接移动特征构成一个新的移动特征集合，对该集合中的移动特征进行均值漂移聚类，获得多个类别，类别总共有h个，每个类别都是一些移动特征的集合，同一个类别中的移动特征集中分布在一起，具有较大的相似性，不同类别的移动特征分布相差较大。获得的这h个类别统称为预测移动特征类别，待检测患肢当前时刻的下一时刻的移动特征的取值是由这些预测移动特征类别决定的。
[0043]
当前时刻t牵引的异常程度为：其中，为当前时刻牵引的异常程度，为当前时刻待检测患肢的病症变化程度，为当前时刻的病症参数，为超参数，的获取方法为：获取历史中欧氏距离最大的两个移动特征的欧式距离，该欧式距离的倒数即为，目的是保证的值不会太大。
[0044]
本实施例根据历史数据已经获取了m个移动患病特征类别和n个松动患病特征类别，其中第m个移动患病特征类别和第n个松动患病特征类别对应一个移动松动影响程度，用于表征患者在绷带松动情况下患肢移动时对病情的影响。除此之外还获取了h个预测移动特征类别，每个类别都表示下一个时刻待监测患肢可能出现的移动特征。
[0045]
本实施例接下来的重点是获取当前时刻的病症参数：
其中，为待检测患肢对应的移动患病特征的类别数量，为待检测患肢对应的松动患病特征的类别数量，为预测移动特征类别，为当前时刻的病症参数，为对第n个松动特征类别的松动特征的关注程度，为待检测患肢只在移动特征下的病症变化特征与同时在移动特征和绷带松动特征的情况下的病症变化特征的差异，为第h个预测移动特征类别，为中所包含的移动特征与中所包含的移动特征的最大均值差异,该值越大说明中所包含的移动特征与中所包含的移动特征差异越大。本实施例计算该值的目的是作为的关注系数，本实施例更加关注与预测的移动特征差别小的移动患病特征类别对应的移动松动影响程度，为带关注系数的移动松动影响程度，用于表征下一时刻的一种移动特征在中的松动特征下的影响程度，为对第n个松动特征类别的松动特征的关注程度，为归一化系数。
[0046]
的计算方法为：获取中松动特征的均值，的取值是中松动特征的均值与当前时刻松动特征的差值。本实施例引入的目的是：将中松动特征视为下一时刻可能出现的松动特征，本实施例认为绷带只会越来越松，因此下一时刻绷带的松动特征应该比当前时刻的绷带的松动特征大，如果中绷带的松动特征比当前时刻绷带的松动特征大，那么就越关注这个影响程度，这样更加合理，使得最终获得的异常程度更加关注绷带松动更严重时的病症情况。
[0047]
表示综合所有预测移动特征类别与移动患病特征类别的数据后对所有的移动松动影响程度加权融合的结果，该值越大说明患肢下一时刻在绷带松动和患肢移动的共同影响下的骨科牵引恢复越可能受到较大影响、出现更多不确定性的情况。
[0048]
至此获得了当前时刻牵引的异常程度，若当前时刻牵引的异常程度大于设定阈值，说明患肢在骨科牵引过程中突然出现异常情况，需要医护人员及时处理，保证患者顺利恢复。异常程度阈值由本领域专业人员进行设定。
[0049]
本实施例根据各时刻待检测患肢的三维信息和绷带的三维信息，分析患肢的移动情况和绷带的松动情况得到当前时刻牵引的异常程度。本实施例通过对患肢牵引异常状态实时监测，以保证医护人员对患肢进行及时处理，从而使患者顺利康复。本实施例无需再依赖医护人员对牵引的异常程度进行检测，解决了现有依赖医护人员对牵引的异常程度进行检测存在的效率较低的问题。
[0050]
为了对本实施例的检测结果的准确率进行验证，本实施例选取了300个患者，利用本实施例的检测系统对这300个患者进行检测，如图2所示，实验结果表明，按照本实施例的检测系统存在的检测错误个数为26，检测准确率为91.33%；由此可以看出，本实施例的检测系统具有较高的准确率。
[0051]
需要说明的是：以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。