1.本发明涉及机器人控制技术领域，尤其涉及一种超声扫查控制方法、机器人及存储介质。


背景技术：

2.在乳腺扫查的过程中，需要超声探头与肌肤间保持恒定的压力和恒定的扫查速度。相关技术中，在超声扫查控制的过程中，只是通过压力传感器进行检测压力，根据固定的算法计算所述压力对应的关节控制参数，再通过所述关节控制参数控制机器人工作。但是，当扫查场景发生变化时，无法确定机器人的关节控制参数，由于无法确定机器人的关节控制参数，机器人无法实现恒速恒压扫查动作，导致最终获取的超声图像数据质量差。


技术实现要素：

3.本发明实施例通过提供一种超声扫查控制方法、机器人及存储介质，旨在解决在扫查场景变化时，无法确定机器人的关节控制参数的问题。
4.本发明实施例提供了一种超声扫查控制方法，所述超声扫查控制方法包括：在机器人扫查目标区域的过程中，获取所述机器人的实际运行状态参数；确定与所述实际运行状态参数对应的预设运行状态参数，并根据所述实际运行状态参数和所述预设运行状态参数确定所述机器人的目标关节控制参数；控制所述机器人执行所述目标关节控制参数对应的扫查动作。
5.在一实施例中，所述实际运行状态参数包括超声探头的空间位置、线速度、姿态和接触法向力；所述确定与所述实际运行状态参数对应的预设运行状态参数，并根据所述实际运行状态参数和所述预设运行状态参数确定所述机器人的目标关节控制参数的步骤包括：将超声探头的空间位置、线速度、姿态和接触法向力分别与预设数据库中的运行状态参数进行比对；在所述预设数据库中存在与所述超声探头的空间位置、所述线速度、所述姿态和所述接触法向匹配的运行状态参数时，将所述运行状态参数确定为所述实际运行状态参数对应的预设运行状态参数；获取所述预设运行状态参数关联的关节控制参数，并将所述关节控制参数确定为所述机器人的目标关节控制参数。
6.在一实施例中，所述根据所述实际运行状态参数和所述预设运行状态参数确定所述机器人的目标关节控制参数的步骤之后，还包括：根据所述实际运行状态参数和所述预设运行状态参数确定速度奖励值和压力奖励值；根据所述速度奖励值和所述压力奖励值对所述目标关节控制参数进行修正。
7.在一实施例中，所述预设运行状态参数包括：超声探头的预设空间位置、预设线速
度、预设姿态和预设接触法向力；所述根据所述实际运行状态参数和所述预设运行状态参数确定速度奖励值和压力奖励值的步骤包括：获取线速度权重系数和接触法向力权重系数；根据所述线速度和所述预设线速度的差值的模与所述线速度权重系数的乘积得到速度奖励值；根据所述接触法向力和所述预设接触法向力的差值的模与所述接触法向力权重系数的乘积得到压力奖励值。
8.在一实施例中，所述在机器人扫查目标区域的过程中，获取所述机器人的实际运行状态参数的步骤包括：获取机器人的预设运行路径，所述预设运行路径包括至少一个预设轨迹序列点，且每个所述预设轨迹序列点存在对应的预设运行状态参数；控制所述机器人基于所述预设运行路径对目标区域进行扫查；确定所述机器人基于所述预设运行路径对所述目标区域进行扫查时，每个所述预设轨迹序列点对应的实际运行状态参数。
9.在一实施例中，所述获取所述机器人的实际运行状态参数还包括：基于正向运动学变换方式确定所述机器人的超声探头的空间位置、线速度和姿态；基于六维力传感器确定所述机器人的接触法向力；将所述超声探头的空间位置、所述线速度、所述姿态以及所述接触法向力确定为所述机器人的实际运行状态参数。
10.在一实施例中，所述在机器人扫查目标区域的过程中，获取所述机器人的实际运行状态参数的步骤之前，还包括:获取虚拟机器人在虚拟柔性体上基于预设参考轨迹扫查时对应的实际参考状态参数；根据所述实际参考状态参数和所述预设参考轨迹对应的预设参考状态参数得到关节控制参数；将所述关节控制参数、所述实际参考状态参数和所述预设参考状态参数进行关联。
11.在一实施例中，所述根据所述实际参考状态参数和所述预设参考状态参数得到关节控制参数，并将所述关节控制参数、所述实际参考状态参数和所述预设参考状态参数进行关联的步骤之后，还包括：采用所述虚拟柔性体的刚度参数和阻尼参数对所述关节控制参数进行修正，得到修正后的所述关节控制参数。
12.此外，为实现上述目的，本发明还提供了一种机器人，所述机器人包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的超声扫查控制程序，所述超声扫查控制程序被所述处理器执行时实现上述的超声扫查控制方法的步骤。
13.此外，为实现上述目的，本发明还提供了一种存储介质，所述存储介质存储有超声扫查控制程序，所述超声扫查控制程序被处理器执行时实现上述的超声扫查控制方法的步骤。
14.本发明实施例中提供的一种超声扫查控制方法、机器人及存储介质的技术方案，本发明通过在用户终端部署扫查策略，机器人基于预设运行路径对目标区域进行扫查，通过安装在机器人上的传感器实时获取机器人在扫查过程中的实际运行状态参数。并将所述实际运行状态参数传输至所述用户终端。在所述用户终端，所述实际运行状态参数经过所述扫查策略处理后即可确定机器人的目标关节控制参数关节角。将所述目标关节控制参数传输至机器人控制器，进而控制机器人继续以所述预设运行路径进行运动，同时通过所述目标关节控制参数实时调整末端探头的位姿以满足扫查速度和扫查压力，解决了在扫查场景变化时，无法确定机器人的关节控制参数的问题，实现对机器人的恒压恒速控制。
附图说明
15.图1为本发明实施例方案涉及的硬件运行环境的结构示意图；图2为本发明超声扫查控制方法第一实施例的流程示意图；图3为本发明超声扫查控制方法第二实施例的流程示意图；图4为本发明恒速恒压控制策略算法的流程示意图；图5为本发明虚拟柔性体参数化的建模流程示意图；图6为本发明虚拟柔性体形变及交互力计算和可视化示意图；图7为本发明虚拟机器人扫查仿真场景示意图。
16.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明，上述附图只是一个实施例图，而不是发明的全部。
具体实施方式
17.为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
18.如图1所示，图1为本发明实施例方案涉及的硬件运行环境的结构示意图。
19.需要说明的是，图1即可为机器人的硬件运行环境的结构示意图。
20.如图1所示，该机器人可以包括：处理器1001，例如cpu，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（display）、输入单元比如键盘（keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如wi-fi接口）。存储器1005可以是高速ram存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
21.本领域技术人员可以理解，图1中示出的机器人的结构并不构成对机器人限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
22.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块和超声扫查控制程序。其中，操作系统是管理和控制机器人硬件和软件资源的程序，超声扫查控制程序和其它软件或程序的运行。
23.在图1所示的机器人中，用户接口1003主要用于连接终端，与终端进行数据通信；网络接口1004主要用于后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的超声扫查控制程序。
24.在本实施例中，机器人包括：存储器1005、处理器1001及存储在所述存储器上并可在所述处理器上运行的超声扫查控制程序，其中：处理器1001调用存储器1005中存储的超声扫查控制程序时，执行以下操作：在机器人扫查目标区域的过程中，获取所述机器人的实际运行状态参数；确定与所述实际运行状态参数对应的预设运行状态参数，并根据所述实际运行状态参数和所述预设运行状态参数确定所述机器人的目标关节控制参数；控制所述机器人执行所述目标关节控制参数对应的扫查动作。
25.处理器1001调用存储器1005中存储的超声扫查控制程序时，还执行以下操作：将超声探头的空间位置、线速度、姿态和接触法向力分别与预设数据库中的运行状态参数进行比对；在所述预设数据库中存在与所述超声探头的空间位置、所述线速度、所述姿态和所述接触法向匹配的运行状态参数时，将所述运行状态参数确定为所述实际运行状态参数对应的预设运行状态参数；获取所述预设运行状态参数关联的关节控制参数，并将所述关节控制参数确定为所述机器人的目标关节控制参数。
26.处理器1001调用存储器1005中存储的超声扫查控制程序时，还执行以下操作：根据所述实际运行状态参数和所述预设运行状态参数确定速度奖励值和压力奖励值；根据所述速度奖励值和所述压力奖励值对所述目标关节控制参数进行修正。
27.处理器1001调用存储器1005中存储的超声扫查控制程序时，还执行以下操作：获取线速度权重系数和接触法向力权重系数；根据所述线速度和所述预设线速度的差值的模与所述线速度权重系数的乘积得到速度奖励值；根据所述接触法向力和所述预设接触法向力的差值的模与所述接触法向力权重系数的乘积得到压力奖励值。
28.处理器1001调用存储器1005中存储的超声扫查控制程序时，还执行以下操作：获取机器人的预设运行路径，所述预设运行路径包括至少一个预设轨迹序列点，且每个所述预设轨迹序列点存在对应的预设运行状态参数；控制所述机器人基于所述预设运行路径对目标区域进行扫查；确定所述机器人基于所述预设运行路径对所述目标区域进行扫查时，每个所述预设轨迹序列点对应的实际运行状态参数。
29.处理器1001调用存储器1005中存储的超声扫查控制程序时，还执行以下操作：基于正向运动学变换方式确定所述机器人的超声探头的空间位置、线速度和姿态；基于六维力传感器确定所述机器人的接触法向力；将所述超声探头的空间位置、所述线速度、所述姿态以及所述接触法向力确定为
所述机器人的实际运行状态参数。
30.处理器1001调用存储器1005中存储的超声扫查控制程序时，还执行以下操作：获取虚拟机器人在虚拟柔性体上基于预设参考轨迹扫查时对应的实际参考状态参数；根据所述实际参考状态参数和所述预设参考轨迹对应的预设参考状态参数得到关节控制参数；将所述关节控制参数、所述实际参考状态参数和所述预设参考状态参数进行关联。
31.处理器1001调用存储器1005中存储的超声扫查控制程序时，还执行以下操作：采用所述虚拟柔性体的刚度参数和阻尼参数对所述关节控制参数进行修正，得到修正后的所述关节控制参数。
32.以下将以具体实施例的方式展开论述：第一实施例：如图2所示，在本发明的第一实施例中，本发明的超声扫查控制方法，包括以下步骤：步骤s110，在机器人扫查目标区域的过程中，获取所述机器人的实际运行状态参数；步骤s120，确定与所述实际运行状态参数对应的预设运行状态参数，并根据所述实际运行状态参数和所述预设运行状态参数确定所述机器人的目标关节控制参数；步骤s130，控制所述机器人执行所述目标关节控制参数对应的扫查动作。
33.在本实施例中，为了解决在扫查场景变化时，无法确定机器人的关节控制参数的问题。本发明提出了一种超声扫查控制方法。该方法通过在机器人扫查目标区域的过程中，获取所述机器人的实际运行状态参数。将所述实际运行状态参数输入预设神经网络模型中，所述预设神经网络模型中存在多个控制策略。通过所述预设神经网络模型确定与所述实际运行状态参数对应的控制策略。具体为确定与所述实际运行状态参数对应的预设运行状态参数，由于在所述实际运行状态参数发生变化时，匹配的所述实际运行状态参数对应的预设运行状态参数也发生相应的变化，从而适应了不同的扫查场景。根据所述实际运行状态参数和所述预设运行状态参数确定所述机器人的目标关节控制参数。在确定所述目标控制参数之后，控制所述机器人执行所述目标控制参数对应的扫查动作，从而实现对目标区域实现恒速恒压扫查的效果。
34.具体的，本发明通过在用户终端部署扫查策略，机器人基于预设运行路径对目标区域进行扫查，通过安装在机器人上的传感器实时获取机器人在扫查过程中的实际运行状态参数。并将所述实际运行状态参数传输至所述用户终端。在所述用户终端，所述实际运行状态参数经过所述扫查策略处理后即可确定机器人的目标关节控制参数（关节角）。将所述目标关节控制参数传输至机器人控制器，进而控制机器人继续跟踪所述预设运行路径进行运动，同时实时调整末端探头的位姿以满足扫查速度和扫查压力。
35.在本实施例中，所述目标区域为待扫查区域，所述待扫查区域可以是人体部位，例如，乳腺部分、膀胱部分等。所述实际运行状态参数为所述机器人在对目标区域进行扫查时，传感器实时输出的状态参数，其中，所述实际运行状态参数包括：超声探头末端的空间
位置、姿态、线速度和接触法向力。其中，所述超声探头设置于所述机器人上。所述超声探头末端的空间位置可表示为pos=[x, y, z]，可通过机器人的正向运动学变换得到所述超声探头末端的空间位置。所述姿态为超声探头末端的空间姿态，所述姿态可用四元数quat=[w, x, y, z]表示，可通过机器人的正向运动学变换得到所述姿态。所述线速度为所述超声探头末端的线速度，所述线速度可表示为vel=[v]，可取速度矢量的模为标量，可通过机器人正向运动学变换和差分得到所述线速度。所述接触法向力为超声探头末端与乳腺接触的接触法向力，所述接触法向力可表示为force=[fn]，其通过安装在机器人上的六维力传感器得到接触法向力，所述六维力传感器安装于所述机器人的手腕上，将六维力传感器采集的z轴方向的力确定为所述接触法向力。在获取到上述的超声探头末端的空间位置、姿态、线速度和接触法向力，即可确定实际运行状态参数。
[0036]
可选地，获取机器人的预设运行路径，控制所述机器人基于预设运行路径对乳腺进行扫查。其中，所述预设运行路径包括至少一个预设轨迹序列点，且每个所述预设轨迹序列点存在对应的预设运行状态参数；所述机器人基于各个所述预设轨迹序列点进行运扫查。在所述机器人基于各个所述预设轨迹序列点进行扫查时，每个所述预设轨迹序列点存在对应的实际运行状态参数。所述实际运行状态参数由机器人的传感器实际采集的参数。所述预设运行状态参数包括：超声探头的预设空间位置、预设线速度、预设姿态和预设接触法向力；其中，所述预设姿态为超声探头末端的姿态，所述预设空间位置为超声探头末端的空间位置，所述预设姿态和所述预设空间位置来自胸部扫查点云规划出的扫查轨迹，具体包括超声探头末端的空间位置和超声探头末端空间旋转四元数。所述预设线速度为超声探头末端的线速度，所述预设接触法向力为超声探头与乳腺接触的接触法向力，所述预设线速度与所述预设接触法向力均可通过相关领域医生的工作经验进行修正并确定。
[0037]
在本实施例中，在获取所述机器人的实际运行状态参数之后，将所述实际运行状态参数输入预设神经网络模型，得到所述机器人的目标关节控制参数。其中，所述预设神经网络模型采用ppo(proximal policy optimization，近端策略优化)算法。该ppo算法的核心为在每一步中根据仿真环境所反馈的状态观测值计算出下一步的动作值，以及上一步动作所产生的奖励值作为该状态观测、动作值、奖励制作一个训练样本。具体的，在所述预设神经网络模型中，确定与所述实际运行状态参数对应的预设运行状态参数，并根据所述实际运行状态参数与所述预设运行状态参数确定所述机器人的目标关节控制参数。
[0038]
可选地，可将超声探头的空间位置、线速度、姿态和接触法向力分别与预设数据库中的不同运行状态参数进行比对，在所述预设数据库中存在与所述超声探头的空间位置、所述线速度、所述姿态和所述接触法向匹配的运行状态参数时，将所述运行状态参数确定为所述实际运行状态参数对应的预设运行状态参数。每个预设运行状态参数存在关联的关节控制参数，它们之间的关联关系在模型训练阶段就已经确定。将所述关节控制参数确定为所述机器人的目标关节控制参数。
[0039]
可选地，在确定所述机器人的目标关节控制参数之后，可根据所述实际运行状态参数和所述预设运行状态参数确定速度奖励值和压力奖励值，进而根据所述速度奖励值以及所述压力奖励值对所述目标关节控制参数进行修正。
[0040]
可选地，为获取高质量的超声图像，需保证机器人超声探头扫查恒速且与皮肤接触法向压力恒定。针对上述需求，构建两个奖励函数，如下式所示。对于恒速需求，实时跟踪
机器人超声探头末端速度与参考速度偏差的模，同时乘以给定的线速度权重系数c
vel
便得到速度奖励值。对于恒压需求，实时获取机器人超声探头末端接触力垂直于皮肤的法向分量与参考压力偏差的模，同时乘以给定的接触法向力权重系数c
force
来得到压力奖励值。
[0041]rvel
=|v
scan-v
ref
|*c
velrforce
=|f
scan-f
ref
|*c
force
其中，所述v
scan
为线速度，所述v
ref
为预设线速度，所述c
vel
为线速度权重系数，所述fcontact为接触法向力，所述f
ref
为预设接触法向力，所述c
force
为接触法向力权重系数，所述r
vel
为速度奖励值，所述r
force
为压力奖励值。
[0042]
在本实施例中，在得到所述机器人的目标关节控制参数之后，控制所述机器人执行所述目标关节控制参数对应的扫查对应。其中，所述目标关节控制参数为关节控制角，所述关节控制角、所述实际运行状态参数与所述预设运行状态参数在预设神经网络模型训练阶段已经进行关联，在确定对应的实际运行状态参数和预设运行状态参数时，即可确定对应的关节控制角。将所述关节控制角发送至机器人，使得所述机器人以所述关节控制角进行扫查。
[0043]
本实施例根据上述技术方案，本发明通过在用户终端部署扫查策略，机器人基于预设运行路径对目标区域进行扫查，通过安装在机器人上的传感器实时获取机器人在扫查过程中的实际运行状态参数。并将所述实际运行状态参数传输至所述用户终端。在所述用户终端，所述实际运行状态参数经过所述扫查策略处理后即可确定机器人的目标关节控制参数关节角。将所述目标关节控制参数传输至机器人控制器，进而控制机器人继续以所述预设运行路径进行运动，同时通过所述目标关节控制参数实时调整末端探头的位姿以满足扫查速度和扫查压力，解决了在扫查场景变化时，无法确定机器人的关节控制参数的问题，实现对机器人的恒压恒速控制。
[0044]
第二实施例：参照图3，图3包括本发明第一实施例步骤s110之前的细化步骤。在步骤s110之前，还包括对预设神经网络模型的训练、虚拟机器人的构建以及虚拟柔性体的构建。具体的，在步骤s110之前，还包括：步骤s210，获取虚拟机器人在虚拟柔性体上基于预设参考轨迹扫查时对应的实际参考状态参数；步骤s220，根据所述实际参考状态参数和所述预设参考轨迹对应的预设参考状态参数得到关节控制参数；步骤s230，将所述关节控制参数、所述实际参考状态参数和所述预设参考状态参数进行关联。
[0045]
在本实施例中，机器人乳腺超声恒压恒速扫查包括两个部分：虚拟机器人训练测试和算法迁移应用。
[0046]
其中，在虚拟机器人训练测试阶段，在构建的乳腺扫查仿真场景中，机器人的超声探头需要根据给定的预设参考轨迹进行扫查，每个预设参考轨迹序列点存在对应的预设参考状态参数。所述预设参考状态参数包括：超声末端探头的空间位置pos，超声探头的姿态quat，超声探头末端的线速度vel以及超声探头与虚拟柔性体的接触的法向力force。同时，也要通过仿真器实时获取机器人运动过程中的实际参考状态参数，所述实际参考状态参数
所包括的参数与所述预设参考状态参数对应。将上述两组机器人的状态，即所述实际参考状态参数和所述预设参考状态参数作为强化学习的神经网络的输入，通过制定合理的奖励函数来训练虚拟机器人，从而得到预设神经网络模型，通过所述预设神经网络模型可以获取较好的控制能力，以满足恒速恒压的要求。
[0047]
在算法迁移应用阶段，将机器人的实际运行状态参数输入到训练好的预设神经网络模型中，同时给定任意的预设运行路径，预设神经网络模型将输出机器人的目标关节控制参数，以通过所述目标关节控制参数来控制机器人扫查运动过程中恒速恒压要求。
[0048]
本实施例根据上述技术方案，由于采用了获取虚拟机器人在虚拟柔性体上基于预设参考轨迹扫查时对应的实际参考状态参数；根据所述实际参考状态参数和所述预设参考轨迹对应的预设参考状态参数得到关节控制参数；将所述关节控制参数、所述实际参考状态参数和所述预设参考状态参数进行关联的技术手段，实现了本发明控制算法的训练。
[0049]
在其他实施例中，图4为本发明恒速恒压控制策略算法的流程示意图，整个流程可分为5个模块：仿真场景构建、柔性变形体操作仿真、目标任务奖励函数设计及优化、强化学习算法仿真训练、算法迁移应用。各个模块的详细介绍如下：第一、仿真场景构建。
[0050]
1）机器人模型配置：根据目标场景的需求选取合适的机器人，然后将机器人的虚拟模型及控制器在仿真器中完成配置，这样就能实现在仿真器中完成对机器人运动控制。同时，还需要配置相应的传感器附件，包括常用的六维力传感器，二维相机等。
[0051]
2）柔性体参数化建模：如图5所示，根据乳腺扫查的场景，被操作对象是一个柔性体，故要对柔性体进行建模仿真。通过将导入的模型文件进行离散化处理后得到模型的三角面片，将模型所有三角面片的角点与模型的质心体连接构建出质量弹簧阻尼结构，通过改变弹簧和阻尼参数用来模拟物体的柔性特征。
[0052]
第二、柔性变形体操作仿真。
[0053]
1)柔性体形变及交互力计算：如图6所示，针对上述柔性体建模方法，通过改变柔性体的质心体空间位姿即可改变柔性体的位姿，改变柔性表面三角面片角点的位移来实现柔性体的形变，基于角点位移量和结构参数计算相应的角点形变力，从而完成对柔性体的控制。同时，通过改变质量弹簧阻尼相对应的结构参数可以调整柔性体的柔软度和灵活性。
[0054]
2)柔性体的交互操作可视化：通过构建渲染器来对柔性体表面贴图皮肤进行渲染，然后使用双三次插值进行纹理化和细分，使得柔性体皮肤更加逼真。同时更新计算柔性体位姿及受力状况并进行可视化渲染。
[0055]
第三、目标任务奖励函数设计及优化。
[0056]
1）恒速恒压扫查奖励设计：为获取高质量的超声图像，需保证机器人超声探头扫查恒速且与皮肤接触法向压力恒定。针对上述需求，构建两个奖励函数，如下式所示。对于恒速需求，实时跟踪机器人超声探头末端速度与参考速度偏差的模，同时乘以给定的权重系数c
vel
便得到扫查速度的奖励值。对于恒压需求，实时获取虚拟机器人超声探头末端接触力垂直于皮肤的法向分量与参考压力偏差的模，同时乘以给定的权重系数c
force
来得到扫查压力的奖励值。
[0057]rvel
=|v
scan-v
ref
|*c
velrforce
=|f
scan-f
ref
|*c
force
2）恒速恒压扫查奖励优化：在一定经验范围内，通过实时随机调整柔性体的刚度和阻尼，从而来训练调整虚拟机器人对不同个体刚度阻尼参数差异的适应性，以实现虚拟机器人更好地实现恒压扫查目标。
[0058]
第四、强化学习算法仿真训练。
[0059]
1）虚拟机器人仿真训练：如图7所示，在构建的目标场景的仿真环境中，虚拟机器人通过不断地探索，搜索最优的扫查策略以满足恒速恒压的扫查目标。在仿真中，虚拟机器人每执行一个时间步（time step）后都会根据环境状态转移对执行的动作做出评价而得到一个奖励回报rt，仿真训练的目标就是找到一组神经网络参数使得扫查任务过程中所有时间步的动作奖励回报之和在某一策略下最大且趋于稳定，即：。
[0060]
理论上存在一种最优策略能满足所有扫查目标要求，但实际中只能找到接近最优策略的次优解，该次优解也在很大程度上满足恒速恒压的要求以进行实际应用。本质上，虚拟机器人在目标仿真环境中学习的是机器人osc（operational space controller）控制器增益，用以扫查过程中机器人调整探头末端的空间位置和姿态来满足恒速恒压扫查要求。
[0061]
2）虚拟机器人仿真策略优化：在初步得到一个次优的扫查策略后，需要对策略进行优化迭代。首先，调整神经网络中的相关超参数以让网络更快地收敛。其次，在每个时间步动态调整柔性体的刚度和阻尼来增强虚拟机器人对环境变化的适应性。最后，调整奖励目标的权重系数从而使得实际扫查过程更加合理。
[0062]
第五、算法迁移应用。
[0063]
乳腺扫查场景迁移：在仿真环境中，由于物理引擎的固有缺陷仿真器不可能完全模拟真实的应用场景，仿真场景和实际应用场景必然存在差异，例如环境视觉渲染、物理碰撞的动力学模型参数、传感器物理噪声等。所以，需要针对仿真场景向实际应用进行迁移（sim-to-real transfer），即拓展修正仿真场景的数据分布使得其尽可能接近真实的场景数据分布。在乳腺扫查场景中，需要给六维力传感器增加适当的噪声，给虚拟机器人各关节增加适当的阻尼，针对新的仿真数据分布继续训练优化得到最终的扫查策略。
[0064]
本发明通过上述技术方案，实现虚拟柔性变形体的建模与操作交互仿真；面向操作任务的虚拟机器人奖励函数设计及优化，并建立了基于强化学习的机器人恒压恒速扫查控制策略。
[0065]
本发明实施例提供了超声扫查控制方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0066]
基于同一发明构思，本发明实施例还提供了一种存储介质，所述存储介质存储有超声扫查控制程序，所述超声扫查控制程序被处理器执行时实现如上所述的超声扫查控制的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0067]
由于本发明实施例提供的存储介质，为实施本发明实施例的方法所采用的存储介质，故而基于本发明实施例所介绍的方法，本领域所属人员能够了解该存储介质的具体结构及变形，故而在此不再赘述。凡是本发明实施例的方法所采用的存储介质都属于本发明所欲保护的范围。
[0068]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
[0069]
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、和流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
[0070]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
[0071]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
[0072]
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件和借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、和第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0073]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例和落入本发明范围的所有变更和修改。
[0074]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。