本公开涉及一种用于向车辆提供协助的方法，具体地借助于包括在车辆中的无人驾驶飞行器(UAV)，其中，在涉及车辆的意外情况下提供该UAV用于在UAV与服务器之间建立网络通信。本公开还涉及对应的控制系统和计算机程序产品。

背景技术

近年来，车辆的自动协助有了很大的进步，例如包括自动地部署安全气囊、车辆的半自动或全自动驾驶操作、有效地提供驾驶员协助和安全功能，诸如巡航控制等。车辆协助的另一个例子涉及自动紧急呼叫，大大提高涉及车辆操作的安全性。

为了准备这种自动紧急呼叫，例如可以使用自动车辆定位和碰撞通知系统，该系统能够确认是否发生了车辆碰撞并直接与应急设施进行通信。如果车辆的安全气囊之一已经被启动，则可以例如检测到车辆碰撞。

在US20190061663中公开了这种系统的更高级版本。具体而言，在US20190061663中，建议在已经检测到车辆的安全气囊之一已经被启动的情况下从车辆发射随附的自动驾驶无人机。该无人机进而被安排为使用相机来自动记录车辆和车辆周围环境的航拍图像，其中，随后使用车辆的远程信息处理单元将图像传输到紧急控制中心。

尽管US20190061663中的解决方案呈现了一种有趣的方法来进一步提高涉及车辆操作的安全性，但它仅基于其中存在一个或多个乘员(驾驶员和可能的乘客)的车辆操作。考虑到这一点，部分或完全自动驾驶汽车(不一定有乘员在场)似乎还有进一步改进的空间。

技术实现要素：

根据本公开的一个方面，通过一种用于向车辆提供协助的计算机实现的方法至少部分地减轻了上述问题，所述车辆包括可释放的无人驾驶飞行器(UAV)，并且该车辆被布置为与布置在车辆外的第一服务器进行网络通信，其中，该方法包括以下步骤：确定第一服务器与车辆之间的通信中的网络故障；仅当已经确定网络故障时才部署UAV；使用UAV捕获图像或者视频中的至少一个；基于所捕获的图像或视频来确定车辆是否需要协助；并且在UAV与第二服务器之间建立独立的网络通信以请求车辆协助。

本公开基于以下认识：使用安全气囊启动作为确定是否需要进一步协助的手段的现有技术方法可以被视为过去的实现。对于新型车辆，例如可能没有任何驾驶员或其他乘员的自动驾驶车辆，有必要搜索其他触发器以确定车辆是否需要进一步的协助。根据本公开，这是通过确定车辆与布置在车辆外的第一服务器之间先前建立的网络通信是否不令人满意(例如，意味着通信完全或部分失败)而实现的。车辆与第一服务器之间的先前建立的网络通信例如通常可以用于定期将状态数据从车辆传送到第一服务器，以及用于从服务器向车辆提供控制数据。

根据本公开，在确定网络通信不令人满意的情况下，才部署UAV以捕获图像或视频中的至少一个，例如，车辆和车辆周围环境的图像或视频的至少一个。UAV还将与第二服务器形成独立的网络通信以请求车辆协助。

遵循如上定义的实现的一个优点是，UAV被布置为完全独立于车辆运行，也与网络通信有关。也就是说，UAV将建立其自己的网络通信，以确保所捕获的图像或视频会被操作以提供车辆协助的一方(诸如车辆的所有人)接收。

值得注意的是，上文使用的“自动驾驶车辆”一词应作广义解释，并涉及以完全或部分自动驾驶模式运行的车辆。在部分自动驾驶车辆中，某些功能可以选择性地在某些时间或所有时间被手动控制(例如由驾驶员)。此外，部分自动驾驶车辆可以被配置为在完全手动操作模式和部分自动驾驶和/或完全自动驾驶操作模式之间切换。还应当理解，根据本公开呈现的概念也可以与非自动驾驶车辆相关地使用。

根据本公开的实施例，仅当UAV被布置在相对于车辆的升高位置时才捕获图像或视频。因此，在一些情况下，这样的实现可以减少UAV与第二服务器之间的任何不必要的信息传输，可能由于降低的能量消耗而增加UAV的操作时间。在一些实施例中，UAV可以是电池操作的，但是用于为UAV供电的其他方式也是可能的并且在本公开的范围内。

优选地，根据预定指令部署UAV进行操作。这样的预定指令可以例如包括：与车辆相关的期望升高高度、车辆的操作范围(米)等相关的信息。预定指令可以例如进一步控制UAV将如何创建车辆周围循环的全景，用于从可能的所有侧面以及车辆周围捕获车辆。

在本公开的一些实施例中，在第一服务器处确定网络故障。然而，网络故障也可能由车辆或UAV确定，其中，UAV可能“窃听”车辆与第一服务器之间的网络通信。如果第一服务器确定网络故障，则第一服务器可能会指示UAV建立其独立的网络通信。用于确定网络故障的其他手段当然是可能的并且在本公开的范围内。

还值得注意的是，网络故障的表述应该被广义地解释，如上所述。因此，在本公开的范围内，网络故障可以包括车辆与第一服务器之间的网络连接的部分或全部故障。应当理解，车辆包括被布置成与电子控制单元(ECU)通信的车载收发器，该电子控制单元也作为车辆的车载部件提供。

在本公开的实施例中，第二服务器被布置为控制UAV的操作。即，在这样的实施例中，第二服务器可以被布置为控制UAV如何监视车辆及其周围环境，例如通过向UAV发送控制信号以控制UAV相对于车辆的位置，以及如何捕获图像和/或视频。

此外，根据本公开的实施例，UAV可以适于发起与车辆的网络通信，用于在车辆与第一服务器之间建立中继网络通信。相应地，如果仅车辆与第一服务器之间的网络通信失败，而车辆本身仍然可以运行(或在某种程度上可以运行)，则可以使用UAV来允许第一服务器直接与车辆进行通信(以中继方式)。在一些实施例中，中继到车辆的信息可以包括用于由第二服务器远程控制车辆的操作的数据。

优选地，在本公开的一个实施例中，第二服务器正在实施用于基于从UAV接收的图像或视频自动地确定车辆协助类型的图像处理方案。这种实现是非常期望的，因为可以大大减少人工操作员确定下一步做什么所需的时间，从而可能降低为车辆提供协助的成本。在可能的实施例中，图像处理方案包括机器学习部分。例如，这种机器学习部分可以预先针对不同场景进行训练，诸如涉及不同类型的车辆故障、火灾、翻车等。

尽管以上讨论的重点是使用第一和第二服务器，但是应当理解，可以将第一和第二服务器的功能提供为共同的单个服务器。第一/第二/公共服务器可以实现为所谓的云服务器。因此，借助于本公开提供的计算能力可以分布在多个服务器之间，而不必明确限定服务器的位置。使用基于云的解决方案的优势还在于实现了固有的冗余。

根据本公开的另一方面，提供了一种适于向车辆提供协助的控制系统，该车辆包括可释放的无人驾驶飞行器(UAV)，并且该车辆被布置为与布置在车辆外的第一服务器进行网络通信，其中，控制系统适于确定第一服务器与车辆之间的通信中的网络故障，仅在已经确定网络故障时才部署UAV，使用UAV捕获图像或视频中的至少一个，基于捕获到的图像或视频来确定车辆是否需要协助，并在UAV与第二服务器之间建立独立的网络通信以请求车辆协助。本公开的这个方面提供了与上面关于本公开的先前方面所讨论的类似的优点。

在本公开的优选实施例中，系统包括第一服务器。此外，车辆可以例如是公共汽车、卡车、汽车或任何形式的建筑设备中的一种。此外，车辆可以是纯电动车辆(PEV)和混合动力电动车辆(HEV)中的至少一种。此外，如上所述，车辆在一些实施例中可以是自动驾驶车辆。

根据本公开的另一方面，提供了一种计算机程序产品，其包括非暂时性计算机可读介质，其上存储有用于操作控制系统的计算机程序装置，该控制系统适于向车辆提供协助，该车辆包括可释放的无人驾驶飞行器(UAV)，并且该车辆被布置为与布置在车辆外的第一服务器进行网络通信，其中，计算机程序产品包括用于确定第一服务器与车辆之间的通信中的网络故障的代码、用于仅在已经确定网络故障时才部署UAV的代码、用于使用UAV捕获图像或视频中的至少一个的代码、用于基于捕获的图像或视频来确定车辆是否需要协助的代码，以及用于在UAV与第二服务器之间建立独立的网络通信以请求车辆协助的代码。本公开的这个方面提供了与上面关于本公开的先前方面所讨论的类似的优点。

计算机可读介质可以是任何类型的存储器设备，包括可移动的非易失性随机存取存储器、硬盘驱动器、软盘、CD-ROM、DVD-ROM、USB存储器、SD存储卡或本领域已知的类似计算机可读介质。

在以下描述和从属权利要求中公开了本公开的进一步优点和有利特征。

附图说明

参考附图，以下是作为示例引用的本公开的实施例的更详细描述。

附图中：

图1A示出了卡车，图1B示出了公共汽车，并且图1C示出了轮式装载机，其中，可以结合根据本公开的控制系统；

图2示出了根据本公开的当前优选实施例的概念控制系统；以及

图3示出了用于执行根据本公开的方法的处理步骤。

具体实施方式

现在将在下文中参考附图更全面地描述本公开，在附图中，示出了本公开的当前优选实施例。然而，本公开可以以许多不同的形式体现并且不应被解释为限于这里阐述的实施例；相反，提供这些实施例是为了彻底和完整，并将本公开的范围完全传达给技术人员。相同的附图标记始终指代相同的元件。

现在参考附图并具体地参考图1A，描绘了示例性车辆，这里示出为卡车100，其中，可以结合根据本公开的控制系统200(如图2所示)。控制系统200当然可以以稍微不同的方式在如图1B所示的公共汽车102、如图1C所示的轮式装载机、汽车、公共汽车等中实现。

车辆例如可以是电动或混合动力车辆中的一种，或者可能是天然气、汽油或柴油车辆。车辆包括电机(在电动或混合动力车辆的情况下)或发动机(例如在天然气、汽油或柴油车辆的情况下的内燃机)。车辆可以进一步是手动操作的、完全或半自动驾驶的。

图2示出了以非限制性方式呈现的根据本公开的控制系统200的概念性和示例性实现。实现控制系统200的其他方式是可能的并且在本公开的范围内。示例性车辆100配备有第一收发器202和布置成与收发器202通信的第一电子控制单元(ECU)204。在所示实施例中，车辆100还配备有可释放的无人驾驶飞行器(UAV)206，UAV 206显示为可从车辆100的后部部署。部署UAV 206的其他手段是可能的并且在本公开的范围内。UAV 206对应地配备有第二收发器208和第二ECU 210。

图2进一步图示了第一服务器212和第二214服务器。第一服务器212被示为连接到车辆100的第一收发器202，并且第二服务器214被示为连接到UAV 206的第二收发器。第一服务器212和第二服务器214中的每一个可以包括数据库，其保存与车辆有关的信息、从UAV206接收的图像/视频等。

作为参考，第一收发器202和/或第二收发器208可以被布置为允许任何形式的无线连接，例如WLAN、CDMA、GSM、GPRS、3G移动通信，3/4/5G移动通信，或类似的等。未来无线通信协议的其他存在是可能的并且在本公开的范围内，诸如任何形式的车对万物(V2X)通信协议。在一个可能的实施例中，收发器202/208与服务器212/214之间的通信是通过互联网进行的。因此，本公开的范围决不限于分别在收发器202/208与服务器212/214之间的专用单一连接。即，诸如因特网的共享通信手段也可以用于第一收发器202与第一服务器212之间的网络通信以及用于第二收发器208与第二服务器214之间的网络通信。

此外，第一204和/或第二210ECU 204可以例如表现为通用处理器、专用处理器、包含处理组件的电路、一组分布式处理组件、一组配置用于处理的分布式计算机、现场可编程门阵列(FPGA)等。处理器可以是或包括用于进行数据或信号处理或用于执行存储在存储器中的计算机代码的任何数量的硬件组件。存储器可以是一个或多个用于存储数据和/或计算机代码以完成或促进本说明书中描述的各种方法的设备。存储器可以包括易失性存储器或非易失性存储器。存储器可以包括数据库组件、目标代码组件、脚本组件或用于支持本说明书的各种活动的任何其他类型的信息结构。根据示例性实施例，任何分布式或本地存储器设备可以用于本描述的系统和方法。根据示例性实施例，存储器可通信地连接到处理器(例如，经由电路或任何其他有线、无线或网络连接)并且包括用于执行本文描述的一个或多个过程的计算机代码。

此外，UAV 206可以以适合于与特定类型的车辆100相关使用的任何形式实现。也就是说，与诸如汽车的较小的车辆相比，诸如卡车的在一定程度上稍大的车辆可能容纳更大的UAV。不同类型的UAV206是可能的并且在本公开的范围内。此外，在图2中呈现的图示中，无人机206配备有被布置成捕获图像或视频中的至少一个的相机216，其中，相机216被布置成与第二ECU 210进行通信。

在用于向车辆100、102、104提供协助的控制系统200的操作期间，进一步参考图3，该过程开始于检测到第一服务器212与布置在车辆100上的第一收发器202之间的网络故障。如上所述，网络故障可能以不同的方式表现出来，诸如通过完全或全部丢失网络通信。网络故障的检测可由第一服务器212或收发器202/208中的任一个来确定。在本图示中，UAV 206连接到车辆100的CAN总线，其中，UAV 206适于连续接收车辆100的第一收发器202与第一服务器212之间的网络通信正常工作的指示。

因此，在该实施例中，UAV 206的第二ECU 210被布置为确定S1第一服务器212和车辆100之间的通信中是否存在网络故障。一旦确定了网络故障，第二ECU 210启动从车辆后部部署S2 UAV 206的过程。在一些实施例中，这可以激活在车辆100处的对接机构(未示出)以部署UAV 206。

一旦部署了UAV 206，就执行进一步的步骤以向车辆100提供协助。这些进一步的步骤包括使用UAV 206使用相机216来捕获S3图像或视频中的至少一个，基于所捕获的图像或视频来确定S4车辆100是否需要协助，并且，在UAV 206与第二服务器214之间建立S5独立的网络通信以请求车辆协助。

应当明确地理解，可以以任何期望的顺序依次或同时执行这些步骤。

例如，在一个实施例中，可能自动驾驶地控制UAV 206上升到稍微高于车辆的位置，诸如在车辆100上方5-10米之间。其他范围当然是可能的并且在本公开的范围内。一旦到达升高的位置，UAV 206开始捕获S3车辆100和/或车辆100周围环境的所述图像或视频序列。图像/视频优选地至少被中间存储在由UAV 206包括的存储器元件(未示出)中。

根据该实施例，UAV 206可以执行所捕获的图像/视频的预评估以确定S4车辆100是否需要协助。这种评估可以从更基本的实现采用不同的形式，在更基本的实现中，例如，车辆处于静止模式的确定足以确定车辆100需要协助。其他更高级的实现当然是可能的，例如确定存在与车辆100有关的火灾，或与车辆100有关的任何其他形式的不希望的行为(盗窃、破坏、事故等)。在一个实施例中，UAV 206可以实现用于图像处理方法的边缘计算。

根据该实施例，在所捕获的图像/视频的预评估导致需要协助的指示的情况下，可以形成UAV 206与第二服务器214之间的独立网络通信以请求所述车辆协助。协助可以采取部署服务人员、消防部门、拖车服务等形式，这可能取决于预评估的结果。

在替代实施例中，可能在捕获(一个或多个)图像/(一个或多个)视频和确定车辆100是否需要协助的步骤之前执行在UAV 206与第二服务器214之间的独立网络通信。也就是说，在这样的替代实施例中，在已经从车辆100部署UAV 206后立即(或可能之前)形成UAV 206与第二服务器214之间的独立网络通信。因此，一旦UAV 206开始使用相机216来捕获(一个或多个)图像/(一个或多个)视频，(一个或多个)图像/(一个或多个)视频可以被直接传输到第二服务器214。然后第二服务器214可以执行评估所捕获的图像/视频以确定车辆100是否需要协助的步骤。

在第二服务器214处执行评估的情况下，在一些实施例中可以允许增加确定涉及车辆100的当前情况的复杂度。例如，在一些实施例中，第二服务器214可以适用于实现机器学习组件，其中，所述机器学习组件已经针对不同的车辆情况进行了预训练。例如，此类情况可能包括不同类型的车辆事故等。

取决于车辆100的状态，在本公开的一些实施例中，还可以允许UAV 206中继第一服务器212与车辆100之间的通信。即，在一些实施例中，UAV 206和车辆100可以被布置成在它们之间形成进一步的独立网络通信。因此，如果仅在车辆100与服务器212之间的网络通信存在故障，而实际上车辆100没有问题，则这可以通过以下方式绕过，即允许通过UAV 206通信改为从第一服务器212到第二服务器214然后到车辆100来通信。

如上所述，在一些实现中，第一服务器212和第二服务器214可以是同一个服务器，即提供服务器212、214这两者的功能。也就是说，在这样的实施例中，可以与车辆100和UAV 206形成两个独立的网络连接。

本公开考虑用于完成各种操作的方法、设备和任何机器可读介质上的程序产品。本公开的实施例可以使用现有的计算机处理器来实现，或者通过用于适当系统的专用计算机处理器或者通过硬连线系统来实现，该适当系统为了这个或另一个目的而被包含。本公开范围内的实施例包括程序产品，该程序产品包括机器可读介质，其用于承载或具有存储在其上的机器可执行指令或数据结构。这种机器可读介质可以是可由通用或专用计算机或具有处理器的其他机器访问的任何可用介质。

举例来说，此类机器可读介质可以包括RAM、ROM、EPROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备或任何其他介质，该任何其他介质可以用于承载或存储机器可执行指令或数据结构形式的所需程序代码，并且可以由通用或专用计算机或其他具有处理器的机器访问。当信息通过网络或其他通信连接(硬连线、无线或硬连线或无线的组合)传输或提供到机器时，机器正确地将连接视为机器可读介质。因此，任何此类连接都被恰当地称为机器可读介质。上述的组合也包括在机器可读介质的范围内。机器可执行指令包括例如使通用计算机、专用计算机或专用处理机器执行特定功能或功能组的指令和数据。

尽管附图可能示出了方法步骤的特定顺序，但是这些步骤的顺序可能与所描绘的不同。此外，两个或多个步骤可以同时或部分同时进行。这种变化将取决于所选择的软件和硬件系统以及设计者的选择。所有这些变化都在本公开的范围内。同样，软件实现可以通过标准编程技术与基于规则的逻辑和其他逻辑来完成，以完成各种连接步骤、处理步骤、比较步骤和决策步骤。

此外，即使已经参考其特定示例性实施例描述了本公开，但是许多不同的改变和修改等对于本领域技术人员来说将变得显而易见。

通过研究附图、公开内容和所附权利要求，技术人员在实践要求保护的公开内容时可以理解和实现对公开的实施例的变化。此外，在权利要求中，“包括”一词不排除其他要素或步骤，并且不定冠词“一”或“一个”不排除多个。