用于倒行车辆的规划适应
1.相关申请的交叉引用
2.本技术要求于2019年6月28日提交的标题为“planning accommodations for reversing vehicles”的美国专利申请第16/456，987号的优先权；其全部内容在此引入作为参考。
技术领域
3.各种方法，设备和系统被用于引导自动驾驶车辆通过包括各种静态和动态对象的环境。例如，自动驾驶车辆利用路线规划方法，设备和系统来引导自动驾驶车辆通过拥堵区域，拥堵区域具有其他移动和静止车辆(自动驾驶车辆或其他车辆)，人，建筑物和其他对象。在一些示例中，自动驾驶车辆可以在穿越环境时做出决定，以确保乘客和周围人员和对象的安全。然而，预测环境中其他车辆或对象的行为可能会带来挑战。
附图说明
4.参照附图对详细说明进行描述。在附图中，附图标记的最左边一个或多个数字标识该附图标记首次出现的附图。根据本公开的示例，在不同的附图中使用相同的附图标记表示相似或相同的部件或特征。
5.图1是根据本公开的示例的用于基于被确定为与倒车状态相关联的车辆的预测轨迹来控制自动驾驶车辆的图示流程图。
6.图2是根据本公开的示例的可以用于部分地基于与倒车状态相关联的车辆的指示确定一个或多个轨迹的系统的图示。
7.图3是根据本公开的示例的使用环境特征来确定车辆的倒车状态意图及随后轨迹估计的示意图。
8.图4示出了用于实现本文描述的技术的示例性系统的框图。
9.图5根据本公开的示例描述了用于确定车辆与倒车状态相关联，基于与倒车状态相关联的车辆预测车辆的轨迹以及，基于预测轨迹控制自动驾驶车辆的示例性过程。
具体实施方式
10.本公开涉及用于确定车辆可能在倒车状态下执行机动并且通过以安全和有效的方式控制自动驾驶车辆来适应这些机动的技术。在一些示例中，车辆可以提供车辆将执行倒车机动的指示，诸如利用车辆上的倒车灯，和/或通过以相对于道路或停车空间的一定角度定位以允许倒车机动至期望位置中。自动驾驶车辆的规划系统可以使用传感器数据来确定各种这些指示，以随后确定车辆将要执行倒车机动的概率，确定倒车机动的可能轨迹，并向车辆提供适当适应(例如，时间和/或空间)以安全且有效地执行机动。
11.自动驾驶车辆捕获的传感器数据可以包括由图像传感器捕获的数据(诸如各个图像，视频等)以及由其他传感器(诸如激光雷达传感器，雷达传感器，飞行时间传感器，声纳传感器等)捕获的数据。在一些情况下，传感器数据可以被提供给感知系统，该感知系统被
构造为确定或分类环境中的对象的类型(例如，车辆，行人，自行车，摩托车，动物，停放的汽车，树木，建筑物等)。
12.当自动驾驶车辆穿越环境时，传感器数据可由自动驾驶车辆捕获。在一些示例中，自动驾驶车辆除了传感器外可以包括一个或多个摄像机，所述一个或多个摄像机被配置为捕获周围环境的图像(例如，各个图像和/或视频)。由一个或多个摄像机捕获的图像可以被分析以独立于由车辆的其他传感器对对象的检测或者与由车辆的其他传感器对对象的检测相结合来检测对象。在一些示例中，一旦被检测到，则图像可以被剪裁到围绕对象的感兴趣区域，例如，基于各个对象周围的尺寸(厘米，像素等)，基于对象周围的边界框等。
13.在示例中，自动驾驶车辆的轨迹确定部件可以在图像中识别诸如车辆的对象，随同检测车辆的特征。例如，轨迹确定部件可以将图像分割以检测车辆中能够指示车辆处于倒车状态的灯。在一些情况下，指示车辆与倒车状态相关联的灯可能在图像中被遮挡。在这种情况下，轨迹确定部件可以识别另一个灯(例如，不同的倒车指示器灯，制动灯等)来确定与车辆相关联的状态(例如，前进状态，倒车状态等)，和/或可以使用与车辆相关联的额外情境来确定车辆是否与倒车状态相关联。
14.在一些示例中，然后，轨迹确定部件可以使用描绘特征的图像来确定灯是否正在指示车辆与倒车状态相关联，诸如通过将描绘特征的图像的一部分输入到被训练为至少部分地基于特征的特点来预测车辆行为的机器学习模型中。在一些示例中，与倒车状态相关联的车辆也可以被称为处于倒挡的车辆，尽管可以理解，车辆不一定需要物理倒挡来“处于倒挡”。例如，车辆可以包括电动马达并且可以通过改变电压的极性来使马达的方向逆转来沿逆反方向提供推力。
15.具体地说，机器学习模型可以确定车辆的倒车灯开启，并且可以基于倒车灯开启来预测车辆的行为。另外，机器学习模型可以接收环境的各种特征，这些特征可以提供关于车辆是处于倒车状态、非倒车状态或处于“意图倒车状态”的额外信息，在该“意图倒车状态”中，车辆还没有倒行，但可能立即执行倒车机动(例如，在3秒内，5秒内，1个区块内，3个区块内，25英尺内，50英尺内等)。在一些示例中，环境中可以提供关于车辆是否处于倒车状态(或者计划进入倒车状态)的线索的特征可以包括车辆的定向(例如，相对于交通车道)、车辆相对于车辆在环境中的位置处的速度限制的速度、车辆相对于周围环境中其他车辆的速度、车辆当前所处的特定车道、与车辆当前所处的车道相邻的车道(例如，相邻停车车道，私人车道等)、车辆是否位于交叉路口处或交叉路口附近、车辆与环境中的其他车辆之间的距离、车辆附近的其他车辆的速度等等。可以从不同的传感器模态收集环境的特征，以向轨迹确定部件提供关于环境的信息，以用于预测其他车辆的行为。
16.机器学习模型可以响应于车辆的倒车灯开启而输出车辆处于倒车状态的指示，并且输出对车辆周围的环境的特征的分析。在一些示例中，机器学习模型可以是分类器，其输出对应于车辆处于倒车状态、车辆处于非倒车状态或车辆处于意图倒车状态的指示。可替代地，机器学习模型可以输出车辆是处于倒车状态还是非倒车状态的二进制指示。还考虑了其他示例，诸如基于对车辆的状态的确定而输出车辆的预测轨迹。
17.例如，轨迹确定部件可以至少部分地基于对车辆的倒车状态的指示和/或环境中如上所述的特征来预测车辆的轨迹。在一些示例中，环境的特征可用于确定路径或轨迹，一旦车辆开始以倒挡执行机动，则车辆就可以遵循该路径或轨迹。例如，轨迹确定部件可以基
于车辆周围的环境的特征和/或倒车指示来确定车辆的多个可能轨迹。在一些情况下，轨迹确定部件可以从多个轨迹中选择最可能轨迹(或者多个最可能轨迹)，并且基于用于车辆的一个或多个最可能预测轨迹规划用于自动驾驶车辆遵循的轨迹，以适应预期倒车机动。
18.例如，轨迹确定部件可以通过使用上述的机器学习模型或另一个机器学习模型生成自上而下图像来预测轨迹，该自上而下图像包括通道，这些通道包括与环境的特征(诸如交通车道、地图数据、环境中的对象等)相关联的信息。用于生成预测轨迹的机器学习模型可以在将来中的一个或多个时间(例如1秒，2秒，3秒等)输出与车辆相关联的坐标(例如，x坐标和y坐标)。在一些示例中，机器学习模型可以输出与车辆相关联的坐标以及与每个坐标相关联的概率信息。此外，机器学习模型可以输出与预测概率相关联的热图。在一些示例中，至少部分地基于热图来确定至少一个预测轨迹。关于使用自上而下方法预测轨迹的其他细节可以在美国专利申请第16/151,607号中找到，该专利申请的全部内容在此通过引用并入本文。还考虑了预测被确定为处于倒车状态(或意图倒车状态)的车辆的轨迹的其他方法，诸如预测车辆将以所观察到的车辆的速度倒车行进预定时间量(例如1秒，2秒，3秒等)直到确定倒车状态已经改变。
19.在一些示例中，轨迹确定部件可以控制自动驾驶车辆保持当前位置(例如，通过停止自动驾驶车辆)或控制自动驾驶车辆遵循轨迹，该轨迹继续沿去往自动驾驶车辆的预期目的地的路线继续，但规避执行倒车机动的车辆的预测轨迹。除了这些示例之外，轨迹确定部件可以控制自动驾驶车辆倒行以为执行倒车机动的车辆的预测轨迹提供额外空间。
20.作为具体示例的说明，考虑准备从邻近停车空间车道的交通车道平行停车的车辆。自动驾驶车辆可以该交通车道中在该车辆后方行驶，并且检测到该车辆使其倒车灯开启(和/或其他情境信息，例如车轮方向等)以准备执行平行停车机动。自动驾驶车辆可以确定车辆可以遵循以执行平行停车机动的一个或多个预测轨迹(例如，在平行停车机动中第一次成功尝试，以及可能导致车辆无法成功执行平行停车机动并通过重新进入交通车道重新开始的轨迹)。例如，自动驾驶车辆可以评估车辆相对于交通车道和/或停车车道的角度，以及已停放车辆的位置以确定预测轨迹。然后，在第一示例中，自动驾驶车辆可以被控制为通过在交通车道中停靠于允许车辆执行平行停车机动的位置处(例如，在车辆正在进入的停车空间后方)来等待车辆执行机动。
21.在另一个示例中，例如，自动驾驶车辆可以被控制为通过在车辆正在进入的停车空间后方的位置处进入不同的交通车道而进入与停车车道相反的不同交通车道以规避平行停车机动的预测轨迹。
22.本文讨论的技术可以以多种方式改善计算装置的运行。例如，轨迹确定部件可以使用仅单个图像(或单个图像的剪裁部分)来可靠地确定环境中的车辆的倒车机动。因此，与需要应用于多个图像或视频的复杂图像分析算法和/或需要由其他传感器供应的数据来确定车辆的倒车行为的传统技术相比，使用了显著更少的处理资源。由于倒车指示可以从单个图像确定，因此与可能如果需要多个图像或视频的情况相比，轨迹确定部件可以能够确定更多个倒车车辆的轨迹，和/或一般地确定环境中的其他车辆或对象的轨迹。在一些情况下，所描述的技术比其他倒车确定机制更准确。例如，如果倒车灯被环境中的其他对象遮挡、车辆的倒车灯被烧坏或以其他方式不工作和/或被完全遮挡，或者车辆还没有进入倒档以显示被点亮的倒车灯，则关于车辆是否倒车的确定可能是不准确的。这些确定可以通过
使用本文所述的周围环境中的额外信息和关于车辆本身的其他信息(例如，相对于交通车道或停车车道的角度)来改进。
23.通过部分地基于通过使用由其他车辆供应的指示和关于周围环境所收集的信息两者来确定其他车辆是否处于倒挡来控制车辆，车辆的安全性可以通过更快且更早地确定其他车辆倒车并因此允许车辆更早地做出针对其他车辆的倒车机动提供适应的轨迹决定而提高。另外，如刚描述的，部分地基于确定其他车辆执行倒车机动来控制车辆可以减少处理资源，其中在倒车确定期间的一个时间处处理资源仅评估单个图像。
24.此外，用于部分地基于确定其他车辆的倒车机动来控制车辆的技术可以通过更早地且以更高准确度确定倒车机动来增加车辆能够避免与即将到来的交通和/或行人碰撞的置信度，这可以提高安全性结果，性能和/或准确性。本文讨论了对计算机的运行的这些和其他改进。
25.本文描述的技术可以以多种方式实现。下面将参考以下附图提供示例性实施方式。尽管在自动驾驶车辆背景下进行讨论，但是本文描述的方法，设备和系统可以应用于各种系统(例如，传感器系统或机器人平台)，并且不限于自动驾驶车辆。在一个示例中，本文描述的技术可用于驾驶员控制的车辆中，其中这种系统可向车辆的驾驶员提供执行各种机动是否安全的指示。在另一示例中，所述技术可用于航空或航海情境中，或者用于涉及可能与对系统未知的行为相关联的对象或实体的任何系统中。这种技术也可以用于例如制造和装配情境中以当部件向下移动到装配线上时对部件进行检查。另外，本文描述的技术可以与真实数据(例如，使用一个或多个传感器所捕获的)，模拟数据(例如，由模拟器生成的)或两者的任意组合一起使用。
26.图1是根据本公开的示例的用于基于被确定为处于倒挡的车辆的预测轨迹来控制自动驾驶车辆的图示流程图100。
27.操作102包括检测图像中描绘的车辆的特征，该特征是指示车辆是否处于倒挡的特征类型。例如，特征类型可以是车辆中指示车辆处于倒挡的灯、由车辆输出的车辆处于倒挡的声音等等。在一些情况下，虽然可以在图像中描绘车辆，但特征本身可以不被描绘(例如，当所述特征被遮挡或者所述特征是声音时(例如，后备蜂鸣器，后备报警器或车辆运动报警器))，但是所述过程仍然可以基于如上所述和如下所述的其他信息继续确定车辆的预测轨迹。
28.在一个示例中，当自动驾驶车辆穿越环境时，图像104可以由自动驾驶车辆108的图像传感器106捕获。图像104也可以描绘出正在穿越环境的车辆110。在一些情况下，图像104可以围绕车辆110进行剪裁，从而生成可用于检测车辆110的一个或多个特征的剪裁图像112。在这种情况下，自动驾驶车辆108可以检测特征114(a)，114(b)，和114(c)(共同地为特征114)，这些特征对应于车辆110中可以指示车辆110处于倒挡、车辆110正在制动的灯，指示车辆110意图左转或右转的闪光灯、车辆110的危险灯等。
29.还考虑了其他特征，例如车轮角度，对并排停车车辆(例如环境中的第三车辆)的检测等等。与特征114一起，也可以使用自动驾驶车辆108的图像传感器106和/或其他传感器来检测关于环境的额外信息。如上所述并且在下面更详细地，环境中可以提供关于车辆110是否处于倒挡(或者计划进入倒挡，也被称作“意图倒车状态”)的信息的特征可以包括车辆的定向(例如，相对于交通车道)、车辆110相对于车辆110在环境中的位置处的速度限
制的速度、车辆110相对于周围环境中其他车辆的速度、车辆110当前所处的特定车道、与车辆110当前所处车道相邻的车道(例如，相邻停车车道，私人车道等)、车辆110是否位于交叉路口处或交叉路口附近、车辆110与环境中的其他车辆之间的距离、车辆110附近的其他车辆的速度等等。车辆110和/或特征114可以例如使用被训练为识别对象和对象的特征的语义分割算法来检测，尽管也考虑了检测车辆110和特征114的其他示例。关于车辆照明状态的确定的其他细节可以在美国专利申请第15/982658号中找到，该专利申请的全部内容通过引用并入本文。
30.操作116包括确定车辆处于倒车状态。例如，可以使用机器学习模型(或多个模型)来确定车辆是否处于倒挡。在一些示例中，在操作102中检测到的特征(和/或车辆110周围的环境的额外特征，在操作102中捕获或接收的具有或不具有检测到的特征的传感器数据等)可以被输入到被训练为至少部分地基于特定特征的特征类型来预测车辆行为的机器学习模型中。继续上述示例，剪裁图像112可以被输入到被训练为基于车辆的倒车灯开启(例如，点亮)来预测车辆将执行倒车机动的机器学习模型中。在一些情况下，机器学习模型可以是被训练为将车辆110的倒行状态分类为倒车状态，非倒车状态或意图倒车状态中的一种或多种的分类器，仅举几个分类示例。关于可用于确定车辆处于倒挡的机器学习模型的额外细节可在图2和4的讨论中找到。
31.操作118包括至少部分地基于车辆处于倒车状态和环境的特征来预测车辆的轨迹。例如，考虑其中已经确定车辆110处于倒挡的示例120。自动驾驶车辆108可以识别环境的各种特征，诸如车辆122和停车车道124，这些特征可以与生成车辆110的预测轨迹126相关。例如，自动驾驶车辆108可以确定车辆110可能在围绕车辆122行进的同时进入停车车道124，以停车在停车车道124中，而不是继续笔直倒行或倒行进入交通通道128中。在示例中，环境的特征可以从环境的地图数据(例如，交通车道，停车车道，交叉路口，人行道等)来确定、可以从表示环境中的对象(例如，汽车，行人，自行车，建筑区域等)的图像数据或其他传感器数据来确定等。环境的特征可用于基于车辆110可能避开或规避的对象(诸如其他车辆、人行道、行人等)来确定预测轨迹，同时也确定车辆110可能通过或进入的对象(诸如停车空间、私人车道、特定交通车道(例如，在执行三点式转弯时)、装载站点)，或者甚至可能与车辆附接部连接的对象(例如挂车)。例如，自上而下方法可用于生成与环境中对象的预测概率相关联的热图，该热图又可用于确定车辆110的预测轨迹，如本文所讨论的。结合图2并贯穿本公开讨论了预测轨迹的额外细节。
32.操作130包括控制自动驾驶车辆来适应轨迹。示例132示出了自动驾驶车辆108，其基于确定车辆110处于倒挡来确定适应车辆110的预测轨迹126(例如，操作118的输出)的轨迹134。自动驾驶车辆108的轨迹134包括机动进入交通车道128，同时为车辆110提供空间以继续执行由预测轨迹126预测的倒车机动。在一些示例中，为了提供足够的空间来适应车辆110的预测轨迹126，自动驾驶车辆108还可以确定车辆110的宽度，并且基于车辆110应用于预测轨迹126的长度的宽度来生成轨迹134。轨迹134还可以包括沿着预测轨迹126延伸超过车辆110的宽度(例如，车辆110的宽度的额外20％)的缓冲，该缓冲为车辆110可以遵循的实际轨迹中的轻微变化提供了额外空间和/或可以向车辆110的驾驶员灌输自动驾驶车辆108将不会与车辆110碰撞的信心。以这种方式，自动驾驶车辆108可以安全有效地适应包括倒车机动的车辆110的预测轨迹126，同时向自动驾驶车辆108提供以比先前技术中存在更少
中断而继续去往期望目的地的机制。
33.图2是根据本公开的示例的系统200的示意图，该系统200可部分地基于车辆处于倒挡的指示来确定一个或多个轨迹。
34.第一示例202示出了自动驾驶车辆204沿轨迹206行进通过环境的场景。在示例202中还包括车辆208，该车辆208在时间t0被拍摄到处于一位置处。示出了车辆208从时间t-n
到时间t0(例如，过去)的轨迹210，其表示车辆208直至时间t0已执行的机动。在一些示例中，从t-n
到t0的时间可以对应于跟踪车辆208以提供关于车辆208的行为的信息的时间量，诸如1秒，3秒，5秒，视频的10帧，视频的30帧等。在自上而下预测实施方式的背景下，操作可以包括输入表示环境随时间的数据(例如，表示在t＝-2.0秒，t＝-1.5秒，t＝-1.0秒，t＝-0.5秒时的那时环境的数据)。在时间t0，自动驾驶车辆204可以捕获车辆208的图像212(或其他数据)。图像212可用于例如基于车辆208的预测轨迹来确定在时间t0之后如何控制自动驾驶车辆204以继续行进。
35.在一些实例中，图像212可以是基于与车辆208相关联的边界框的剪裁图像。例如，边界框可以由分类器、检测器或分割器生成，其可以识别图像数据中的对象(例如车辆)。虽然在与系统200相关联的所述示例中使用了图像，但是如可以由传感器数据或其他信号的任意组合所确定的，其他指示器可以与车辆相关联并且被依赖用于做出关于车辆的确定，这些其他指示器可以向车辆行为的周围环境提供指示，诸如其他类型的视觉信号(例如，手信号，显示屏等)，听觉信号等。
36.为了预测车辆208的轨迹，自动驾驶车辆204可以将图像212(或其他指标，传感器数据，信号，数据(例如地图数据)等)输入到机器学习部件214中，该机器学习部件214又可以输出与关于车辆208是否处于倒挡的指示相对应的倒车指标216。在一些示例中，机器学习部件214可以例如基于车辆208的灯的照明状态输出与车辆208处于倒车中相关联的概率。可替代地或另外地，机器学习部件214可以输出对应于可能的倒车指示的多个分类中的分类，诸如车辆208处于倒车状态、车辆208处于非倒车状态、和/或车辆208处于意图倒车状态。虽然通常关于将倒车指示216输出成倒车状态、非倒车状态和/或意图倒车状态的分类器进行描述，但是机器学习部件也可以可替代地输出车辆正在倒行或者不在倒行的二进制指示。
37.机器学习部件214还可以接收环境中可用于确定车辆208的行为，包括确定倒车指标216的特征。环境的特征可以从自动驾驶车辆204的传感器和/或与自动驾驶车辆204和车辆208周围的环境相关联的地图数据接收。例如，机器学习部件214可以接收与车辆208相关联的车辆属性222。车辆属性222可以包括，例如，指示器可见性218，其可以指示处于倒挡的车辆208的指示器(例如，灯)是否可见。在一些情况下，如果指示器可见性218指示车辆208的灯被遮挡、不工作或未在图像212中描绘，则在对车辆208的未来轨迹进行预测时，可以更大程度地(例如，加权更高地)依赖于其他特征。
38.车辆属性222还可以包括车辆208的车辆定向224。车辆定向224可以例如从图像212确定并且可以基于车辆208相对于车辆208所处的交通车道和/或与车辆208所处的交通车道相邻的车道(诸如停车车道或另一交通车道)的角度。在一些情况下，如果车辆208以除了通常平行于交通车道的行驶方向之外的角度进行定位，则机器学习部件214可以使用该信息来预测车辆208的倒车状态。
39.另外，车辆属性222可以包括与车辆208相关联的车辆速度226。例如，可以至少部分地基于激光雷达数据、雷达数据、飞行时间数据、图像数据或用于确定环境中的对象的速度的其他技术来确定车辆速度226。机器学习部件214可以将车辆速度226与环境的速度限制或环境中其他车辆的速度中的一个或多个进行比较以确定车辆208正在执行倒车机动或正计划执行倒车机动的可能性。在许多情况下，执行倒车机动的车辆以远低于可驾驶区域的允许速度限制的速度行进。另外，意图执行倒车机动(例如，寻找要倒回的停车空间)的车辆通常也以低于允许速度限制和/或环境中的其他车辆的速度移动。因此，机器学习部件214可以利用车辆速度226来确定车辆208是否正在执行倒车机动，和/或车辆208是否意图执行倒车机动，并相应地输出车辆208的倒车状态。也考虑了额外车辆属性222。
40.另外，机器学习部件214可以接收与自动驾驶车辆204和车辆208周围的环境相关联的地图数据228。例如，地图数据228可以包括当前车道类型230、相邻车道类型232、和/或交叉路口234的指示。当前车道类型230可以指示车辆208正占据的当前一个或多个车道。例如，车辆208可以正占据私人车道作为当前车道类型230。例如，机器学习部件214可以使用当前车道类型230来确定与倒出私人车道的车辆208相关联的预测轨迹。相邻车道类型232可以指示接近车辆208正占据的当前车道的车道，诸如停车车道，其他交通车道等。在示例中，机器学习部件214可以使用相邻车道类型232来在诸如平行停车机动、倒入垂直停车空间机动、三点转弯机动等期间预测车辆208的倒车状态。交叉路口234的指示可以指示接近车辆208的交叉路口，机器学习部件214可以使用这些交叉路口来针对诸如围绕拐角倒退的机动预测车辆208的倒车状态。额外地图数据228也可以由机器学习部件214用于预测车辆208的倒车状态。
41.另外，机器学习部件214可以接收周围车辆属性236，其可以对应于与除了自动驾驶车辆204和车辆208之外的车辆相关的信息以及其他车辆在时间t0对车辆208所执行的机动如何做出反应。周围车辆属性236可以例如包括距车辆208的距离238，和/或接近车辆208的速度240。距离238和/或速度240可以至少部分地基于激光雷达数据、雷达数据、飞行时间数据、图像数据或用于确定环境中的对象的相对距离或速度的其他数据或技术来确定。
42.在许多情况下，当其他车辆(或其他车辆的驾驶员)预期车辆208可能正进行倒车机动时，其他车辆可以向车辆208提供额外空间。因此，机器学习部件214可以确定其他车辆正在其自身与车辆208之间提供额外距离238并且可以使用该信息来预测车辆208是否正在执行或意图执行倒车机动。类似地，在许多情况下，当其他车辆预期车辆208可能正进行倒车机动时，其他车辆可以以更慢速度(例如，等待车辆完成倒车机动)或更快速度(例如，在车辆执行预期倒车机动之前行进)行进。因此，机器学习部件214可以确定其他车辆正在以接近车辆208的不同速度240行进，并且可以使用该信息来预测车辆208是否正在执行或意图执行倒车机动。额外周围车辆属性236也可以由机器学习部件214用于预测车辆208的倒车状态。
43.机器学习部件214可以以多种方式利用车辆属性222、地图数据228和/或周围车辆属性236来输出倒车指标216。例如，机器学习部件214可以使用数据融合方法，诸如通过应用卡尔曼滤波器或通过使用卷积神经网络，来组合从与车辆属性222、地图数据228和/或周围车辆属性236相关的多个传感器模态接收的数据。此外，机器学习部件214可基于从机器学习部件214的数据融合层接收的信息利用分类器从倒车状态、非倒车状态和/或意图倒车
状态中进行选择以生成倒车指标216。
44.使用图像212、车辆属性222、地图数据228、和/或周围车辆属性236中的任何项目所确定的倒车指标216可以被输出到轨迹确定部件220，轨迹确定部件220可以使用倒车指标216来预测车辆208的未来轨迹，并且可以基于车辆208的预测轨迹来调整自动驾驶车辆204的轨迹206。在一些示例中，轨迹确定部件220还可以接收环境中包括车辆属性222、地图数据228和/或周围车辆属性236的特征，这些特征可用于细化车辆208的预测轨迹和/或用于调整轨迹206。环境的特征可以从自动驾驶车辆204的传感器接收和/或与自动驾驶车辆204和车辆208周围的环境相关联的地图数据接收。
45.在一些示例中，轨迹确定部件220可以组合从倒车指标216、车辆属性222、地图数据228和/或周围车辆属性236接收的输入以预测车辆208的轨迹，诸如通过与倒车指标216结合地使用不同环境属性的加权平均值。在一些示例中，可以使用一种或多种数据融合方法，诸如通过应用卡尔曼滤波器或通过使用卷积神经网络来组合从倒车指标216、车辆属性222、地图数据228和/或周围车辆属性236接收的输入以生成车辆208的预测轨迹。例如，地图数据228可以与车辆属性222和/或周围车辆属性236组合以确定候选停车位置(或其他倒车机动可能位置)，并且使用基于物理的模型来确定车辆208倒入候选停车位置的停车空间的可能性。
46.在另一示例中，图像212、车辆属性222、地图数据228和/或周围车辆属性236可以被输入到机器学习模型中，该机器学习模型输出指示车辆208的可能轨迹的热图。如上所述，轨迹确定部件220可以通过使用机器学习模型生成自上而下图像来预测轨迹，该自上而下图像包括通道，这些通道包括与环境的特征(诸如车辆属性222、地图数据228、周围车辆属性236等)相关联的信息。用于生成预测轨迹的机器学习模型可以输出在时间tn与车辆208相关联的坐标(例如，x-坐标和y-坐标)，时间tn对应于将来的一个或多个时间(例如，1秒，2秒，3秒等)。在一些示例中，轨迹确定部件220的机器学习模型可以输出与车辆208相关联的坐标以及与每个坐标相关联的概率信息。此外，机器学习模型可以输出与预测概率相关联的热图。在一些示例中，至少部分地基于热图来确定至少一个预测轨迹。关于使用自上而下方法预测轨迹的额外细节可以在美国专利申请第16/151,607号中找到，该专利申请的全部内容通过引用合并入本文。还考虑了预测被确定为处于倒车状态(或意图倒车状态)的车辆208的轨迹的其他方法，诸如预测车辆将以车辆的观察到的速度倒车行进预定时间量(例如，0.5秒，1秒，2秒，3秒等)直到确定倒车状态已经改变。还考虑了其他示例。
47.示例242对应于与示例202相同的时间(t0)，但是在这种情况下，描述了基于到车辆208的轨迹确定部件220的输入对车辆208的预测轨迹244。在这种情况下，倒车指标216可以基于确定车辆208处于倒挡(例如，基于车辆208的倒车灯的照明状态开启)，和/或如上所述环境中的额外特征。
48.轨迹确定部件220还可以利用环境的特征来生成预测轨迹244，例如接近车辆正占据的当前车道的垂直停车空间中车辆208可能倒入的位置、车辆208相对于车辆208正占据的一个或多个当前车道和/或停车车道的定向、车辆208从时间t-n
到时间t0的速度、以及周围环境中其他车辆相对于车辆208的距离和/或速度。预测轨迹244可以对应于未来的时间tn，诸如1秒，3秒，5秒等。在一些示例中，轨迹确定部件220还可以基于预测轨迹244将自动驾驶车辆204的轨迹206改变为轨迹246，例如减慢并等待车辆208直到允许车辆208完成由
预测轨迹244指示的倒车机动的时间tn。
49.图3是根据本公开的示例的使用环境特征来确定意图倒车状态以及随后的车辆轨迹估计的图示300。
50.示例302描述了在时间t1穿越环境的自动驾驶车辆304和车辆306。自动驾驶车辆304可以沿着轨迹308穿越环境，当车辆306沿着轨迹310穿越环境时，轨迹308可以与跟随车辆306一致。在示例302中，自动驾驶车辆304和车辆306可以正通过停车车道312，该停车车道312包括位于停车车道312的各个停车空间中的车辆。
51.示例314描述了在时间t1之后的时间t2处的自动驾驶车辆304和车辆306，该自动驾驶车辆304和车辆306仍然邻近停车车道312。自动驾驶车辆304和车辆306已经从时间t1到时间t2沿着停车车道312行进。然而，在时间t2，车辆306可以施加制动以减速，导致车辆306的制动灯316点亮。响应于检测到车辆306的制动灯316点亮，自动驾驶车辆304可以将轨迹308改变为轨迹318，在该轨迹318中，自动驾驶车辆304减速和/或停止以避免与车辆306碰撞。
52.尽管车辆306没有在时间t2提供车辆306当前处于倒挡的指示，但是自动驾驶车辆304可以利用其他信息来确定车辆306更可能执行倒车机动(例如，处于意图倒车状态中)，并且通过向车辆306提供时间和/或空间来适应预期倒车机动。例如，在时间t2，自动驾驶车辆304可以分析车辆306的速度(例如，相对于环境的速度限制和/或环境中的其他车辆)、指示车辆306与停车车道312的接近度的地图数据、和/或指示停车车道312中可能未被占用的各个停车空间的图像数据，并且增加车辆306可以立即执行倒车机动的可能性，尽管车辆306当前没有指示处于倒档。
53.例如，示例320和示例322描绘了在时间t3的自动驾驶车辆304和车辆306；其中实施例320对应于时间t
3a
并且实施例322对应于时间t
3b
(例如，通常是相同的时间，虽然出于说明的目的描述了两个示例)。在示例320中，车辆306沿着轨迹324行进，在该轨迹324中，车辆306开始转向远离停车车道312。自动驾驶车辆304可以将对车辆306的轨迹324的观察与与停车车道312相关联的地图数据和/或指示停车车道312中可能未被占用的各个停车空间的图像数据相结合，并且增加车辆306将执行倒车机动的可能性。在一些实施例中，自动驾驶车辆304还可以检测到(例如，从图像数据或地图数据)在车辆306的当前位置处对于车辆306而言没有空间进行前向向左转弯，这可以增加车辆306执行倒车机动的可能性。车辆306将要执行倒车机动的增加可能性可以使车辆306被标记为处于意图倒车状态。
54.在实施例322中，自动驾驶车辆304可基于对车辆306的行为的观察和/或车辆306周围的环境的特征并根据确定车辆306处于意图倒车状态来生成预测轨迹326。预测轨迹326可以对应于将由车辆306执行以进入停车车道312中的特定空间的倒车机动。基于预测轨迹326，自动驾驶车辆304可以将自动驾驶车辆304在时间t2所遵循的轨迹318改变为轨迹328，该轨迹328可以适应预测轨迹326的倒车机动。
55.在一些示例中，轨迹328可以使自动驾驶车辆304减速、保持位置(例如停止)、和/或规避预测轨迹326。在示例中，自动驾驶车辆304在时间t3之后继续评估车辆306的行为以确定车辆306实际上将执行倒车机动的可能性。车辆306将执行倒车机动的可能性可以响应于车辆306的指示倒车状态的灯正被点亮而增加，例如关于图2所讨论的。在一些情况下，对车辆306正处于倒车状态的识别，诸如通过倒车灯正被点亮，可以使自动驾驶车辆304将与
车辆306相关联的标签从意图倒车状态改变为倒车状态。
56.图4描绘了用于实现本文所描述的技术的示例性系统400的框图。在至少一个示例中，系统400可以包括车辆402，诸如自动驾驶车辆，半自动驾驶车辆或手动控制车辆。
57.车辆402可以包括一个或多个车辆计算装置404、一个或多个传感器系统406、一个或多个发射器408、一个或多个通信连接410、至少一个直接连接412以及一个或多个驱动系统414。
58.一个或多个车辆计算装置404可以包括一个或多个处理器416以及与一个或多个处理器416通信联接的存储器418。在所示示例中，车辆402是自动驾驶车辆；然而，车辆402可以是任何其他类型的车辆或机器人平台。在所示示例中，一个或多个车辆计算装置404的存储器418存储定位部件420、感知部件422、一个或多个地图424、一个或多个系统控制器426、轨迹确定部件428、特征识别器部件430、轨迹预测部件432和规划部件434。虽然出于说明的目的在图4中描述为驻留在存储器418中，但是可以设想，定位部件420、感知部件422、一个或多个地图424、一个或多个系统控制器426、轨迹确定部件428、特征识别器部件430、轨迹预测部件432和规划部件434可以额外地或者可替代地可由车辆402访问(例如，存储在远离车辆402的存储器上或以其他方式可由远离车辆402的存储器访问)。
59.在至少一个示例中，定位部件420可以包括从一个或多个传感器系统406接收数据以确定车辆402的位置和/或定向(例如，x-，y-，z-位置，侧倾、俯仰或偏航中的一个或多个)的功能。例如，定位部件420可以包括和/或请求/接收环境的地图并且可以连续地确定自动驾驶车辆在地图内的位置和/或定向。在一些实例中，定位部件420可以利用slam(同时定位和绘图)、clams(同时校准，定位和绘图)、相对slam、束调整、非线性最小二乘优化等来接收图像数据、激光雷达数据、雷达数据、飞行时间数据、imu数据、gps数据、车轮编码器数据等以精确地确定自动驾驶车辆的位置。在一些实例中，定位部件420可以向车辆402的各种部件提供数据以确定自动驾驶车辆的初始位置，以用于生成轨迹、用于确定检索地图数据等，如这里所讨论的。
60.在一些实例中，感知部件422可以包括执行对象检测、分割和/或分类的功能。在一些示例中，感知部件422可提供经处理的传感器数据，其指示接近车辆402的实体或对象的存在和/或实体作为实体类型的分类(例如，汽车、车轮、行人、骑行者、动物、建筑物、树木、路面、路缘石、人行道、红绿灯、停车标志、车道标记、车辆灯、未知物等)。在额外的或可替代的示例中，感知部件422可以提供经处理的传感器数据，该经处理的传感器数据指示与检测到的实体(例如，追踪的对象)和/或该实体所定位于的环境相关联的一个或多个特征。在一些示例中，与实体相关联的特征可以包括但不限于：x-位置(全球和/或本地位置)、y位置(全球和/或本地位置)、z-位置(全球和/或本地位置)、定位(例如侧倾、俯仰、偏航)、实体类型(例如分类)、实体的速度、实体的加速度、实体的范围(尺寸)等。与环境相关联的特征可以包括但不限于：环境中另一实体的存在、环境中另一实体的状态、一天中的时间、一周中的一天、季节、天气状况、黑暗/明亮指示等。
61.在感知部件422执行检测的那些示例中，感知部件422可以输出对对象的检测和/或图像中检测到的对象的特征。这种检测可以包括对检测到的对象的二维边界框(其随后可以用于剪裁图像)和/或遮盖。在一些示例中，这种检测可以使用机器学习方法(例如，尺度不变特征变换(sift)、定向梯度直方图(hog)等)，随后通过支持向量机(svm)来分类在从
一个或多个传感器系统406的摄像机接收的图像中所描绘的对象。可替代地或额外地，检测可以使用基于卷积神经网络(cnn)的深度学习方法来对从一个或多个传感器系统406的摄像机接收的图像中所描绘的对象进行分类。在示例中，根据所描述的技术，检测可以使用对象检测技术(或其他技术)中的一种或多种来检测图像中描绘的对象，和/或检测图像中描绘的对象的特征。
62.存储器418还可包括一个或多个地图424，其可由车辆402用于在环境内进行导航，和/或确定特征在环境中的位置。出于讨论的目的，地图可以是以二维、三维或n维建模的任意数量的数据结构，其能够提供关于环境的信息，例如但不限于拓扑结构(诸如叉口)、街道、山区、道路、地形和总体环境。在一些实例中，地图可以包括但不限于：纹理信息(例如，颜色信息(例如，rgb颜色信息，lab颜色信息，hsv/hsl颜色信息)等)、强度信息(例如，激光雷达信息、雷达信息等)、空间信息(例如，投影到网格上的图像数据、各个“面元”(例如，与各个颜色和/或强度相关联的多边形))、反射率信息(例如，镜面反射信息、逆向反射率信息、brdf信息、bssrdf信息等)。在一个示例中，地图可以包括环境的三维网格。在一些实例中，地图可以以平铺格式存储，使得地图的各个图块表示环境的离散部分，并且可以根据需要加载到工作存储器中。在至少一个示例中，一个或多个地图424可以包括至少一个地图(例如，图像和/或网格)。在一些示例中，可以至少部分地基于地图424来控制车辆402。也就是说，地图424可以与定位部件420、感知部件422、轨迹确定部件428或规划部件434结合使用，以确定车辆402的位置、识别对象和/或环境中的环境特征、和/或生成在环境内进行导航的路线和/或轨迹。
63.在一些示例中，一个或多个地图424可以存储在可经由一个或多个网络436访问的一个或多个远程计算装置(例如一个或多个计算装置438)上。在一些示例中，可以例如基于特性(例如，实体类型、一天中的时间、一周中的一天、一年中的季节等)来存储多个地图424。存储多个地图424可以具有类似的存储器需求，但是增加了可以访问地图中的数据的速度。在一些示例中，一个或多个地图424可以存储与环境中的各个位置相关联的对象的尺寸或维度。例如，当车辆402穿越环境并且当表示接近车辆402的区域的地图被加载到存储器中时，也可以将与位置相关联的对象的一个或多个尺寸或维度加载到存储器中。
64.通常，轨迹确定部件428可以确定车辆402周围环境中的车辆处于倒挡、基于确定车辆处于倒挡来预测车辆的轨迹、并且基于由一个或多个传感器系统406提供的数据来生成用于车辆402的轨迹，该轨迹适应车辆的预测轨迹。在一些实例中，轨迹确定部件428可以将由特征识别器部件430和/或轨迹预测部件432生成的信息提供给规划部件434，以确定何时和/或如何控制车辆402穿越环境。如本文所讨论的，轨迹确定部件428可以接收图像数据、地图数据、激光雷达数据等以确定关于环境中的对象的信息。
65.特征识别器部件430可以根据车辆的图像(或剪裁图像)以及来自图像或其他传感器模态的关于环境的特征的信息来生成车辆是否处于倒挡的指示。例如，特征识别器部件430可以使用机器学习模型，该机器学习模型被训练为将车辆的灯的照明状态分类为诸如倒车状态、非倒车状态或遮挡状态(仅举几个示例)的类别。在一些示例中，这些技术可在环境中连续执行以确定环境中的对象的倒车状态，和/或可与诸如车辆的位置、环境中的一个或多个对象的存在等的前提条件相关联。在一些示例中，特征识别器部件430可以将与车辆相关联的标签(或标志、额外信息等)输出到规划部件434，只要检测到灯的照明状态和/或
车辆被分类为处于倒车状态，则该标签就指示车辆就处于倒车状态。额外地，在一些情况下，特征识别器部件430可以将与车辆相关联的标签输出到规划部件434，该标签指示车辆处于意图倒车状态，如本文所述的。在特征识别器部件430所使用的机器学习模型是分类器的示例中，机器学习模型可以使用训练图像数据来训练，该训练图像数据被注释为指示特征(例如，关于图2所述的车辆的灯的照明状态、车辆属性222、地图数据228和/或周围车辆属性236)的地面真实状态。另外，可以使用训练图像数据来训练由特征识别器部件430使用的机器学习模型，该训练图像数据被注释为指示车辆在接近图像被捕获或者车辆被分类为处于倒车状态或意图倒车状态的时间的一定时间量(诸如在捕获图像之前和/或之后1秒、在捕获图像之前和/或之后3秒、在捕获图像之前和/或之后5秒等)内的行进方向的地面真实状态。在一些示例中，训练数据可以对应于本文讨论的技术的特定实施方式。也就是说，训练数据可以对应于用于在环境中的车辆上执行技术的设计输入。
66.特征识别器部件430可以识别环境中可以与确定另一车辆处于倒挡相关的和/或可以与确定另一车辆的预测轨迹相关的特征。例如，特征识别器部件430可以从地图424识别环境中的特征，诸如交通车道、停车车道、自行车车道、交叉路口和/或人行道，和/或可以从由一个或多个传感器系统406所捕获的传感器数据识别环境中的特征，诸如其他车辆、行人、自行车等。这些特征可以被输入到机器学习模型中以预测车辆行为，例如提供与车辆相关联的倒车指标。在一些示例中，特征识别器部件430可以向规划部件434提供关于车辆的与确定车辆处于倒挡相关的特征和/或环境的特征的信息以用于控制车辆402。
67.轨迹预测部件432可以根据车辆处于倒挡的指示和/或环境的特征来确定车辆可以遵循以执行倒挡机动的一个或多个预测轨迹。例如，轨迹预测部件432可以基于车辆处于倒挡的指示和环境的特征确定该车辆正在执行平行停车机动、该车辆正在倒入停车空间、该车辆在拐角周围倒回或倒入私人车道中，仅举几个示例。
68.在一些情况下，轨迹预测部件432可以从特征识别器部件430接收车辆当前不处于倒挡的指示，但是可以基于车辆的行为来确定车辆可能转换到倒挡以执行机动(例如，处于意图倒挡状态中)，如上所述。在一些示例中，轨迹预测部件432可以向规划部件434提供关于车辆的包括倒车机动的预测轨迹的信息以用于控制车辆402，以例如安全有效地适应车辆的倒车机动。
69.通常，规划部件434可以确定用于车辆402遵循以穿越环境的路径。例如，规划部件434可以确定各种路线和轨迹以及各种细节级别，包括针对被确定为可能执行倒车机动的其他车辆提供适应。例如，规划部件434可以确定从第一位置(例如，当前位置)行驶到第二位置(例如，目标位置)的路线。出于讨论的目的，路线可以是用于在两个位置之间行驶的一系列路点。作为非限制性示例，路点包括街道、叉口、全球定位系统(gps)坐标等。此外，规划部件434可以生成用于沿着从第一位置到第二位置的路线的至少一部分引导自动驾驶车辆的指令。在至少一个示例中，规划部件434可以确定如何将自动驾驶车辆从一系列路点中的第一路点引导到一系列路点中的第二路点。在一些示例中，指令可以是轨迹，或者是轨迹的一部分。在一些示例中，可以根据滚动时域技术基本同时(例如，在技术公差内)生成多个轨迹，其中选择多个轨迹中的一个以供车辆402导航。
70.在一些实例中，规划部件434可以至少部分地基于确定车辆正在执行或可能执行本文所讨论的倒车机动来生成用于车辆402的一个或多个轨迹。规划部件434可以生成一个
或多个轨迹，该一个或多个轨迹适应于另一车辆执行的倒车机动，同时继续沿着路线沿着一系列路点继续。在一些示例中，规划部件434可以使用时间逻辑，例如线性时间逻辑和/或信号时间逻辑，来评估车辆402的一个或多个轨迹。
71.在至少一个示例中，一个或多个车辆计算装置404可包括一个或多个系统控制器426，其可被配置为控制车辆402的转向、推进、制动、安全、发射器、通信和其他系统。一个或多个系统控制器426可以与车辆402的一个或多个驱动系统414和/或其他部件的对应系统进行通信和/或控制车辆402的一个或多个驱动系统414和/或其他部件的对应系统。
72.如所理解的，出于说明的目的，本文讨论的部件(例如，定位部件420、感知部件422、一个或多个地图424、一个或多个系统控制器426、轨迹确定部件428、特征识别器部件430、轨迹预测部件432和规划部件434)被描述为分开的。然而，由各种部件执行的操作可以被组合或在任何其他部件中执行。例如，可以由感知部件422执行关于轨迹确定部件428、特征识别器部件430和/或轨迹预测部件432所描述的功能以减少由系统传送的数据量。
73.在至少一个示例中，一个或多个传感器系统406可以包括激光雷达传感器、雷达传感器、超声波换能器、声纳传感器、位置传感器(例如gps，罗盘等)、惯性传感器(例如惯性测量单元(imu)、加速度计、磁力计、陀螺仪等)、摄像机(例如rgb，ir，强度，深度，飞行时间等)、麦克风、车轮编码器、环境传感器(例如温度传感器、湿度传感器、光传感器、压力传感器等)。一个或多个传感器系统406可以包括这些或其他类型的传感器中的每个的多个实例。例如，激光雷达传感器可以包括位于车辆402的角部、前方、后方、侧部和/或顶部的各个激光雷达传感器。作为另一示例，摄像机传感器可以包括设置在车辆402的外部和/或内部周围的各种位置处的多个摄像机。一个或多个传感器系统406可以向一个或多个车辆计算装置404提供输入。额外地或可替代地，一个或多个传感器系统406可以经由一个或多个网络436以特定频率、在经过预定时间段之后、近乎实时地等将传感器数据发送到一个或多个计算装置。
74.如上所述，车辆402还可以包括用于发射光和/或声音的一个或多个发射器408。在这个示例中，一个或多个发射器408包括与车辆402的乘客通信的内部音频和视频发射器。作为示例而非限制，内部发射器可包括扬声器、灯、标志、显示屏、触摸屏、触觉发射器(例如，振动和/或力反馈)、机械致动器(例如，安全带张紧器、座椅定位器、头枕定位器等)等。在该示例中，一个或多个发射器408还包括外部发射器。作为示例而非限制，在该示例中，外部发射器包括用于发出行驶方向的信号的灯或车辆动作的其他指示器(例如，指示器灯、标志、灯阵列等)，以及用于与行人或其他附近的车辆听觉地通信的一个或多个音频发射器(例如扬声器、扬声器阵列、喇叭等)，该一个或多个音频发射器中的一个或多个包括声束转向技术。
75.车辆402还可以包括一个或多个通信连接410，其使得能够在车辆402和一个或多个其他本地或远程计算装置之间进行通信。例如，一个或多个通信连接410可以促进与车辆402和/或一个或多个驱动系统414上的其他一个或多个本地计算装置的通信。而且，一个或多个通信连接410可以允许车辆与其他附近的一个或多个计算装置(例如，其他附近的车辆、交通信号等)通信。一个或多个通信连接410还使车辆402能够与远程操作计算装置或其他远程服务通信。
76.一个或多个通信连接410可以包括物理和/或逻辑接口以用于将一个或多个车辆
计算装置404连接到另一计算装置或网络，例如一个或多个网络403。例如，一个或多个通信连接410使得能够实现基于wi-fi的通信(诸如经由由ieee802.11标准定义的频率)、短距离无线频率(诸如)、蜂窝通信(例如2g，3g，4g，4glte，5g等)或使得相应计算装置能够与其他一个或多个计算装置接口的任何适当有线或无线通信协议。
77.在至少一个示例中，车辆402可以包括一个或多个驱动系统414。在一些示例中，车辆402可以具有单个驱动系统414。在至少一个示例中，如果车辆402具有多个驱动系统414，则各个驱动系统414可以定位在车辆402的相反端部上(例如，前端部和后端部等)。在至少一个示例中，一个或多个驱动系统414可以包括一个或多个传感器系统以检测一个或多个驱动系统414的状况和/或车辆402的周围环境。作为示例而非限制，一个或多个传感器系统可以包括一个或多个车轮编码器(例如，旋转编码器)以感测驱动模块的车轮的旋转；惯性传感器(例如，惯性测量单元、加速度计、陀螺仪、磁力计等)以测量驱动模块的定向和加速度；摄像机或其他图像传感器；超声波传感器以声学地检测驱动系统的周围环境中的对象；激光雷达传感器；雷达传感器等。一些传感器，诸如车轮编码器，对于一个或多个驱动系统414而言是唯一的。在一些情况下，一个或多个驱动系统414上的一个或多个传感器系统可以与车辆402的对应系统(例如一个或多个传感器系统406)重叠或补充。
78.一个或多个驱动系统414可以包括车辆系统中的许多系统，包括高压电池、推进车辆的马达、用于将来自电池的直流电流转换成交流电流以供其他车辆系统使用的逆变器、包括转向马达和转向齿条(可以是电动的)的转向系统、包括液压或电动致动器的制动系统、包括液压和/或气动部件的悬架系统、用于分配制动力以减轻牵引力损失并维持控制的稳定性控制系统、hvac系统、照明(例如，例如点亮车辆的外部周围环境的头灯/尾灯的照明)、以及一个或多个其他系统(例如，冷却系统、安全系统、车载充电系统、其他电子部件(诸如dc/dc转换器、高压接头、高压电缆、充电系统、充电端口等))。另外，一个或多个驱动系统414可以包括驱动系统控制器，其可以从一个或多个传感器系统接收和预处理数据并控制各种车辆系统的操作。在一些示例中，驱动系统控制器可以包括一个或多个处理器以及与一个或多个处理器通信联接的存储器。存储器可以存储一个或多个部件以执行一个或多个驱动系统414的各种功能。此外，一个或多个驱动系统414还包括一个或多个通信连接，其使得相应驱动系统能够与一个或多个其他本地或远程计算装置进行通信。
79.在至少一个示例中，直接连接412可以提供物理接口以将一个或多个驱动系统414与车辆402的本体联接。例如，直接连接412可以允许在一个或多个驱动系统414和车辆之间传输能量、流体、空气、数据等。在一些实例中，直接连接412还可以将一个或多个驱动系统414可释放地固定到车辆402的本体。
80.在至少一个示例中，如上所述，定位部件420、感知部件422、一个或多个地图424、一个或多个系统控制器426、轨迹确定部件428、特征识别器部件430、轨迹预测部件432和规划部件434可以处理传感器数据，并且可以通过一个或多个网络436将其相应输出发送到一个或多个计算装置438。在至少一个示例中，定位部件420、感知部件422、一个或多个地图424、一个或多个系统控制器426、轨迹确定部件428、特征识别器部件430、轨迹预测部件432和规划部件434可以以特定的频率、在经过预定时间段之后、几乎实时地等将其相应输出发送到一个或多个计算装置438。
81.在一些示例中，车辆402可以经由一个或多个网络436向一个或多个计算装置438
发送传感器数据。在一些示例中，车辆402可以将原始传感器数据发送到一个或多个计算装置438。在其他示例中，车辆402可以将经处理的传感器数据和/或传感器数据的表示发送到一个或或多个计算装置438。在一些实施例中，车辆402可以以特定频率、在经过预定时间段之后、几乎实时地等将传感器数据发送到一个或多个计算装置438。在一些情况下，车辆402可以将传感器数据(原始的或经处理的)作为一个或多个日志文件发送到一个或多个计算装置438。
82.一个或多个计算装置438可以包括一个或多个处理器440以及存储训练部件444的存储器442。
83.在一些实例中，训练部件444可以包括训练一个或多个模型以检测对象和/或对象的特征、确定(分类或回归)对象和/或对象的特征、确定对象在环境中的位置等的功能。如本文所指，传感器数据可以被注释或指示为表示倒车机动并且这种经注释或指示的数据可以被识别为训练数据。训练数据可以被输入到机器学习模型，其中，已知的结果(例如地面事实，例如已知的“未来”属性)可以被用于调整机器学习模型的权重和/或参数以使误差最小化。
84.在一些实例中，训练部件444可以将由一个或多个模型生成的信息通信到一个或多个车辆计算装置404以响应于不同情况来修正如何控制车辆402。
85.例如，本文讨论的部件中一些或所有的方面可以包括任何模型、算法和/或机器学习算法。例如，在一些实例中，存储器442(以及上述的存储器418)中的部件可以实现为神经网络。在一些示例中，训练部件444可以利用神经网络来生成和/或执行一个或多个模型以改进用于车辆402的轨迹规划中的对象轨迹估计的各个方面。
86.如本文所述，示例性的神经网络是生物激励算法，其使输入数据通过一系列连接层以产生输出。神经网络中的每层也可以包括另一个神经网络或者可以包括任意数量的层(无论是卷积的还是非卷积的)。正如在本公开的背景中可以理解的，神经网络可以利用机器学习，该机器学习可以指代其中基于学习的参数生成输出的这类算法的广义类。
87.虽然在神经网络的背景下进行讨论，但是可以使用与本公开一致的任何类型的机器学习。例如，机器学习算法可以包括但不限于：回归算法(例如，普通最小二乘回归(olsr)、线性回归、逻辑回归、逐步回归、多元适应性回归样条(mars)、局部估计散点图平滑(loess))、基于实例的算法(例如，岭回归、最小绝对收缩和选择算子(lasso)、弹性网、最小角度回归(lars))、决策树算法(例如，分类回归树(cart)、迭代二分器3(id3)、卡方自动交互检测(chaid)、决策桩、条件决定树))、贝叶斯算法(例如，朴素贝叶斯、高斯朴素贝叶斯、多项朴素贝叶斯、平均单项估计器(aode)、贝叶斯信念网络(bnn)、贝叶斯网络))、聚类算法(例如，k均值，k中位数、期望最大化(em)、分层聚类))，关联规则学习算法(例如，感知算法、反向传播、hopfield网络、径向基函数网络(rbfn))、深度学习算法(例如，深波尔兹曼机(dbm)、深度信念网络(dbn)、卷积神经网络(cnn)、堆叠式自动编码器))、降维算法(例如，主成分分析(pca)、主成分回归(pcr)、偏最小二乘回归(plsr)、sammon映射、多维标度(mds)、投影追踪、线性判别分析(lda)、混合判别分析(mda)、二次判别分析(qda)、灵活判别分析(fda))、集成算法(例如，提升算法、自展输入引导聚合(bagging)、adaboost、堆叠泛化(blending)、梯度增强机(gbm)、梯度增强回归树(gbrt)、随机森林)、svm(支持向量机)、监督学习、无监督学习、半监督学习等。
88.架构的其他示例包括神经网络，诸如resnet50、resnetl0l、vgg、densenet、pointnet等。
89.车辆402的一个或多个处理器416和一个或多个计算装置438的一个或多个处理器440可以是能够执行指令以处理数据并执行本文所述的操作的任何合适处理器。作为示例而非限制，一个或多个处理器416和440可以包括一个或多个中央处理单元(cpu)、图形处理单元(gpu)、或处理电子数据以将该电子数据转换为可存储在寄存器和/或存储器中的其他电子数据的任何其他装置或装置的一部分。在一些示例中，集成电路(例如，asic等)、门阵列(例如，fpga等)和其他硬件装置也可以被认为是处理器，只要其被配置为实现编码指令即可。
90.存储器418和442是非暂时性计算机可读介质的示例。存储器418和442可以存储操作系统以及一个或多个软件应用、指令、程序和/或数据以实现本文所述方法以及归属于各种系统的功能。在各种实施方式中，存储器可以使用任何适当存储器技术来实现，诸如静态随机存取存储器(sram)、同步动态ram(sdram)、非易失性/闪存型存储器、或能够存储信息的任何其他类型的存储器。本文描述的架构、系统和各个元件可以包括许多其他逻辑、程序和物理部件，附图中示出的那些仅仅是与本文的讨论有关的示例。
91.应当注意，虽然图4示出为分布式系统，但是在可替代的示例中，车辆402的部件可以与一个或多个计算装置438相关联，和/或一个或多个计算装置438的部件可以与车辆402相关联。也就是说，车辆402可以执行与一个或多个计算装置438相关联的功能中的一个或多个，且反之亦然。此外，轨迹确定部件428和/或规划部件434的方面可以在本文讨论的任何装置上执行。
92.图5描绘了根据本公开的示例的用于确定车辆处于倒挡、基于车辆处于倒挡来预测车辆的轨迹、以及基于预测轨迹来控制自动驾驶车辆的示例性过程500。例如，过程500中的一些或全部可以由图4中的一个或多个部件来执行，如本文所述。例如，过程500中的一些或全部可以由一个或多个车辆计算装置404、一个或多个计算装置438或任何其他计算装置或计算装置的组合来执行。此外，在示例性过程500中描述的任何操作可以并行执行、以与在过程500中描述的顺序不同的顺序执行、被省略、与其他过程组合等。
93.在操作502，该过程可以包括捕获描绘环境中的车辆的图像。例如，图像可以由穿过所述环境的自动驾驶车辆的传感器(例如摄像机)捕获。
94.在操作504，该过程可以包括提取图像中描绘的车辆的特征。在一些示例中，该特征可以是车辆中指示车辆处于倒挡的灯。在一些情况下，可以通过语义分割图像并标记图像中包括特征的一部分来检测特征。操作804可包括剪裁图像中包括特征的一部分以用于进一步分析。虽然参考过程500描述了车辆的特征，但是应当理解，可以使用其他特征来预测车辆行为，诸如关于图2所述的车辆属性222、地图数据228和/或周围车辆属性236中的任何项。
95.在操作506，过程可包括将特征输入到被训练为至少部分地基于特征的特征类型来预测车辆行为的机器学习模型中。例如，机器学习模型可以是分类器，该分类器被训练为将车辆的倒车状态分类为以下的一种或多种：倒车状态、非倒车状态或意图倒车状态，仅举几个分类示例。该机器学习模型可以可选地或额外地例如被训练为基于听觉信号或环境特征来预测车辆行为，该听觉信号或环境特征可以指示车辆处于倒挡。
96.在操作508，该过程可包括从机器学习模型接收车辆处于倒车状态的指示。在一些情况下，机器学习模型可以输出标签以与灯的照明状态指示车辆处于倒车状态的时间长度相对应的持续时间。
97.在操作510，该过程可包括至少部分地基于车辆处于倒车状态的指示和环境的特征来预测车辆的第一轨迹。例如，可以分析各种特征以确定车辆的预测轨迹，诸如车辆的定向(例如，相对于交通车道)、车辆相对于车辆在环境中的位置处的速度限制的速度、车辆相对于周围环境中的其他车辆的速度、车辆当前所处的特定车道、与车辆当前所处车道相邻的车道(例如，相邻停车车道、私人车道等)、车辆是否位于交叉路口处或交叉路口附近、车辆与环境中的其他车辆之间的距离、车辆附近的其他车辆的速度等。虽然这里将操作510总体描述为在操作508之后执行，但是在一些情况下，操作510可以与操作508相结合，使得车辆的预测轨迹由机器学习模型生成并且也从机器学习模型接收。
98.在操作512，该过程可以包括对是否存在执行第一轨迹的空间的确定，诸如如果自动驾驶车辆沿着当前轨迹继续。例如，自动驾驶车辆可以沿着当前轨迹行进并停靠在车辆后方，如车辆在停止灯处停止一样，诸如通过在自动驾驶车辆和车辆之间提供一半汽车长度。然而，由当前轨迹提供的这种距离(例如，一半汽车长度)可能不足适应允许车辆执行倒车机动，诸如平行停车或倒回停车空间。
99.如果有足够空间执行第一轨迹，则该过程可以包括操作514，其中控制自动驾驶车辆沿第二轨迹(例如，自动驾驶车辆的当前轨迹)继续。例如，自动驾驶车辆可以接收预测到另一车辆执行倒车机动的指示，但是当前轨迹，例如，沿着不被所预测的倒车机动所妨碍的交通车道，可以为另一车辆提供足够空间来执行倒车机动。因此，可以控制自动驾驶车辆沿当前轨迹继续。
100.然而，如果没有足够空间使车辆执行第一轨迹，则该过程可以包括操作516，其中控制自动驾驶车辆遵循第三轨迹以适应车辆的第一轨迹。如上所述，被确定为适应车辆的第一轨迹的第三轨迹可以包括保持当前位置，诸如通过停止自动驾驶车辆。可替代地或额外地，被确定为适应车辆的第一轨迹的第三轨迹可以包括控制自动驾驶车辆遵循如下轨迹：该轨迹沿着去往自动驾驶车辆的预期目的地的路线继续，但是规避执行倒车机动的车辆的预测轨迹。
101.示例性条款
102.a:一种系统，包括：一个或多个处理器；以及一个或多个计算机可读介质，其存储可由所述一个或多个处理器执行的指令，其中，所述指令在被执行时使所述系统执行包括以下的操作：使用自动驾驶车辆上的图像传感器捕获环境的图像数据；确定所述图像数据表示所述环境中的车辆；确定与所述车辆相关联的第一特征，所述第一特征为指示所述车辆是否与倒车状态相关联的特征类型；将所述第一特征输入到机器学习模型中，所述机器学习模型被训练为至少部分地基于所述特征类型预测车辆行为；从所述机器学习模型接收所述车辆与倒车状态相关联的指示；至少部分地基于所述车辆与所述倒车状态相关联的指示以及所述环境中从地图数据确定的第二特征来预测所述车辆的轨迹；以及至少部分地基于所述车辆的所述轨迹来控制所述自动驾驶车辆以向所述车辆提供执行所述轨迹的空间。
103.b:根据段落a的系统，其中，所述特征类型指示与车辆相关联的灯，并且其中，所述机器学习模型使用训练图像数据来训练，该训练数据被注释为指示：在捕获所述训练图像
数据的时间处所述灯的照明状态的地面真实状态；以及车辆的训练车辆在接近捕获训练图像数据的时间的时间量内的行驶方向。
104.c:根据段落a的系统，其中，所述车辆是第一车辆，所述操作还包括：确定所述第一车辆的第一速度；以及确定所述第一车辆的所述第一速度与所述第一车辆在所述环境中的位置处的速度限制之间的第一差值；或者所述第一车辆的所述第一速度和所述环境中的第二车辆的第二速度之间的第二差值，其中，所述机器学习模型被进一步训练为至少部分地基于车辆速度的差值来预测所述车辆行为，并且所述第一差值或所述第二差值中的一个或多个被输入到所述机器学习模型中。
105.d:根据段落a的系统，其中，轨迹是第一轨迹，并且其中，控制自动驾驶车辆包括：确定与车辆相关联的宽度；将所述宽度与所述第一轨迹的长度相关联；以及确定自动驾驶车辆穿越环境的第二轨迹，使得自动驾驶车辆沿着第一轨迹的长度绕避该宽度。
106.e:根据段落a的系统，其中，控制自动驾驶车辆包括保持自动驾驶车辆的位置以与车辆执行轨迹相关联的持续时间。
107.f:一种方法，包括：接收由环境中的传感器所捕获的传感器数据；确定传感器数据表示车辆；确定与所述车辆相关联的特征，所述特征是指示所述车辆是否与倒车状态相关联的特征类型；将所述特征输入到机器学习模型中，所述机器学习模型被训练为至少部分地基于所述特征类型预测车辆行为；从所述机器学习模型接收所述车辆与所述倒车状态相关联的指示；以及至少部分地基于所述车辆与所述倒车状态相关联的指示来预测与所述车辆相关联的轨迹。
108.g:根据段落f的方法，其中，所述车辆与所述倒车状态相关联的指示包括所述车辆相对于所述环境的第二特征的角度，其中，预测所述车辆的轨迹还至少部分地基于所述车辆相对于所述第二特征的角度。
109.h:根据段落f的方法，其中，预测车辆的轨迹包括确定车辆准备平行停车，该方法还包括：控制自动驾驶车辆：保持停止位置以车辆平行停车的持续时间；或进入交通车道以绕过环境中的车辆。
110.i:根据段落f的方法，还包括：确定接近车辆的允许车辆倒车进入的区域，其中，预测轨迹还基于该区域相对于车辆的位置。
111.j:根据段落f的方法，其中，该区域包括以下中的一个或多个：交通车道；停车空间；或私人车道。
112.k:根据段落i的方法，还包括：确定车辆位于该区域的阈值距离内的位置处；确定所述车辆在所述位置处的第一速度；以及确定所述车辆的所述第一速度与另一车辆的第二速度或与所述位置相关联的速度限制中的一个或多个之间的差值，其中，所述机器学习模型还被训练为至少部分地基于环境特征来预测车辆行为，并且所述位置、所述第一速度和所述差值中的一个或多个被输入到所述机器学习模型中。
113.l:根据段落f的方法，其中，所述特征指示与所述车辆相关联的灯，其中，所述机器学习模型包括分类器，该分类器被训练为将车辆的倒车状态分类为以下中的一个或多个：倒车状态；非倒车状态；或意图倒车状态。
114.m:一种或多种计算机可读介质，其存储指令，所述指令在由一个或多个处理器执行时执行包括以下的操作：接收由环境中的传感器捕获的传感器数据；确定传感器数据表
示车辆；确定与所述车辆相关联的特征，所述特征是指示所述车辆是否与倒车状态相关联的特征类型；将所述特征输入到机器学习模型中，该机器学习模型被训练为至少部分地基于所述特征类型预测车辆行为；从所述机器学习模型接收所述车辆与所述倒车状态相关联的指示；至少部分地基于所述车辆与所述倒车状态相关联的指示来预测与所述车辆相关联的轨迹；以及至少部分地基于所述倒车状态来确定用于自动驾驶车辆执行的机动。
115.n:根据段落m的一种或多种计算机可读介质，所述操作还包括：确定与车辆相关联的宽度；以及将所述宽度与所述轨迹的长度相关联；其中，所述机动与自动驾驶车辆沿所述轨迹的长度至少绕避所述宽度相关联。
116.o:根据段落m的一种或多种计算机可读介质，其中，所述操作包括：控制所述自动驾驶车辆保持所述自动驾驶车辆的当前位置以与车辆执行所述轨迹相关联的持续时间。
117.p:根据段落m的一种或多种计算机可读介质，其中，所述特征是第一特征，所述操作还包括：确定车辆相对于环境的第二特征的角度，其中，所述机器学习模型还被训练为至少部分地基于环境特征来预测所述车辆行为，并且所述角度或所述第二特征中的一个或多个被输入到所述机器学习模型中。
118.q:根据段落m的一种或多种计算机可读介质，所述操作还包括：确定接近所述车辆的允许所述车辆倒车进入的区域，其中，预测所述轨迹还基于所述区域相对于所述车辆的位置。
119.r:根据段落q的一种或多种计算机可读介质，其中，该区域包括以下中的一个或多个：交通车道；停车空间；或私人车道。
120.s:根据段落q的一种或多种计算机可读介质，所述操作还包括：确定所述车辆位于所述区域的阈值距离内；确定所述车辆在所述位置处的第一速度；以及确定所述车辆的所述第一速度与另一车辆的第二速度或与所述位置相关联的速度限制中的一个或多个之间的差值，其中所述机器学习模型还被训练为至少部分地基于环境特征来预测车辆行为，并且所述位置，所述第一速度和所述差值中的一个或多个被输入到所述机器学习模型中。
121.t:根据段落m的一种或多种计算机可读介质，其中，所述特征指示与所述车辆相关联的灯，其中，所述机器学习模型包括经分类器，该分类器被训练为将所述车辆的倒车状态分类为以下中的一个或多个：倒车状态；非倒车状态；或意图倒车状态。
122.尽管针对一个特定实现方式描述了上述示例性条款，但是应该理解，在本文的背景下，示例性条款的内容也可以通过方法，装置，系统，计算机可读介质和/或其他实施方式来实施。另外，示例a-t中的任何示例可以单独实施，或者与示例a-t中的任何其他一个或多个示例组合使用。
123.结论
124.虽然已经描述本文描述技术的一个或多个实施例，但在本文描述技术的范围内还包括其各种改动、补充、排列组合和等价物。
125.在示例的描述中，参考形成本文一部分的附图，其通过说明的方式示出了所要求保护的主题的特定示例。应该理解，可以使用其他示例，并且可以进行诸如结构改变的改变或替换。这样的示例，改变或替换不一定偏离与预期保护的主题相关的范围。虽然在本文中将各个示例描述为具有某些特征或部件，但是各个实示例的特征和部件可以组合并一起使用。虽然本文的操作可以以一定顺序呈现，但是在一些情况下，可以改变该顺序，使得在不
改变所描述的系统和方法的功能的情况下以不同时间或不同顺序提供某些输入。所公开的过程也可以以不同的顺序执行。另外，本文的各种计算不需要按照所公开的顺序来执行，并且可以容易地实现使用计算的可替代顺序的其他示例。除了被重新排序之外，还可以将计算分解为具有相同结果的子计算。