1.本公开涉及作业车辆的显示系统以及作业车辆的显示方法。
2.本技术针对2019年7月18日在日本提出申请的日本特愿2019-133074号主张优先权，并将其内容援引于此。


背景技术：

3.在专利文献1中，公开了与检知作业车辆的周边的人的周边监视系统有关的技术。根据专利文献1所记载的技术，周边监视系统通过图像处理来识别图像中是否包含人。
4.在先技术文献
5.专利文献
6.专利文献1：日本特开2017-151815号公报


技术实现要素：

7.发明要解决的课题
8.然而，在人等障碍物的检测处理中，有时从一个区域检测到多个障碍物。此时，在将通过检测处理检测到的所有障碍物显示于画面的情况下，显示大量的检测结果，因此有可能无法立即判别所需的信息。
9.本公开的目的在于，提供一种能够降低发生与障碍物的检测有关的所需的信息的遗漏的可能性的作业车辆的显示系统以及作业车辆的显示方法。
10.用于解决课题的手段
11.根据本公开的第一方式，作业车辆的显示系统具备：图像取得部，其取得对作业车辆的周围进行拍摄而得的拍摄图像；检测部，其检测所述作业车辆的周围的障碍物；以及显示控制部，其生成如下那样的信号，该信号用于在由所述检测部检测到多个障碍物的情况下，在与所述拍摄图像对应的区域中检测到的所述多个障碍物之中、表示障碍物的准确度的检测精度高的障碍物所涉及的位置，进行能够识别障碍物的显示。
12.发明效果
13.根据上述方式，显示系统能够降低发生与障碍物的检测有关的所需的信息的遗漏的可能性。
附图说明
14.图1是示出第一实施方式的作业车辆的结构的概要图。
15.图2是示出第一实施方式的作业车辆具备的多个相机的拍摄范围的图。
16.图3是示出第一实施方式的驾驶室的内部的结构的图。
17.图4是示出第一实施方式的控制装置的结构的概要框图。
18.图5是示出第一实施方式的控制装置的动作的流程图。
19.图6是第一实施方式的显示图像的例子。
20.图7是第一实施方式的显示图像的例子。
21.图8是第一实施方式的显示图像的例子。
22.图9是第一实施方式的显示图像的例子。
23.图10是示出其他实施方式的控制装置的动作的流程图。
24.图11是其他实施方式的显示图像的例子。
25.图12是其他实施方式的显示图像的例子。
26.图13是其他实施方式中的显示图像的帧区域与拍摄图像的对应的例子。
具体实施方式
27.《第一实施方式》
28.以下，参照附图对实施方式进行详细说明。
29.《作业车辆的结构》
30.图1是示出第一实施方式的作业车辆的结构的概要图。
31.作业车辆100在施工现场运转，对砂土等施工对象进行施工。第一实施方式的作业车辆100例如是液压挖掘机。作业车辆100具备行驶体110、回转体120、工作装置130以及驾驶室140。
32.行驶体110以能够行驶的方式对作业车辆100进行支承。行驶体110例如是左右1对履带。
33.回转体120以能够绕回转中心回转的方式支承于行驶体110。
34.工作装置130利用液压进行驱动。工作装置130以能够沿上下方向驱动的方式支承于回转体120的前部。驾驶室140是用于供操作员搭乘、并进行作业车辆100的操作的空间。驾驶室140设置于回转体120的左前部。
35.在此，将回转体120中的安装工作装置130的部分称作前部。另外，对于回转体120，以前部为基准，将相反一侧的部分称作后部，将左侧的部分称作左部，将右侧的部分称作右部。
36.《回转体的结构》
37.在回转体120设置有对作业车辆100的周围进行拍摄的多个相机121。图2是示出第一实施方式的作业车辆所具备的多个相机的拍摄范围的图。
38.具体而言，在回转体120设置有对回转体120的周围中的左后方范围ra进行拍摄的左后方相机121a、对回转体120的周围中的后方范围rb进行拍摄的后方相机121b、对回转体120的周围中的右后方范围rc进行拍摄的右后方相机121c、对回转体120的周围的右前方范围rd进行拍摄的右前方相机121d。需要说明的是，多个相机121的拍摄范围的一部分可以相互重复。
39.多个相机121的拍摄范围将作业车辆100的整周中的、除了从驾驶室140能够目视观察的左前方范围re之外的范围覆盖。需要说明的是，第一实施方式的相机121对回转体120的左后方、后方、右后方、以及右前方进行拍摄，但在其他实施方式中并不局限于此。例如，其他实施方式的相机121的数量以及拍摄范围可以与图1以及图2所示的例子不同。
40.需要说明的是，左后方相机121a是如图2的后方范围rb所示那样、对回转体120的左侧方区域以及左后方区域的范围进行拍摄的相机，但也可以是对其中一方的区域进行拍
摄的相机。同样地，右后方相机121c是如图2的右后方范围rc所示那样、对回转体120的右侧方区域以及右后方区域的范围进行拍摄的相机，但也可以是对其中一方的区域进行拍摄的相机。同样地，右前方相机121d是如图2的右前方范围rd所示那样、对回转体120的右前方区域以及右侧方区域的范围进行拍摄的相机，但也可以是对其中一方的区域进行拍摄的相机。
41.《工作装置的结构》
42.工作装置130具备动臂131、斗杆132、铲斗133、动臂缸134、斗杆缸135、以及铲斗缸136。
43.动臂131的基端部经由动臂销p1安装于回转体120。
44.斗杆132将动臂131与铲斗133连结。斗杆132的基端部经由斗杆销p2安装于动臂131的前端部。
45.铲斗133具备用于挖掘砂土等的斗齿、以及用于收容所挖掘的砂土的收容部。铲斗133的基端部经由铲斗销p3安装于斗杆132的前端部。
46.动臂缸134是用于使动臂131工作的液压缸。动臂缸134的基端部安装于回转体120。动臂缸134的前端部安装于动臂131。
47.斗杆缸135是用于驱动斗杆132的液压缸。斗杆缸135的基端部安装于动臂131。斗杆缸135的前端部安装于斗杆132。
48.铲斗缸136是用于驱动铲斗133的液压缸。铲斗缸136的基端部安装于斗杆132。铲斗缸136的前端部安装于与铲斗133连接的连杆构件。
49.《驾驶室的结构》
50.图3是示出第一实施方式的驾驶室的内部的结构的图。
51.在驾驶室140内设置有驾驶席141、操作装置142以及控制装置143。
52.操作装置142是用于通过操作员的手动操作而使行驶体110、回转体120以及工作装置130进行驱动的接口。操作装置142具备左操作杆1421、右操作杆1422、左脚踏板1423、右脚踏板1424、左行驶杆1425、右行驶杆1426。
53.左操作杆1421设置于驾驶席141的左侧。右操作杆1422设置于驾驶席141的右侧。
54.左操作杆1421是用于进行回转体120的回转动作、以及斗杆132的拉动/推动动作的操作机构。具体而言，当作业车辆100的操作员将左操作杆1421向前方倾倒时，斗杆132进行推动动作。另外，当作业车辆100的操作员将左操作杆1421向后方倾倒时，斗杆132进行拉动动作。另外，当作业车辆100的操作员将左操作杆1421向右方向倾倒时，回转体120进行右回转。另外，当作业车辆100的操作员将左操作杆1421向左方向倾倒时，回转体120进行左回转。需要说明的是，在其他实施方式中，也可以是，在将左操作杆1421向前后方向倾倒的情况下回转体120进行右回转或者左回转，在将左操作杆1421向左右方向倾倒的情况下斗杆132进行卸料动作或者挖掘动作。
55.右操作杆1422是用于进行铲斗133的挖掘/卸料动作、以及动臂131的抬起/降下动作的操作机构。具体而言，当作业车辆100的操作员将右操作杆1422向前方倾倒时，执行动臂131的降下动作。另外，当作业车辆100的操作员将右操作杆1422向后方倾倒时，执行动臂131的抬起动作。另外，当作业车辆100的操作员将右操作杆1422向右方向倾倒时，进行铲斗133的卸料动作。另外，当作业车辆100的操作员将右操作杆1422向左方向倾倒时，进行铲斗
133的挖掘动作。
56.左脚踏板1423配置于驾驶席141的前方的底板面的左侧。右脚踏板1424配置于驾驶席141的前方的底板面的左侧。左行驶杆1425轴支承于左脚踏板1423，且构成为左行驶杆1425的倾斜与左脚踏板1423的下压连动。右行驶杆1426轴支承于右脚踏板1424，且构成为右行驶杆1426的倾斜与右脚踏板1424的下压连动。
57.左脚踏板1423以及左行驶杆1425对应于行驶体110的左侧履带的旋转驱动。具体而言，在作业车辆100的操作员将左脚踏板1423或者左行驶杆1425向前方倾倒时，左侧履带向前进方向旋转。另外，在作业车辆100的操作员将左脚踏板1423或者左行驶杆1425向后方倾倒时，左侧履带向后退方向旋转。
58.右脚踏板1424以及右行驶杆1426对应于行驶体110的右侧履带的旋转驱动。具体而言，当作业车辆100的操作员将右脚踏板1424或者右行驶杆1426向前方倾倒时，右侧履带向前进方向旋转。另外，当作业车辆100的操作员将右脚踏板1424或者右行驶杆1426向后方倾倒时，右侧履带向后退方向旋转。
59.控制装置143是输入输出装置，例如能够将通过多个相机121取得的作业车辆100的周围状况作为俯瞰图像来显示。第一实施方式的控制装置143的输入手段是硬件按键。需要说明的是，在其他实施方式中，也可以将触摸面板、鼠标、或者键盘等用作输入手段。
60.《控制装置的结构》
61.图4是示出第一实施方式的控制装置的结构的概要框图。
62.控制装置143是具备处理器210、主存储器230、储存器250、接口270的计算机。
63.储存器250是非易失性的有形的存储介质。作为储存器250的例子，可举出hdd(hard disk drive)、ssd(solid state drive)、磁盘、磁光盘、cd-rom(compact disc read only memory)、dvd-rom(digital versatile disc read only memory)、半导体存储器等。储存器250可以是与控制装置143的总线直接连接的内部介质，也可以是经由接口270或者通信线路与控制装置143连接的外部介质。储存器250存储用于实现作业车辆100的周围监视的程序。
64.程序也可以用于实现使控制装置143发挥的功能的一部分。例如，程序也可以通过与已存储于储存器250的其他程序组合、或者与安装于其他装置的其他程序组合来发挥功能。需要说明的是，在其他实施方式中，控制装置143也可以除了上述结构之外、或者取代上述结构而具备pld(programmable logic device)等定制lsi(large scale integrated circuit)。作为pld的例子，可举出pal(programmable array logic)、gal(genericarray logic)、cpld(complex programmable logic device)、fpga(field programmable gate array)。在该情况下，由处理器实现的功能的一部分或者全部也可以由该集成电路实现。
65.另外，储存器250存储用于检知人物的人物词典数据d1。人物词典数据d1例如是从拍摄有人物的多个已知的图像分别提取出的特征量的词典数据。作为特征量的例子，能够使用hog(histograms of oriented gradients)、cohog(co-occurrence hog)。
66.处理器210通过执行程序而作为图像取得部211、特征量提取部212、检测部213、图像生成部214、标志配置部215、存在判断部216、显示控制部217发挥功能。另外，通过程序的执行而在主存储器230中确保有标志存储部231的存储区域。
67.图像取得部211从多个相机121取得图像。从各相机121取得的图像是按照规定的
帧率更新的帧图像。
68.特征量提取部212从图像取得部211取得的帧图像提取特征量。作为特征量提取部212提取的特征量的例子，可举出hog特征量、cohog特征量等。
69.检测部213基于特征量提取部212提取出的特征量以及存储于储存器250的人物词典数据d1，检测帧图像中的人物。作为人物的检测方法的例子，可举出图案匹配、基于机器学习的物体检测处理等。人物是障碍物的一例。需要说明的是，在第一实施方式中，检测部213使用图像的特征量来进行人物的检测，但并不局限于此。例如，在其他实施方式中，检测部213也可以基于红外线传感器的计测值等来进行人物的检测。检测部213针对每个检测到的人物确定检测精度。检测精度是表示人物的准确度的精度，例如作为特征量的类似度、似然度来表示。
70.图像生成部214对图像取得部211取得的多个帧图像进行变形、合成，生成以作业车辆100为中心从上方俯视现场的俯瞰图像。即，图像生成部214将多个帧图像分别变形为俯瞰坐标系，并将变形后的帧图像进行合成，由此生成俯瞰图像。需要说明的是，图像生成部214也可以将变形后的各个帧图像的一部分切出，并对切出后的帧图像进行合成，由此生成俯瞰图像。在图像生成部214生成的俯瞰图像的中央预先粘贴有从上方俯视作业车辆100的图像。
71.标志配置部215使图像生成部214生成的俯瞰图像重叠，在与人物的检测位置对应的位置配置表示人物的位置的标志。需要说明的是，其他实施方式的标志配置部215也可以在从检测位置起的规定的范围内配置标志。对于标志的形状，例如可举出圆、椭圆、正多边形、多边形等。需要说明的是，标志是能够识别障碍物的显示的一例。在其他实施方式中，能够识别障碍物的显示例如只要是表示人物的文本的显示、人物的颜色的变更、人物的形状的变更等能够识别障碍物的显示即可。
72.标志配置部215将所配置的标志的位置记录于标志存储部231。标志存储部231存储配置于俯瞰图像的标志的位置。
73.标志配置部215根据检测位置与以作业车辆100为中心设定的警告范围的位置关系而使标志的颜色不同。例如，标志配置部215在检测位置处于警告范围内的情况下，将标志的颜色设为红色，在检测位置处于警告范围外的情况下，将标志的颜色设为黄色。警告范围例如可以设定为以作业车辆100的回转中心为中心的圆。
74.需要说明的是，标志的颜色、以及标志的位置与颜色的关系并不局限于此。例如，其他实施方式的标志配置部215也可以对标志设定红色以及黄色以外的颜色。另外，其他实施方式的标志配置部215也可以在检测位置处于警告范围内的情况下，将标志的颜色设为红色，在检测位置处于警告范围外且注意范围内的情况下，将标志的颜色设为黄色，在检测位置处于注意范围外的情况下，将标志的颜色设为灰色。另外，也可以在检测位置处于警告范围内、或者处于注意范围内的情况下，将标志的颜色设为红色。另外，也可以与检测位置无关地将标志的颜色设为红色。注意范围可以是例如以作业车辆100的回转中心为中心的圆，作为警告范围的外侧的范围而设定。
75.另外，标志配置部215也可以在俯瞰图像中进行标志的配置、并且强调显示包含检测到人物的位置在内的区域。区域由多个相机121的拍摄范围决定。需要说明的是，该区域可以由一个相机121的拍摄范围决定，也可以由至少两个相机121的拍摄范围决定。另外，该
区域也可以是比拍摄范围窄的范围。作为强调显示的例子，例如可举出用红色粗框来显示区域的框等。需要说明的是，强调显示的例子并不局限于此，也可以利用红色以外的颜色来进行。另外，强调显示也可以利用区域的框的闪烁来进行。
76.另外，标志配置部215也可以仅在检测位置处于警告范围内或者注意范围内的情况下，强调显示包含该位置在内的区域。在该情况下，对检测到的人物配置标志，并且强调显示与检测到的位置对应的区域，由此操作员能够容易地理解应注意的人物以及方向。即，控制装置143能够促使操作员注意。
77.存在判断部216基于俯瞰坐标系的检测位置，判断人物是否存在于以作业车辆100为中心设定的注意范围或者警告范围的内侧。
78.显示控制部217对配置有标志的俯瞰图像标注对应于存在判断部216的判断结果的图标，由此生成监视图像。显示控制部217将所生成的监视图像向触摸面板输出。对于图标，在例如人物不存在于注意范围内的情况、存在于注意范围内且警告范围外的情况、存在于警告范围内的情况下，分别使其方式不同。作为图标的方式的例子，可举出颜色、透明度、大小等。
79.《控制装置的动作》
80.图5是示出第一实施方式的控制装置的动作的流程图。
81.控制装置143在开始周围监视处理时，图像取得部211从多个相机121取得帧图像(步骤s1)。接下来，控制装置143基于所取得的帧图像，并列执行人物检测处理p1和显示控制处理p2。
82.人物检测处理p1是以下的步骤s2至步骤s3的处理。
83.特征量提取部212从在步骤s1中取得的帧图像提取特征量(步骤s2)。接下来，检测部213从储存器250读取人物词典数据d1，并对所提取的特征量与人物词典数据d1进行比较，由此在帧图像中确定人物存在的检测位置(步骤s3)。人物检测处理p1与显示控制处理p2相比计算量较多。
84.显示控制处理p2是以下的步骤s4至步骤s9的处理。
85.图像生成部214基于在步骤s1中取得的帧图像，生成俯瞰图像(步骤s4)。接下来，存在判断部216基于标志存储部231存储的标志的位置，判断人物是否存在于注意范围或者警告范围的内侧(步骤s5)。
86.显示控制部217在步骤s4中生成的俯瞰图像上描绘标志存储部231存储的位置以及大小的标志，并且在俯瞰图像中的相当于左前方范围re的位置标注对应于步骤s7的判断结果的图标，由此生成监视图像(步骤s6)。显示控制部217将生成的监视图像向触摸面板输出(步骤s7)。
87.接下来，显示控制部217判断人物检测处理p1是否结束(步骤s8)。在人物检测处理p1未结束的情况下(步骤s8：否)，图像取得部211从多个相机121取得下一帧图像(步骤s9)，并将处理返回步骤s4。
88.若人物检测处理p1以及显示控制处理p2结束，则存在判断部216分别针对在人物检测处理p1中成为检测对象的帧图像，基于与步骤s3的检测处理的结果有关的检测位置，判断人物是否存在于警告范围的内侧(步骤s10)。标志配置部215针对人物存在于警告范围的内侧的帧图像(步骤s10：是)，在警告范围内，确定一个与检测结果表示的检测精度最高
的人物有关的检测位置(步骤s11)。
89.针对人物不存在于警告范围的内侧的帧图像(步骤s10：否)，存在判断部216基于与步骤s3的检测处理的结果有关的检测位置，判断人物是否存在于注意范围的内侧(步骤s12)。标志配置部215针对人物存在于注意范围的内侧的帧图像(步骤s12：是)，在注意范围内，确定一个与检测结果表示的检测精度最高的人物有关的检测位置(步骤s13)。标志配置部215针对在警告范围以及注意范围内不存在人物的帧图像(步骤s12：否)，确定检测结果表示的检测精度最高的人物(步骤s14)。
90.接着，标志配置部215分别针对在人物检测处理p1中成为检测对象的帧图像，在通过步骤s10至步骤s14中的某些步骤而确定的人物的检测位置配置标志。即标志配置部215在标志存储部231中记录与检测位置对应的位置的标志的信息(步骤s15)，控制装置143结束周边监视处理。
91.需要说明的是，标志白配置起经过一定时间后消失。即，标志配置部215在从标志的配置经过一定时间后，从标志存储部231删除该标志的信息。需要说明的是，其他实施方式的标志配置部215也可以在标志成为规定尺寸以上的情况下删除标志。另外，此时标志配置部215也可以基于检测位置与警告范围的关系来决定标志的颜色。由此，在俯瞰图像中，能够将针对每个与多个帧图像对应的区域的标志的数目抑制为1以下。
92.需要说明的是，人物检测处理p1可以针对多个帧图像并列地执行，也可以针对各帧图像按顺序执行。另外，标志配置部215也可以在从其他帧图像提取的与人物有关的标志已存在于检测位置的情况下，不在该检测位置配置标志。由此，能够防止标志重复配置而难以看清。另外，在人物检测处理p1针对各帧图像按顺序执行的情况下，步骤s10至步骤s15的处理仅针对成为人物检测处理p1的对象的帧图像进行。
93.需要说明的是，图5所示的流程图是一例，在其他实施方式中也可以不一定执行所有的步骤。例如，在其他实施方式中，也可以不执行步骤s2、步骤s5至步骤s9、步骤s10至步骤s13中的某些步骤。
94.《显示图像的例子》
95.图6～9是第一实施方式的显示图像的例子。
96.根据图6～9，在显示图像中显示由显示控制部217生成的监视图像g1、以及单相机图像g2。另外，在显示图像中包含作业模式指示器g32、smr(service meter reading)指示器g33、燃料液位指示器g34、工作油温指示器g35、以及发动机水温指示器g36。在监视图像g1中包含俯瞰图像g11、表示注意范围的区域框g12、表示警告范围的区域框g13、多个标志g14、以及图标g15。单相机图像g2是多个相机121中的一个拍摄到的帧图像。
97.另外，在图6～9中示出了在显示图像中不显示但在步骤s10至步骤s14的处理中未确定的检测位置e。另外，在图6～9中示出有在显示图像中不显示的帧区域f1、f2、f3、f4。帧f1是与由左后方相机121a拍摄的左后方范围ra对应的帧区域。帧f2是与由后方相机121b拍摄的后方范围rb对应的帧区域。帧f3是与由右后方相机121c拍摄的右后方范围rc对应的帧区域。帧f4是与由右前方相机121d拍摄的右前方范围rd对应的帧区域。需要说明的是，在前方、以及左前方的帧区域f0中不生成俯瞰图像g11。这是因为操作员能够直接目视观察驾驶室140的前方、以及左前方。
98.图6是在作业车辆的警告范围内存在一位以上的人物的情况下，在单相机图像g2
中显示右前方相机121d拍摄到的帧图像的显示图像的例子。根据图6，在警告范围内检测到一位以上的人物的情况下，仅对与检测精度最高的人物有关的检测位置标注标志g14。由此，操作员能够在近距离的人物之中掌握应特别注意的人物。需要说明的是，图6是在警告范围内存在一位以上的人物的情况的例子，但在警告范围内不存在人物而在注意范围内存在一位以上的人物的情况下，也成为与上述同样的结果。需要说明的是，一位以上的人物可以是一位人物，也可以是多位人物。
99.图7是在注意范围外存在一位以上的人物的情况下，在单相机图像g2中显示右后方相机121c拍摄到的帧图像的显示图像的例子。根据图7，在比注意范围靠外的位置检测到一位以上的人物的情况下，仅对与检测精度最高的人物有关的检测位置标注标志g14。由此，操作员在近距离不存在人物的情况下，能够掌握应特别注意的人物。需要说明的是，一位以上的人物可以是一位人物，也可以是多位人物。
100.图8是在注意范围内存在一位以上的人物、且在注意范围内以及注意范围外存在物体的情况下，在单相机图像g2中显示左后方相机121a拍摄的帧图像的显示图像的例子。根据图8，在物体被误检知为人物而在注意范围内检测到一位以上的人物、且在注意范围外检测到人物的情况下，仅在注意范围内对与检测精度最高的人物有关的检测位置标注标志g14。若对人物和物体进行比较，则通常人物的检测精度较高，因此不对物体而对与人物有关的位置标注标志g14。由此，操作员能够掌握应特别注意的人物。
101.另外，由于在多个检测到的人物之中仅对检测精度最高的人物标注标志g14，因此能够防止在与误检知有关的位置标注标志g14。另外，即使在注意范围外检测到人物也仅对注意范围内的人物标注标志g14，由此能够防止标志的繁杂，能够立刻判别所需的信息。需要说明的是，图8是在注意范围内存在一位以上的人物和物体的情况的例子，但在警告范围内存在一位以上的人物和物体的情况下，也成为与上述同样的结果。需要说明的是，一位以上的人物可以是一位人物，也可以是多位人物。
102.图9是在警告范围内存在一位以上的人物、且在注意范围外存在一位以上的人物的情况下，在单相机图像g2中显示右前方相机121d拍摄到的帧图像的显示图像的例子。根据图9，在警告范围内存在一位以上的人物、且在注意范围外存在一位以上的人物的情况下，仅在警告范围内对与检测精度最高的人物有关的检测位置标注标志g14。即使假设存在于注意范围外的人物的检测精度比警告范围内的人物高，也仅在警告范围内对检测精度最高的人物标注标志g14。由此，操作员能够在检测到多个人物的情况下掌握应特别注意的人物。另外，能够避免标志的繁杂，能够立刻判别所需的信息。需要说明的是，一位以上的人物可以是一位人物，也可以是多位人物。
103.在作业车辆的开关接通时，后方相机121b拍摄到的帧图像在作业车辆的开关接通时作为单相机图像g2显示。单相机图像g2能够通过控制装置143的输入手段而切换为其他相机121拍摄到的帧图像。需要说明的是，也可以将后方相机121b以外的相机121拍摄到的帧图像作为在开关接通时显示的单相机帧图像g2。另外，也可以是，在检测到人物的情况下，单相机图像g2自动地切换为拍摄到人物的相机121的帧图像。
104.《作用
·
效果》
105.这样，第一实施方式的控制装置143在拍摄图像中拍摄到的障碍物的检测处理中检测到多个障碍物的情况下，显示在检测精度最高的规定数量的障碍物所涉及的位置配置
有标志的显示图像。由此，能够减少显示图像中的标志的数量，能够降低发生与障碍物的检测有关的所需的信息的遗漏的可能性。
106.另外，第一实施方式的控制装置143在以作业车辆100为中心的规定范围内检测到多个障碍物的情况下，显示在该范围内的检测精度最高的规定数量的障碍物所涉及的位置配置有标志的显示图像。由此，即使在比作业车辆附近的障碍物更远的障碍物的检测精度较高的情况下，也能够优先地通知附近的障碍物。需要说明的是，在其他实施方式中，并不局限于此。例如，其他实施方式的控制装置143也可以与注意范围以及警告范围无关地，显示在检测精度最高的规定数量的障碍物所涉及的位置配置有标志的显示图像。
107.《其他实施方式》
108.以上，参照附图对一实施方式进行了详细说明，但具体结构并不局限于上述方式，而能够进行各种设计变更等。在其他实施方式中，可以适当变更上述的处理的顺序。另外，一部分的处理也可以并列执行。
109.在上述的实施方式中，关于作业车辆100，作为液压挖掘机进行了说明，但在其他实施方式中，也可以应用于自卸车、轮式装载机等各种作业车辆。例如能够应用于自卸车、轮式装载机、其他作业车辆用的显示系统。
110.另外，在上述的实施方式中，作为1台控制装置143设置于作业车辆的方式进行了说明，但在其他实施方式中，也可以通过将控制装置143的一部分的结构配置于其他控制装置、由2台以上的控制装置构成显示系统来实现。需要说明的是，上述的实施方式所示的1台的控制装置143也是显示系统的一例。
111.关于上述的实施方式的控制装置143，作为设置于作业车辆的方式进行了说明，但在其他实施方式中，控制装置143的一部分、或者全部的结构也可以设置于作业车辆的外部。
112.另外，上述的实施方式的控制装置143检测人物，但也可以检测人物以外的障碍物。
113.另外，上述的实施方式的控制装置143不具备拍摄左前方范围re的左前方相机，但在其他实施方式中也可以具备拍摄左前方范围re的左前方相机。在该情况下，控制装置143能够生成拍摄到作业车辆100的周围的整周的俯瞰图像。另一方面，在该情况下，关于人物检测处理p1，控制装置143也可以不根据左前方相机的帧图像检测人物。这是因为，由于人物检测处理p1的计算量较多，因此通过针对利用控制装置143进行监视的必要性较低的范围不进行人物检测处理p1，从而防止整体的计算负载的增加。
114.另外，上述的实施方式的控制装置143针对各帧图像确定一个检测精度最高的检测位置。例如，在其他实施方式中，也可以按照检测精度高的顺序确定两个以上的规定数量的检测位置。再例如，在其他实施方式中，可以针对所有的帧图像(左后方范围ra、后方范围rb、右后方范围rc、右前方范围rd)确定规定数量的检测精度高的检测位置，也可以针对每个帧图像的组合(例如左后方范围ra与后方范围rb的组合、以及右后方范围rc与右前方范围rd的组合)确定规定数量的检测精度高的检测位置。
115.另外，上述的实施方式的控制装置143通过显示检测结果来促使操作员注意，但在其他实施方式中，也可以还基于控制装置143的检测结果而由控制装置控制作业车辆100。例如，也可以控制为，在警告区域配置有标志的情况下，控制装置禁止作业车辆100的行驶、
回转、以及工作装置的操作。在该情况下，通过如上述实施方式那样预先减少标志的数量，从而能够防止由于误检知而进行作业车辆100的停止控制。
116.上述的实施方式的控制装置143具有显示器，且使该显示器显示显示图像，但在其他实施方式中并不局限于此。例如，其他实施方式的控制装置143不具备显示器，而向与控制装置143分开的显示器发送显示显示图像的信号。该信号是用于显示在障碍物所涉及的位置配置有标志的显示图像的信号。需要说明的是，也可以通过由与控制装置143分开的显示器、以及分别具备上述的控制装置143的结构的一部分的2台以上的控制装置构成的显示系统来实现。
117.另外，在上述的实施方式中，关于警报范围、注意范围，作为以作业车辆的回转中心为中心的圆进行了说明，但在其他实施方式中，也可以是以作业车辆100的回转中心为中心的圆以外的范围。例如，也可以是使以作业车辆100的回转中心为中心的圆向前部、后部、左部、右部的一部分的方向扩大了规定距离的范围。另外，也可以是以作业车辆100的回转中心以外的部分为中心的圆。另外，也可以是根据工作装置130的工作范围求出的范围。另外，也可以是由椭圆、多边形、直线和曲线形成的范围。
118.另外，在上述的实施方式中，作为显示器设置于作业车辆100的方式进行了说明，但在其他实施方式中，也可以是显示器设置于作业车辆100之外的方式。例如，也可以在远离作业现场的地点设置显示器，控制装置143经由因特网等网络发送使显示器显示显示图像的信号。
119.另外，在上述的实施方式中，作为设定有警告范围和注意范围的方式进行了说明，但在其他实施方式中，也可以设定警告范围和注意范围中的任一方的范围。另外，还可以设定3个以上的范围。
120.另外，在上述的实施方式中，标志g14被标注给俯瞰图像g11，但并不局限于此。例如，在其他实施方式中，标志g14也可以被标注给俯瞰图像g11和单相机图像g2这双方，标志g14还可以仅被标注给单相机图像g2。此时，也可以针对俯瞰图像g11和单相机图像g2这双方，在检测精度高的规定数量的检测位置标注标志g14。另外，也可以针对俯瞰图像g11和单相机图像g2中的一方的图像仅在检测精度高的规定数量的检测位置标注标志g14，并针对另一方的图像在所有检测位置标注标志g4。
121.另外，在其他实施方式中，也可以在显示图像中仅包含俯瞰图像g11以及单相机图像g2中的任一方。在该情况下，标志g14被标注给显示图像所包含的俯瞰图像g11或者单相机图像g2。另外，在其他实施方式中，也可以并排显示多个相机121拍摄到的单相机图像g2。在该情况下，标志g14也可以标注给一个单相机图像g2，也可以标注给两个以上的单相机图像。
122.在此，对控制装置143生成包含标注有标志g14的单相机图像g2的显示图像的例子进行说明。
123.图10是示出其他实施方式的控制装置的动作的流程图。在其他实施方式中，与第一实施方式相比，控制装置143取代步骤s4、步骤s6以及步骤s15而执行步骤s104、步骤s106以及步骤s115。
124.控制装置143的图像生成部214在步骤s104中，基于在步骤s1中取得的帧图像，生成单相机图像。
125.控制装置143的显示控制部217在步骤s106中，在步骤s104中生成的单相机图像上描绘标志存储部231存储的位置的标志，并且在单相机图像上标注对应于步骤s5的判断结果的图标，由此生成显示图像。该图标在单相机图像中的、映有作业车辆100的一部分的区域等监视的必要性较低的位置配置，由此能够防止图标将存在于基于控制装置143的监视的必要性较高的位置的人物遮挡。
126.控制装置143的标志配置部215在步骤s115中，在与步骤s3的检测处理的结果有关的检测位置配置标志。即，标志配置部215在标志存储部231中记录检测位置的标志的信息。
127.图11是其他实施方式的显示图像的例子。
128.根据图11，在显示图像中包含由不同的相机121拍摄到的两个单相机图像g2。在单相机图像g2中分别标注有一个标志g14。需要说明的是，在图11所示的例子中，针对两个单相机图像g2中的每一方，确定规定数量的检测精度高的检测位置并标注有标志g14，但并不局限于此。例如，在其他实施方式中，也可以针对两个单相机图像g2中的一方，确定规定数量的检测精度高的检测位置并标注标志g14，针对另一方，不标注标志g14。另外，在其他实施方式中，也可以针对两个单相机图像g2中的一方，确定规定数量的检测精度高的检测位置并标注标志g14，针对另一方，在所有检测位置标注标志g14。另外，在其他实施方式中，也可以在显示图像中包含3个以上的单相机图像g2。
129.图12是其他实施方式的显示图像的例子。
130.对于帧区域f1、f2、f3、f4，存在拍摄范围重合的情况。图12的斜线部是实际的画面中不显示的拍摄范围重合的部分。例如，对于帧区域f3和帧区域f4，存在对应于帧区域f3的右后方相机121c的拍摄范围与对应于帧区域f4的右前方相机121d的拍摄范围的一部分重合的情况。也可以是，对于在帧区域f3、f4中的重合的部分检测到的人物的检测精度高于在重合的部分以外检测到的人物的检测精度的情况，对在重合的部分以外检测到的其他人物的位置也配置标志g14。
131.另外，也可以是，对于在拍摄范围重合的部分检测到的人物的检测精度高于在重合的部分以外检测到的人物的检测精度的情况，在相邻的帧区域之中、例如在帧区域f3和帧区域f4之中，对于所检测到的多个人物之中，按照检测精度高的顺序在规定数量的检测位置配置标志g14。在该情况下，能够防止仅对在重合的部分检测到的人物配置标志g14。
132.需要说明的是，对帧区域f3与f4重合的部分的例子进行了说明，但也可以在帧区域f1、f2、f3、f4中的相邻的帧区域的任意的组合中进行上述的处理。
133.需要说明的是，对于在重合的部分检测到人物的决定，例如能够如下那样决定：针对每个帧图像预先确定拍摄范围与相邻的相机重合的部分，判断在该重合的部分是否检测到人物。
134.另外，各相机121的拍摄范围有时比对应的帧区域f1、f2、f3、f4大。图13是其他实施方式中的显示图像的帧区域与拍摄图像的对应的例子。
135.如图13所示，可以是，在后方相机121b的帧图像中检测到多个人物的情况下，将在帧区域外of检测到的人物去除，进而在去除了帧区域外of的帧图像中的检测精度高的人物的位置配置标志。由此，防止对在帧区域外of检测到的人物配置标志g14，而对确定的监视的必要性高的区域标注标志g14，因此能够立即判别所需的信息。需要说明的是，帧区域外of是帧图像中的规定的区域，例如可以是在生成俯瞰图像时切出的帧图像的一部分以外的
区域、换句话说是俯瞰图像中不显示的区域即俯瞰图像的区域外。
136.另外，也可以是，在帧图像中检测到多个人物的情况下，将在注意范围外检测到的人物去除，进而在去除了注意范围外的帧图像中的检测精度高的人物的位置配置标志。由此，防止对在注意范围外检测到的人物配置标志g14，而对确定的注意范围内的人物标注标志g14，因此能够立即判别所需的信息。
137.另外，在上述的实施方式中，作为帧区域f1、f2、f3、f4的线在显示图像中不显示的例子进行了说明，但并不局限于此。例如，在其他实施方式中，帧区域f1、f2、f3、f4的线也可以在显示图像中显示。
138.工业实用性
139.根据上述公开，显示系统能够降低发生与障碍物的检测有关的所需的信息的遗漏的可能性。
140.附图标记说明：
141.100
…
作业车辆；110
…
行驶体；120
…
回转体；121
…
相机；130
…
工作装置；140
…
驾驶室；141
…
驾驶席；143
…
控制装置；211
…
图像取得部；212
…
特征量提取部；213
…
检测部；214
…
图像生成部；215
…
标志配置部；216
…
存在判断部；217
…
显示控制部。