1.本发明涉及施工机械及支援基于施工机械的作业的支援装置。
背景技术:2.以往,已知有一种挖土机,其通过安装于上部回转体上的摄像机拍摄成为操作者的死角的区域,并使该所拍摄到的图像显示于设置在驾驶舱中的显示装置(参考专利文献1。)。
3.该挖土机构成为在摄像机所拍摄到的图像上重叠显示作为距离显示线的引导线。
4.现有技术文献
5.专利文献
6.专利文献1:日本特开2016-065449号公报
技术实现要素:7.发明要解决的技术课题
8.然而,上述挖土机未构成为将与上部回转体前方的区域有关的信息呈现给操作者。
9.因此,期望将与上部回转体前方的区域有关的信息呈现给操作者,以使能够更有效地支援操作者对挖土机等施工机械的操作。
10.用于解决技术课题的手段
11.本发明的实施方式所涉及的施工机械具有下部行走体、可回转地搭载于所述下部行走体上的上部回转体、安装于所述上部回转体上的附属装置、周围监视装置及显示装置,所述显示装置构成为显示对通过所述周围监视装置检测出的对象物的引导。
12.发明的效果
13.根据上述方式,提供一种能够更有效地支援操作者对施工机械的操作的施工机械。
附图说明
14.图1a是本发明的实施方式所涉及的挖土机的侧视图。
15.图1b是图1a所示的挖土机的俯视图。
16.图2是表示搭载于图1a所示的挖土机上的液压系统的结构例的概略图。
17.图3是控制器的功能框图。
18.图4a是表示挖土机与翻斗车的位置关系的图。
19.图4b是表示挖土机与翻斗车的位置关系的图。
20.图5a是表示在装载作业时显示的图像的一例的图。
21.图5b是表示在装载作业时显示的图像的另一例的图。
22.图5c是表示在装载作业时显示的图像的又一例的图。
23.图6a是表示在装载作业时显示的图像的又一例的图。
24.图6b是表示在装载作业时显示的图像的又一例的图。
25.图6c是表示在装载作业时显示的图像的又一例的图。
26.图6d是表示在装载作业时显示的图像的又一例的图。
27.图6e是表示在装载作业时显示的图像的又一例的图。
28.图7是表示在起重机作业时显示的图像的一例的图。
29.图8是表示在起重机作业时显示的图像的一例的图。
30.图9是表示在起重机作业时显示的图像的一例的图。
31.图10是表示挖土机的管理系统的结构例的概略图。
32.图11是表示电动式操作系统的结构例的图。
具体实施方式
33.首先,参考图1a及图1b,对作为本发明的实施方式所涉及的挖掘机的挖土机100进行说明。图1a是挖土机100的侧视图,图1b是挖土机100的俯视图。
34.在本实施方式中,作为施工机械的一例的挖土机100的下部行走体1包括履带1c。履带1c通过搭载于下部行走体1上的行走用液压马达2m被驱动。具体而言,履带1c包括左履带1cl及右履带1cr。左履带1cl通过左行走用液压马达2ml被驱动,右履带1cr通过右行走用液压马达2mr被驱动。
35.在下部行走体1上,经由回转机构2可回转地搭载有上部回转体3。回转机构2通过搭载于上部回转体3上的回转用液压马达2a被驱动。然而,回转机构2可以通过回转用电动发电机被驱动。
36.在上部回转体3上安装有动臂4。在动臂4的前端安装有斗杆5,在斗杆5的前端安装有作为端接附件的铲斗6。动臂4、斗杆5及铲斗6构成作为附属装置的一例的挖掘附属装置at。动臂4由动臂缸7驱动,斗杆5由斗杆缸8驱动,铲斗6由铲斗缸9驱动。
37.动臂4通过上部回转体3被支承为可以转动。而且,在动臂4上安装有动臂角度传感器s1。动臂角度传感器s1能够检测作为动臂4的转动角度的动臂角度θ1。动臂角度θ1例如是从使动臂4下降最大的状态起的上升角度。因此,动臂角度θ1在使动臂4上升最大时成为最大。
38.斗杆5通过动臂4被支承为可以转动。而且,在斗杆5上安装有斗杆角度传感器s2。斗杆角度传感器s2能够检测作为斗杆5的转动角度的斗杆角度θ2。斗杆角度θ2例如是使斗杆5从最大闭合状态起的打开角度。因此,斗杆角度θ2在使斗杆5打开最大时成为最大。
39.铲斗6通过斗杆5被支承为可以转动。而且,在铲斗6上安装有铲斗角度传感器s3。铲斗角度传感器s3能够检测作为铲斗6的转动角度的铲斗角度θ3。铲斗角度θ3例如是使铲斗6从最大闭合状态起的打开角度。因此,铲斗角度θ3在使铲斗6打开最大时成为最大。
40.在图1a及图1b所示例中,动臂角度传感器s1、斗杆角度传感器s2及铲斗角度传感器s3分别通过加速度传感器和陀螺仪传感器的组合而构成。然而,动臂角度传感器s1、斗杆角度传感器s2及铲斗角度传感器s3中的至少一个可以仅由加速度传感器构成。并且,动臂角度传感器s1可以是安装于动臂缸7上的行程传感器,也可以是旋转编码器、电位差计或惯性测量装置等。关于斗杆角度传感器s2及铲斗角度传感器s3也相同。
41.在上部回转体3上设置有作为驾驶室的驾驶舱10,并且搭载有引擎11等动力源。并且,在上部回转体3上安装有物体检测装置70、摄像装置80、机体倾斜传感器s4及回转角速度传感器s5等。在驾驶舱10的内部设置有操作装置26、控制器30、显示装置40及声音输出装置43等。另外,在本说明书中,为方便起见,将上部回转体3中的安装有挖掘附属装置at的一侧设为前方,将安装有配重的一侧设为后方。
42.物体检测装置70是周围监视装置(空间识别装置)的一例,构成为检测存在于挖土机100周围的物体。物体例如是人、动物、包括翻斗车在内的车辆、施工机械、建筑物、墙壁、围栏、土管、u型槽、树丛等树木、或者孔等。物体检测装置70可以检测物体的存在与否、物体的形状、物体的类型或物体的位置等。物体检测装置70例如是摄像机、超声波传感器、毫米波雷达、立体摄像机、lidar、距离图像传感器或红外线传感器等。在本实施方式中,物体检测装置70包括安装于驾驶舱10的上表面前端的lidar即前传感器70f、安装于上部回转体3的上表面后端的lidar即后传感器70b、安装于上部回转体3的上表面左端的lidar即左传感器70l、以及安装于上部回转体3的上表面右端的lidar即右传感器70r。前传感器70f可以安装于驾驶舱10的顶面,即驾驶舱10的内部。
43.物体检测装置70可以构成为检测设定于挖土机100周围的规定区域内的规定物体。物体检测装置70也可以构成为能够区分人与人以外的物体。物体检测装置70也可以构成为计算从物体检测装置70或挖土机100到所识别的物体为止的距离。
44.摄像装置80是周围监视装置(空间识别装置)的另一例,并拍摄挖土机100的周围。在本实施方式中,摄像装置80包括安装于上部回转体3的上表面后端的后摄像机80b、安装于上部回转体3的上表面左端的左摄像机80l、安装于上部回转体3的上表面右端的右摄像机80r、以及安装于驾驶舱10的上表面前端的前摄像机80f。在物体检测装置70是摄像机的情况下,物体检测装置70也可以构成为作为摄像装置80发挥作用。在该情况下,摄像装置80可以整合到物体检测装置70。即,摄像装置80可以省略。
45.后摄像机80b与后传感器70b相邻配置,左摄像机80l与左传感器70l相邻配置,右摄像机80r与右传感器70r相邻配置,并且前摄像机80f与前传感器70f相邻配置。
46.摄像装置80所拍摄到的图像由显示装置40来显示。摄像装置80可以构成为能够将俯瞰图像等视点转换图像显示于显示装置40。俯瞰图像例如通过将后摄像机80b、左摄像机80l及右摄像机80r分别输出的图像进行合成而生成。
47.机体倾斜传感器s4构成为检测上部回转体3相对于规定平面的倾斜度。在本实施方式中,机体倾斜传感器s4是加速度传感器,其检测相对于假想水平面的上部回转体3绕前后轴的倾斜角(侧倾角)及绕左右轴的倾斜角(俯仰角)。上部回转体3的前后轴及左右轴例如穿过彼此正交的挖土机100的回转轴上的一点,即挖土机100的中心点。机体倾斜传感器s4也可以由加速度传感器和陀螺仪传感器的组合构成。机体倾斜传感器s4也可以是惯性测量装置。
48.回转角速度传感器s5构成为检测上部回转体3的回转角速度。在本实施方式中,回转角速度传感器s5是陀螺仪传感器。回转角速度传感器s5也可以是分解器或旋转编码器等。回转角速度传感器s5也可以检测回转速度。回转速度也可以由回转角速度计算。
49.以下,动臂角度传感器s1、斗杆角度传感器s2、铲斗角度传感器s3、机体倾斜传感器s4及回转角速度传感器s5分别被称为姿势检测装置。
50.显示装置40构成为显示各种信息。在本实施方式中,显示装置40是设置在驾驶舱10内的显示器。然而,显示装置40可以是将图像投影到驾驶舱10的挡风玻璃上的投影仪或平视显示器等投影装置,也可以是粘贴或嵌入驾驶舱10的挡风玻璃中的显示器。
51.具体而言,显示装置40具有控制部40a、图像显示部41(参考图5a。)及操作部42(参考图5a。)。控制部40a控制显示于图像显示部41上的图像。在本实施方式中,控制部40a由具备cpu、易失性存储装置及非易失性存储装置等的计算机构成。控制部40a从非易失性存储装置读取与各功能对应的程序并读入到易失性存储装置中,并使cpu执行对应的处理。
52.声音输出装置43构成为输出声音。在本实施方式中,声音输出装置43是设置于驾驶舱10后部的扬声器。
53.操作装置26是操作者为了操作致动器而使用的装置。致动器包括液压致动器及电动致动器。液压致动器例如是回转用液压马达2a、行走用液压马达2m、动臂缸7、斗杆缸8及铲斗缸9等。电动致动器例如是回转用电动马达等。
54.控制器30是用于控制挖土机100的控制装置。在本实施方式中,控制器30由具备cpu、易失性存储装置及非易失性存储装置等的计算机构成。然后,控制器30从非易失性存储装置读取并执行与各功能对应的程序。各功能例如是引导(guide)操作者对挖土机100的手动操作的机械引导功能、以及自主地支援操作者对挖土机100的手动操作的机械控制功能等。
55.图2是表示搭载于挖土机100上的液压系统的结构例的图,将机械传动系统、工作油管路、先导管路及电气控制系统分别由双重线、实线、虚线及点线表示。
56.液压系统使工作油从通过引擎11被驱动的作为液压泵的主泵14经过中心旁通管路45循环至工作油罐。主泵14包括左主泵14l及右主泵14r。中心旁通管路45包括左中心旁通管路45l及右中心旁通管路45r。
57.左中心旁通管路45l是穿过配置在控制阀单元内的控制阀151、153、155、及157的工作油管路,右中心旁通管路45r是穿过配置在控制阀单元内的控制阀150、152、154、156及158的工作油管路。
58.控制阀150是直行阀。控制阀151是滑阀,其切换工作油的流动,以便将左主泵14l吐出的工作油供给到左行走用液压马达2ml,并且将左行走用液压马达2ml内的工作油排出到工作油罐。控制阀152是滑阀,其切换工作油的流动,以便将左主泵14l或右主泵14r吐出的工作油供给到右行走用液压马达2mr,并且将右行走用液压马达2mr内的工作油排出到工作油罐。
59.控制阀153是滑阀,其切换工作油的流动,以便将左主泵14l吐出的工作油供给到动臂缸7。控制阀154是滑阀,其切换工作油的流动,以便将右主泵14r吐出的工作油供给到动臂缸7,并且将动臂缸7内的工作油排出到工作油罐。
60.控制阀155是滑阀,其切换工作油的流动,以便将左主泵14l吐出的工作油供给到斗杆缸8,并且将斗杆缸8内的工作油排出到工作油罐。控制阀156是滑阀,其切换工作油的流动,以便将右主泵14r吐出的工作油供给到斗杆缸8。
61.控制阀157是滑阀,其切换工作油的流动,以便将左主泵14l吐出的工作油供给到回转用液压马达2a。
62.控制阀158是滑阀,其切换工作油的流动,以便将右主泵14r吐出的工作油供给到
铲斗缸9,并且将铲斗缸9内的工作油排出到工作油罐。
63.调节器13根据主泵14的吐出压力来调整主泵14的斜板偏转角,由此控制主泵14的吐出量。在图2所示例中,调节器13包括与左主泵14l对应的左调节器13l、以及与右主泵14r对应的右调节器13r。
64.动臂操作杆26a是用于使动臂缸7伸缩以使动臂4升降的操作装置。动臂操作杆26a利用先导泵15所吐出的工作油使与杆操作量对应的控制压力导入到控制阀154的先导端口。由此,控制阀154内的阀柱的移动量被控制,供给到动臂缸7的工作油的流量被控制。关于控制阀153也相同。另外,在图2中,为了清楚起见,省略了将动臂操作杆26a与控制阀153的左右先导端口及控制阀154的左右先导端口分别相连的先导管路的图示。
65.操作压力传感器29a以压力的形式检测操作者对动臂操作杆26a的操作内容,并将检测出的值输出到控制器30。操作内容例如是杆操作方向及杆操作量(杆操作角度)。
66.铲斗操作杆26b是用于使铲斗缸9伸缩以使铲斗6开闭的操作装置。铲斗操作杆26b例如利用先导泵15吐出的工作油使与杆操作量对应的控制压力导入到控制阀158的先导端口。由此,控制控制阀158内的阀柱的移动量,并控制供给到铲斗缸9的工作油的流量。
67.操作压力传感器29b以压力的形式检测操作者对铲斗操作杆26b的操作内容,并将所检测出的值输出到控制器30。
68.挖土机100除了动臂操作杆26a及铲斗操作杆26b以外,还具有行走杆、行走踏板、斗杆操作杆及回转操作杆(均未图示。)。与动臂操作杆26a及铲斗操作杆26b同样地,这些操作装置利用先导泵15吐出的工作油使与杆操作量或踏板操作量对应的控制压力作用于对应的控制阀的先导端口。并且,操作者分别对这些操作装置的操作内容通过与操作压力传感器29a相同的对应的操作压力传感器以压力的形式被检测。然后,各操作压力传感器将所检测出的值输出到控制器30。另外,在图2中,为了清楚可见,省略了将这些操作装置与对应的控制阀的先导端口相连的先导管路的图示。
69.控制器30接收动臂角度传感器s1、斗杆角度传感器s2、铲斗角度传感器s3、操作压力传感器29a、操作压力传感器29b及吐出压力传感器28等的输出,并适当地对引擎11及调节器13等输出控制指令。
70.控制器30可以对减压阀50输出控制指令,并调整作用于对应的控制阀的控制压力以控制对应的致动器。在图2中,减压阀50包括减压阀50l及减压阀50r。具体而言,控制器30可以对减压阀50l输出控制指令,并调整作用于控制阀158的左侧先导端口上的控制压力以控制铲斗打开动作。并且,控制器30可以对减压阀50r输出控制指令,并调整作用于控制阀158的右侧先导端口上的控制压力以控制铲斗闭合动作。关于动臂上升动作、动臂下降动作、斗杆闭合动作、斗杆打开动作、左回转动作、右回转动作、前进动作及后退动作也相同。
71.如此,控制器30能够由减压阀调整作用于控制阀的先导端口上的控制压力。因此,控制器30能够使致动器进行动作,而与操作者对操作装置26的手动操作无关。另外,减压阀50l及减压阀50r可以是电磁比例阀。
72.接着,参考图3,对控制器30的功能进行说明。图3是控制器30的功能框图。在图3所示例中,控制器30接收姿势检测装置、操作装置26、物体检测装置70及摄像装置80等输出的信号并执行各种运算,并且构成为能够向显示装置40、声音输出装置43及减压阀50等输出控制指令。姿势检测装置包括动臂角度传感器s1、斗杆角度传感器s2、铲斗角度传感器s3、
机体倾斜传感器s4及回转角速度传感器s5。控制器30具有位置获取部30a、图像呈现部30b及操作支援部30c作为功能要件。各功能要件可以由硬件构成,也可以由软件构成。
73.位置获取部30a构成为获取与物体的位置有关的信息。在本实施方式中,位置获取部30a构成为获取与位于挖土机100前方的翻斗车的车厢的位置有关的信息、以及与铲斗6的位置有关的信息。
74.与物体的位置有关的信息例如由基准坐标系中的坐标表示。基准坐标系例如是以挖土机100的中心点为原点的三维正交坐标系。挖土机100的中心点例如是挖土机100的假想接地面与回转轴的交点。基准坐标系可以是世界大地测量坐标系。控制器30可以根据安装于挖土机100上的gnss接收机等的输出来确定挖土机100的中心点的坐标。
75.具体而言,位置获取部30a根据基准坐标系中的前传感器70f的已知安装位置的坐标和前传感器70f的输出来获取与翻斗车的车厢的位置有关的信息。与翻斗车的车厢的位置有关的信息包括与前面板、车厢底面、侧门及后门中的至少一个的位置有关的信息。
76.或者,位置获取部30a可以根据基准坐标系中的前摄像机80f的已知安装位置的坐标和前摄像机80f所拍摄到的图像(以下,设为“前图像”。)获取与翻斗车的车厢的位置有关的信息。在该情况下,位置获取部30a例如对包括前面板图像在内的前图像实施各种图像处理而导出前摄像机80f与前面板之间的距离,由此获取与前面板的位置有关的信息。
77.并且,位置获取部30a根据基准坐标系中的附属装置的已知安装位置的坐标和姿势检测装置的输出来获取与铲斗6的位置有关的信息。位置获取部30a例如可以对包括铲斗6的图像的前图像实施各种图像处理而导出前摄像机80f与铲斗6之间的距离,由此获取与铲斗6的位置有关的信息。
78.图像呈现部30b构成为呈现与上部回转体3前方的区域有关的图像即前方图像。在本实施方式中,图像呈现部30b构成为将表示位于挖土机100前方的翻斗车的车厢与铲斗6的位置关系的图像作为前方图像呈现给显示装置40。
79.具体而言,图像呈现部30b将表示翻斗车的车厢与铲斗6的铲尖的位置关系的图示图像作为前方图像而呈现。图示图像可以是动画图像,其构成为根据铲斗6的实际移动而使表示铲斗6的图形移动。
80.图像呈现部30b也可以构成为,利用ar(增强现实)技术,在前图像中包括的翻斗车的车厢图像上呈现作为前方图像的增强现实图像(以下,设为“ar图像”。)。
81.ar图像例如是表示铲斗6的铲尖的正下方位置的标记。ar图像可以包括表示从铲斗6的铲尖的正下方位置仅远离规定距离的位置的标记、以及表示从该正下方位置仅靠近规定距离的位置的标记中的至少一种。在该情况下,多个标记作为表示离铲斗6的铲尖的正下方位置的距离的刻度发挥作用。作为刻度发挥作用的多个标记可以构成为表示离挖土机100的距离。ar图像可以包括表示最大限度地打开铲斗6时的铲尖的正下方位置的标记。标记可以是实线、虚线、单点划线、圆形、四边形或三角形等任意图形。并且,标记的亮度、颜色及粗细等可以任意地设定。图像呈现部30b可以构成为使标记闪烁显示。
82.在作为显示装置40而利用投影仪的情况下,图像呈现部30b可以构成为,利用ar(增强现实)技术,以在通过挡风玻璃被视觉辨认的实际的翻斗车的车厢上仿佛实际存在ar图像(例如上述主要标记)的方式呈现ar图像。即,图像呈现部30b可以利用投影映射技术使主要标记显示于翻斗车的车厢。
83.图像呈现部30b可以作为显示装置40的控制部40a所具备的功能要件而实现。
84.操作支援部30c构成为支援操作者对挖土机100的操作。在本实施方式中,操作支援部30c构成为在满足与翻斗车的车厢和铲斗6之间的位置关系相关的规定条件的情况下输出警报。规定条件例如是翻斗车的车厢的前面板与铲斗6之间的距离小于规定值等。
85.操作支援部30c例如在判定为前面板与铲斗6之间的距离小于规定值的情况下,对声音输出装置43输出控制指令,使警报声从声音输出装置43输出。距离例如是水平距离。操作支援部30c可以根据前面板与铲斗6之间的距离的大小来改变声音输出装置43输出的声音的间隔及频率(高低)等,由此将前面板与铲斗6之间的距离的大小通知到操作者。操作支援部30c例如在判定为前面板与铲斗6之间的距离小于规定值的情况下,可以对显示装置40输出控制指令,并显示警告消息。
86.操作支援部30c例如在判定为前面板与铲斗6之间的距离小于规定值的情况下,可以设定附属装置的动作速度的上限。具体而言,操作支援部30c可以设定铲斗6的打开速度的上限。在该情况下,操作支援部30c根据铲斗6的铲尖位置的推移来监视铲斗6的打开速度,在该打开速度达到规定上限值的情况下,对与控制阀158的左侧先导端口对应的减压阀50l输出控制指令。接收到控制指令的减压阀50l减小作用于控制阀158的左侧先导端口上的控制压力,并抑制铲斗6的打开动作。操作支援部30c可以根据铲斗角度传感器s3的输出来监视铲斗6的打开速度。
87.操作支援部30c例如在判定为前面板与铲斗6有可能接触的情况下,可以使附属装置的移动停止。具体而言,操作支援部30c例如在判定为前面板与铲斗6之间的距离小于规定值的情况下,可以使附属装置的移动停止。
88.在此,参考图4a及图4b,对图像呈现部30b呈现图像时的挖掘附属装置at与翻斗车60的位置关系进行说明。图4a及图4b表示图像呈现部30b呈现图像时的挖掘附属装置at与翻斗车60的位置关系的一例。在图4a及图4b所示例中,挖土机100位于翻斗车60的后方,并将铲斗6提升到翻斗车60的车厢上。另外,为了清楚起见,图4a及图4b以简化模型示出挖掘附属装置at。具体而言,图4a是挖掘附属装置at及翻斗车60的右侧视图,图4b是挖掘附属装置at及翻斗车60的后视图。
89.如图4a所示,动臂4构成为能够以与y轴(上部回转体3的左右轴)平行的转动轴j为中心进行转动。同样地,斗杆5可转动地安装于动臂4的前端,铲斗6可转动地安装于斗杆5的前端。动臂角度传感器s1安装于位于由点p1表示的位置上的、上部回转体3与动臂4的连结部。斗杆角度传感器s2安装于位于由点p2表示的位置上的、动臂4与斗杆5的连结部。铲斗角度传感器s3安装于位于由点p3表示的位置上的、斗杆5与铲斗6的连结部。点p4表示铲斗6的前端(铲尖)的位置。点p5表示前传感器70f及前摄像机80f的安装位置。
90.在图4a所示例中,动臂角度传感器s1测定动臂4的长边方向与基准水平面(xy面)之间的角度作为动臂角度θ1。斗杆角度传感器s2测定动臂4的长边方向与斗杆5的长边方向之间的角度作为斗杆角度θ2。铲斗角度传感器s3测定斗杆5的长边方向与铲斗6的长边方向之间的角度作为铲斗角度θ3。动臂4的长边方向意味着在与转动轴j垂直的面内(xz面内)通过点p1和点p2的直线的方向。斗杆5的长边方向意味着在xz面内通过点p2和点p3的直线的方向。铲斗6的长边方向意味着在xz面内通过点p3和点p4的直线的方向。
91.控制器30例如能够根据机体倾斜传感器s4及回转角速度传感器s5各自的输出来
导出点p1相对于挖土机100的中心点的相对位置。然后,控制器30能够根据动臂角度传感器s1、斗杆角度传感器s2及铲斗角度传感器s3各自的输出来导出点p2~p4分别相对于点p1的相对位置。同样地,控制器30能够导出铲斗6的背面的端部等挖掘附属装置at的任意部位相对于点p1的相对位置。
92.此外,控制器30能够根据前传感器70f及前摄像机80f各自的已知安装位置来导出点p5相对于点p1的相对位置。
93.在图4a及图4b所示例中,翻斗车60具有安装于车厢61上的门62。门62是构成车厢61的侧壁的可开闭部件,并包括后门62b、左侧门62l及右侧门62r。并且,翻斗车60具有形成于车厢61的后端部的支柱61p。支柱61p是将后门62b支承为可开闭的部件,并包括左支柱61pl及右支柱61pr。此外,翻斗车60具有将车厢与驾驶室隔开的前面板63。
94.控制器30能够根据前传感器70f的输出来导出翻斗车60的各部相对于点p1的相对位置。翻斗车60的各部例如是后门62b的左端及右端各自的上端、左侧门62l的上端、右侧门62r的上端、以及前面板63的左上端及右上端等。
95.如此,控制器30能够导出基准坐标系中的挖掘附属装置at上的各部的坐标和翻斗车60的各部的坐标。
96.接着,参考图5a,关于对在装载作业时通过周围监视装置被检测为对象物的翻斗车进行引导的例子进行说明。装载作业是挖土机100将沙土装载到翻斗车60的车厢中的作业。图5a表示在装载作业时显示于显示装置40上的图像的一例。
97.画面显示部41包括日期和时间显示区域41a、行走模式显示区域41b、附属装置显示区域41c、油耗率显示区域41d、引擎控制状态显示区域41e、引擎运转时间显示区域41f、冷却水温度显示区域41g、燃料余量显示区域41h、转速模式显示区域41i、尿素水余量显示区域41j、工作油温度显示区域41k、空调运行状态显示区域41m、图像显示区域41n及菜单显示区域41p。
98.行走模式显示区域41b、附属装置显示区域41c、引擎控制状态显示区域41e、转速模式显示区域41i及空调运行状态显示区域41m分别是显示与挖土机100的设定状态有关的信息即设定状态信息的区域。油耗率显示区域41d、引擎运转时间显示区域41f、冷却水温度显示区域41g、燃料余量显示区域41h、尿素水余量显示区域41j及工作油温度显示区域41k分别是显示与挖土机100的运转状态有关的信息即运转状态信息的区域。
99.日期和时间显示区域41a是显示当前日期和时间的区域。行走模式显示区域41b是显示当前行走模式的区域。附属装置显示区域41c是显示表示当前安装的附属装置的图像的区域。油耗率显示区域41d是显示通过控制器30被计算出的油耗率信息的区域。油耗率显示区域41d包括显示与整个期间有关的平均油耗率或与部分期间有关的平均油耗率的平均油耗率显示区域41d1、以及显示瞬间油耗率的瞬间油耗率显示区域41d2。整个期间例如意味着挖土机100出厂后的整个期间。部分期间例如意味着操作者任意设定的期间。
100.引擎控制状态显示区域41e是显示引擎11的控制状态的区域。引擎运转时间显示区域41f是显示与引擎11的运转时间有关的信息的区域。冷却水温度显示区域41g是显示当前引擎冷却水的温度状态的区域。燃料余量显示区域41h是显示储存于燃料罐中的燃料的余量状态的区域。转速模式显示区域41i是由图像来显示通过引擎转速调整转盘75被设定的当前转速模式的区域。尿素水余量显示区域41j是由图像来显示储存于尿素水罐中的尿
素水的余量状态的区域。工作油温度显示区域41k是显示工作油罐内的工作油的温度状态的区域。
101.空调运行状态显示区域41m包括显示当前排出口位置的排出口显示区域41m1、显示当前运行模式的运行模式显示区域41m2、显示当前设定温度的温度显示区域41m3、以及显示当前设定风量的风量显示区域41m4。
102.图像显示区域41n是显示各种图像的区域。各种图像例如是控制器30的图像呈现部30b呈现的图像、以及摄像装置80拍摄到的图像等。图像显示区域41n具有位于上方的第1图像显示区域41n1和位于下方的第2图像显示区域41n2。在图5a所示例中,在第1图像显示区域41n1中显示有图像呈现部30b生成的图示图像am,在第2图像显示区域41n2中显示有后摄像机80b拍摄到的后图像cbt。然而,也可以在第1图像显示区域41n1中显示后图像cbt,在第2图像显示区域41n2中显示图示图像am。并且,在图5a所示例中,第1图像显示区域41n1与第2图像显示区域41n2上下相邻配置,但是也可以隔开间隔地配置。
103.后图像cbt是显现挖土机100后方的空间的图像,包括表示配重上表面的一部分的图像gc。在本实施方式中,后图像cbt是通过控制部40a生成的实际视点图像,根据后摄像机80b所获取的图像而生成。
104.在第2图像显示区域41n2中可以显示俯瞰图像,而不是显示后图像cbt。俯瞰图像是通过控制部40a生成的假想视点图像,根据后摄像机80b、左摄像机80l及右摄像机80r分别获取的图像而生成。并且,在俯瞰图像的中央部分配置有与挖土机100对应的挖土机图形。这是为了使操作者直观地掌握挖土机100与存在于挖土机100周围的物体的位置关系。
105.在图5a所示例中,图像显示区域41n是纵长区域,但是也可以是横长区域。在图像显示区域41n是横长区域的情况下,图像显示区域41n例如可以在左侧的第1图像显示区域41n1中显示图示图像am,在右侧的第2图像显示区域41n2中显示后图像cbt。在该情况下,第1图像显示区域41n1与第2图像显示区域41n2可以左右隔开间隔地配置。并且,第1图像显示区域41n1可以配置于右侧,第2图像显示区域41n2可以配置于左侧。
106.菜单显示区域41p具有标签区域41p1~41p7。在图5a所示例中,在图像显示部41的最下部,标签区域41p1~41p7左右彼此隔开间隔地配置。在标签区域41p1~41p7上分别显示有表示相关信息内容的图标。
107.在标签区域41p1中显示有用于显示菜单详细项目的菜单详细项目图标。若由操作者选择标签区域41p1,则显示于标签区域41p2~41p7中的图标切换为与菜单详细项目相关联的图标。
108.在标签区域41p4中显示有用于显示与数字水平仪有关的信息的图标。若由操作者选择标签区域41p4,则后图像cbt切换为表示与数字水平仪有关的信息的第1图像。
109.在标签区域41p6中显示有用于显示与信息化施工有关的信息的图标。若由操作者选择标签区域41p6,则后图像cbt切换为表示与信息化施工有关的信息的第2图像。
110.在标签区域41p7中显示有用于显示与起重机模式有关的信息的图标。若由操作者选择标签区域41p7,则后图像cbt切换为表示与起重机模式有关的信息的第3图像。
111.然而,第1图像、第2图像或第3图像等菜单图像均可以重叠显示于后图像cbt上。或者,后图像cbt可以缩小,以空出用于显示菜单图像的位置。或者,图像显示区域41n可以构成为使图示图像am切换为菜单图像。或者,菜单图像可以重叠显示于图示图像am上。或者,
图示图像am可以缩小,以空出用于显示菜单图像的位置。
112.在标签区域41p2、41p3及41p5中未显示有图标。因此,即使由操作者操作标签区域41p2、41p3或41p5,显示于图像显示部41上的图像也不发生变化。
113.另外,在标签区域41p1~41p7中显示的图标并不限定于上述例子,也可以显示有用于显示其他信息的图标。
114.在图5a所示例中,操作部42由用于使操作者选择标签区域41p1~41p7、以及进行设定输入等的多个按钮式开关构成。具体而言,操作部42包括配置于上段的7个开关42a1~42a7和配置于下段的7个开关42b1~42b7。开关42b1~42b7配置于开关42a1~42a7各自的下方。然而,操作部42的开关的数量、形式及配置并不限定于上述例子。例如,操作部42可以是如拨动轮或拨动开关等那样将多个按钮式开关的功能汇总为一个的方式。并且,操作部42可以构成为从显示装置40独立的部件。并且,标签区域41p1~41p7可以作为软件按钮而构成。在该情况下,操作者通过对标签区域41p1~41p7进行触摸操作,能够选择任意的标签区域。
115.在图5a所示例中,开关42a1对应于标签区域41p1而配置在标签区域41p1的下方,并作为选择标签区域41p1的开关发挥作用。关于开关42a2~42a7的每一个也相同。
116.根据该结构,操作者能够直观地识别在选择标签区域41p1~41p7中的所期望的一个时操作开关42a1~42a7中的哪一个即可。
117.开关42b1是切换显示于图像显示区域41n中的摄像图像的开关。摄像图像意味着摄像装置80所拍摄到的图像。显示装置40构成为,每当开关42b1被操作时,在图像显示区域41n的第1图像显示区域41n1中显示的摄像图像例如在后图像cbt、左摄像机80l拍摄到的左图像、右摄像机80r拍摄到的右图像、以及图示图像am之间被切换。或者,显示装置40可以构成为,每当开关42b1被操作时,在图像显示区域41n的第2图像显示区域41n2中显示的摄像图像例如在后图像cbt、左图像、右图像、以及图示图像am之间被切换。或者,显示装置40可以构成为,每当开关42b1被操作时,在图像显示区域41n的第1图像显示区域41n1中显示的摄像图像和在第2图像显示区域41n2中显示的摄像图像被调换。
118.如此,操作者可以通过操作作为操作部42的开关42b1而切换在第1图像显示区域41n1或第2图像显示区域41n2中显示的图像。或者,操作者可以通过操作开关42b1而切换在第1图像显示区域41n1和2图像显示区域41n2中显示的图像。显示装置40可以另外具备用于切换在第2图像显示区域41n2中显示的图像的开关。
119.开关42b2、42b3是调节空调风量的开关。在图5a所示例中,操作部42构成为,若开关42b2被操作,则空调的风量变小,若开关42b3被操作,则空调的风量变大。
120.开关42b4是切换制冷/供暖功能的开启/关闭的开关。在图5a所示例中,操作部42构成为,每当开关42b4被操作时,制冷/供暖功能的开启/关闭被切换。
121.开关42b5、42b6是调节空调的设定温度的开关。在图5a所示例中,操作部42构成为,若开关42b5被操作,则设定温度变低,若开关42b6被操作,则设定温度变高。
122.开关42b7是切换在引擎运转时间显示区域41f中显示的、与引擎11的运转时间有关的信息内容的开关。与引擎11的运转时间有关的信息例如包括与整个期间有关的累计运转时间、以及与部分期间有关的累计运转时间等。
123.并且,开关42a2~42a6、42b2~42b6构成为能够输入在各个开关或开关附近显示
的数字。并且,开关42a3、42a4、42a5、42b4构成为当光标显示于图像显示部41时,能够使光标分别向左、向上、向右、向下移动。
124.另外,赋予开关42a1~42a7、42b1~42b7的功能为一例,也可以构成为能够执行其他功能。
125.接着,对图示图像am的细节进行说明。图示图像am是图像呈现部30b呈现的、表示翻斗车的车厢与铲斗6的铲尖之间的位置关系的前方图像的一例。在图5a所示例中,图示图像am包括图形g1~图形g4。
126.图形g1是表示从左侧观察到的动臂4的上侧部分的图形。在图5a所示例中,图形g1是表示包括安装斗杆脚销的部分等在内的动臂4的上侧部分的图形,包括表示斗杆缸8的图形。即,图形g1未包括表示包括安装动臂脚销的部分及安装动臂缸7的前端的部分等在内的动臂4的下侧部分的图形。并且,图形g1未包括表示动臂缸7的图形。这是为了通过省略表示当支援装载作业时呈现给操作者的必要性低的部分即动臂4的下侧部分的图形的显示而简化图形g1,由此提高表示当支援装载作业时呈现给操作者的必要性高的部分即动臂4的上侧部分的图形的可见性。图形g1也可以不包括表示斗杆缸8的图形。
127.图形g1以配合实际的动臂4的移动而移动的方式显示。具体而言,控制器30例如根据动臂角度传感器s1检测的动臂角度θ1的变化来改变图形g1的位置及姿势。
128.图形g2是表示从左侧观察到的斗杆5的图形。在图5a所示例中,图形g2是表示整个斗杆5的图形,包括表示铲斗缸9的图形。然而,图形g2也可以不包括表示铲斗缸9的图形。
129.图形g2以配合实际的斗杆5的移动而移动的方式显示。具体而言,控制器30例如根据动臂角度传感器s1检测的动臂角度θ1的变化、以及斗杆角度传感器s2检测的斗杆角度θ2的变化来改变图形g2的位置及姿势。
130.图形g3是表示从左侧观察到的铲斗6的图形。在图5a所示例中,图形g3是表示整个铲斗6的图形,包括表示铲斗连杆的图形。然而,图形g3也可以不包括表示铲斗连杆的图形。
131.图形g3以配合实际的铲斗6的移动而移动的方式显示。具体而言,控制器30例如根据动臂角度传感器s1检测的动臂角度θ1的变化、斗杆角度传感器s2检测的斗杆角度θ2的变化、以及铲斗角度传感器s3检测的铲斗角度θ3的变化来改变图形g3的位置及姿势。
132.如此,图示图像am以包括除去附属装置的根部(近端部分)的部分即附属装置的远端部分的图形的方式生成。附属装置的近端部分意味着在附属装置中靠近上部回转体3的部分,例如包括动臂4的下侧部分。附属装置的远端部分意味着在附属装置中远离上部回转体3的部分,例如包括动臂4的上侧部分、斗杆5及铲斗6。这是为了通过省略表示当支援装载作业时呈现给操作者的必要性低的部分即附属装置的近端部分的图形的显示而简化图示图像am,由此提高表示当支援装载作业时呈现给操作者的必要性高的部分即附属装置的远端部分的图形的可见性。
133.图形g4是表示从左侧观察到的翻斗车60的图形。在图5a所示例中,图形g4是表示整个翻斗车60的图形,包括表示后门62b的图形g40、表示左侧门62l的图形g41、以及表示前面板63的图形g42。图形g4可以不包括表示后门62b、左侧门62l及前面板63以外的部分的图形。或者,图形g4可以不包括表示左侧门62l及前面板63以外的部分的图形。另一方面,图形g4可以包括表示实际上看不见的翻斗车60的车厢61的底面的图形(例如虚线)。
134.图形g4以配合实际的翻斗车60的移动而移动的方式显示。具体而言,控制器30例
如根据物体检测装置70及摄像装置80中的至少一个的输出变化来改变图形g4的位置及姿势。控制器30可以构成为能够将翻斗车60的停止位置通知到翻斗车60的驾驶者。例如,控制器30可以利用设置在驾驶舱10外部的声音输出装置来改变声音输出装置输出的声音的间隔及频率(高低)等,由此将翻斗车60的当前位置与适合于装载作业的位置之间的距离的大小通知到翻斗车60的驾驶者。
135.控制器30可以根据机体倾斜传感器s4及回转角速度传感器s5等的检测值的变化来改变图形g1~图形g4的位置、姿势及形状中的至少一个。并且,控制器30可以根据翻斗车60所在地面的高度与挖土机100所在地面的高度之差来改变图形g1~图形g4的位置、姿势及形状中的至少一个。
136.图形g1~图形g4分别可以预先准备多种类型。在该情况下,图形g3的类型例如可以根据铲斗6的类型及尺寸等中的至少一个来切换。并且,图形g4的类型例如可以根据翻斗车60的类型及尺寸等中的至少一个来切换。关于图形g1及图形g2也相同。
137.查看如图5a所示的图示图像am的挖土机100的操作者能够直观地掌握由图形g3表示的铲斗6的铲尖与由图形g41表示的左侧门62l的上端之间的距离的大小。并且,挖土机100的操作者能够直观地掌握铲斗6的铲尖或背面与由图形g42表示的前面板63之间的距离的大小。并且,在图示图像am包括表示车厢61的底面的图形的情况下,挖土机100的操作者能够直观地掌握铲斗6的铲尖与车厢61的底面之间的距离的大小。
138.另外,在图5a所示例中,图形g1~图形g4表示从左侧观察到挖掘附属装置at及翻斗车60时的状态,但是也可以表示从右侧观察到挖掘附属装置at及翻斗车60时的状态,也可以表示从正上方观察到挖掘附属装置at及翻斗车60时的状态。并且,从左侧观察时的状态、从右侧观察时的状态、以及从正上方观察时的状态中的至少两种状态可以同时显示。
139.接着,参考图5b,关于对在装载作业时通过周围监视装置被检测为对象物的翻斗车进行引导的另一例进行说明。图5b表示在装载作业时在显示装置40的图像显示区域41n中显示的图示图像am的另一例。
140.图5b所示的图示图像am在主要包括静态(固定)显示的图形g5及图形g6这一点上,与包括动态(可变)显示的图形g1~图形g4的图5a所示的图示图像am不同。
141.图形g5是表示从左侧观察到的挖掘附属装置at的前端部的图形。在图5b所示例中,图形g5是表示挖掘附属装置at的比位于动臂4前端的斗杆连结部更靠近前端侧的部分的图形,即表示斗杆5及铲斗6的被简化的图形,未包括表示铲斗连杆及铲斗缸9的图形。另外,图形g5中包括的铲斗6的图形表示实际应用上最大打开状态的铲斗6。“实际应用上最大打开状态”下的铲斗角度θ3是排土作业等通常作业中打开铲斗6时的实际应用上最大铲斗打开角度,小于规格上最大打开状态下的铲斗角度θ3,即规格上铲斗最大打开角度。在通常作业中,铲斗角度θ3几乎不会超过实际应用上最大铲斗打开角度。图形g5可以预先准备多种类型。在该情况下,图形g5的类型例如可以根据铲斗6的类型及尺寸等中的至少一个被切换。
142.具体而言,图形g5包括图形g51~图形g54。图形g51~图形g54具有相同的尺寸、姿势及形状。然而,图形g51~图形g54各自的姿势可以以与斗杆5及铲斗6各自的实际姿势一致的方式彼此不同。
143.图形g51~图形g54静态(固定)且同时显示于第1图像显示区域41n1中,而与实际
的挖掘附属装置at的移动无关。另一方面,图形g51~图形g54以根据实际的挖掘附属装置at的移动而使颜色、亮度及深浅等中的至少一种改变的方式显示,以使挖土机100的操作者能够识别实际的挖掘附属装置at与翻斗车60之间的位置关系。具体而言,在图形g51~图形g54中,表示与实际的挖掘附属装置at与翻斗车60之间的位置关系最接近的位置关系的图形被涂成第1颜色(例如深蓝色)。并且,在图形g51~图形g54中,表示与经过规定时间后的挖掘附属装置at与翻斗车60之间的位置关系最接近的位置关系的图形被涂成第2颜色(例如浅蓝色)。
144.在图5b所示例中,图形g53作为表示与当前挖掘附属装置at与翻斗车60之间的位置关系最接近的位置关系的图形被涂成第1颜色。并且,图形g54作为表示与经过规定时间后的挖掘附属装置at与翻斗车60之间的位置关系最接近的位置关系的图形被涂成第2颜色。挖土机100的操作者通过查看被涂成第1颜色的图形g53,能够掌握当前挖掘附属装置at与翻斗车60之间的位置关系,并且通过查看被涂成第2颜色的图形g54,能够掌握挖掘附属装置at朝向翻斗车60的前面板63移动。
145.图形g6是表示从左侧观察到的翻斗车60的图形。在图5b所示例中,图形g6是表示整个翻斗车60的图形,包括表示后门62b的图形g60、表示左侧门62l的图形g61、以及表示前面板63的图形g62。图形g6可以不包括表示后门62b、左侧门62l及前面板63以外的部分的图形。另一方面,图形g6可以包括实际上看不见的表示翻斗车60的车厢61的底面的图形(例如虚线)。
146.图形g6静态(固定)显示于第1图像显示区域41n1中,而与实际的翻斗车60的移动无关。然而,图形g6可以以配合实际的翻斗车60的移动而移动的方式显示。或者,图形g6也可以在翻斗车60到达规定位置之前不显示,在翻斗车60到达规定位置时显示。规定位置例如是挖土机100的回转轴与翻斗车60的后门62b之间的距离成为规定值的位置。
147.图形g6可以预先准备多种类型。在该情况下,图形g6的类型例如可以根据翻斗车60的类型及尺寸等中的至少一个来切换。
148.查看如图5b所示的图示图像am的挖土机100的操作者能够粗略且直观地掌握当前铲斗6与翻斗车60之间的位置关系。并且,操作者能够直观地掌握铲斗6靠近前面板63,并且能够粗略地掌握铲斗6与前面板63之间的距离的大小。
149.另外,在图5b所示例中,图形g5及图形g6表示从左侧观察到挖掘附属装置at及翻斗车60时的状态,但是也可以表示从右侧观察到挖掘附属装置at及翻斗车60时的状态,也可以表示从正上方观察到挖掘附属装置at及翻斗车60时的状态。并且,从左侧观察时的状态、从右侧观察时的状态、以及从正上方观察时的状态中的至少两种状态可以同时显示。
150.接着,参考图5c,关于图示图像am的又一例进行说明。图5c表示在装载作业时在显示装置40的图像显示区域41n中显示的图示图像am的又一例。具体而言,图5c是图5a所示的图示图像am的局部放大图。
151.图5c所示的图示图像am在主要包括图形g3a及图形g3b这一点上,与图5a所示的图示图像am不同。图形g3a及图形g3b是与从当前铲斗6的位置使铲斗6开闭时的铲斗6的位置有关的图形。具体而言,图形g3a表示规格上最大打开状态的铲斗6。图形g3b表示在从规格上最大闭合状态到规格上最大打开状态为止打开铲斗6时铲斗6的铲尖所描绘的轨迹。在图5c所示例中,由虚线表示的图形g3a及由点线表示的图形g3b与表示铲斗6的当前状态的图
形g3一同,以根据实际的铲斗6的位置变化而移动的方式显示。并且,在开闭铲斗6时,图形g3以根据铲斗6的实际打开程度而改变姿势的方式显示,但是图形g3a以维持姿势的方式显示,而与铲斗6的实际打开程度无关。另外,图形g3a及图形g3b仅限于在满足规定条件的情况下显示。规定条件例如是铲斗6与前面板63之间的距离小于规定值。这是为了简化铲斗6与前面板63不可能接触时的图示图形。
152.操作支援部30c例如在判定为上述轨迹与翻斗车60的车厢干涉的情况下,可以对声音输出装置43输出控制指令,并从声音输出装置43输出警报声,也可以对显示装置40输出控制指令,并显示警告消息。
153.查看如图5c所示的图示图像am的挖土机100的操作者能够同时且直观地掌握当前铲斗6与前面板63之间的距离的大小、以及最大限度地打开铲斗6时的铲斗6与前面板63之间的距离的大小。并且,操作者通过查看图形g3b,能够容易掌握开闭铲斗6时的铲尖与翻斗车60的位置关系。例如,操作者能够容易判断在当前铲斗6的位置最大限度地打开铲斗6时铲斗6是否与前面板63接触。另外,图形g3a及图形g3b中的至少一个可以添加到图5b所示的图示图像am中。
154.另外,图5a~图5c所示的图像可以不显示于在挖土机100的驾驶舱10内设置的显示装置40上,而显示于进行远程操作的操作者所利用的、附属于位于挖土机100外部的移动终端等支援装置的显示装置上。
155.接着,参考图6a,关于对在装载作业时通过周围监视装置被检测为对象物的翻斗车进行引导的又一例进行说明。图6a表示在装载作业时在显示装置40的图像显示区域41n中显示的图像的一例。
156.图6a所示的图像在主要包括前摄像机80f所拍摄到的前图像vm和重叠显示于前图像vm上的作为ar图像的图形gp10~图形gp14这一点上,与不包括前图像vm的图5a所示的图像不同。
157.图6a所示的前图像vm包括位于挖土机100前方的翻斗车60的图像。具体而言,前图像vm包括图像v1~v5。图像v1是铲斗6的图像。图像v2是前面板63的图像。图像v3是左侧门62l的图像。图像v4是右侧门62r的图像。图像v5是后门62b的图像。
158.图形gp10~图形gp14是表示距离基准点的距离的半透明点线标记。基准点例如是挖土机100的中心点。基准点可以是翻斗车60的车厢61的前端点或后端点,也可以是设置于施工现场的测量点。在图6a所示例中,图形gp10表示从挖土机100的中心点仅分开3.0米的位置,图形gp11是表示从挖土机100的中心点仅分开3.5米的位置,图形gp12是表示从挖土机100的中心点仅分开4.0米的位置,图形gp13是表示从挖土机100的中心点仅分开4.5米的位置,图形gp14是表示从挖土机100的中心点仅分开5.0米的位置。即,图形gp10~图形gp14是在远离基准点的方向上等间隔地配置的点线标记。在图6a所示例中,图形gp10~图形gp14在远离挖土机100的中心点的方向上以0.5米间隔配置的点线标记。
159.另外,基准点可以考虑作为对象物的翻斗车60的高度而计算。具体而言,控制器30可以通过周围监视装置来检测作为对象物的翻斗车60的位置、形状(尺寸)或类型。根据该检测结果,控制器30可以检测翻斗车60的高度,并计算位于翻斗车60的高度的平面上的挖土机100的中心点作为基准点。也可以从该基准点每隔恒定间隔而显示图形gp10~图形gp14。
160.并且,可以根据所检测出的翻斗车60的高度计算翻斗车60的车厢61的后端点作为基准点。此时,在翻斗车60的车厢61上的同一平面上,可以从作为基准点的后端点每隔恒定距离而显示图形gp10~图形gp14。
161.具体而言,图形gp10可以表示从翻斗车60的车厢61的后端点仅分开1.0米的位置,图形gp11可以表示从翻斗车60的车厢61的后端点仅分开2.0米的位置,图形gp12可以表示从翻斗车60的车厢61的后端点仅分开3.0米的位置,图形gp13可以表示从翻斗车60的车厢61的后端点仅分开4.0米的位置,图形gp14可以表示从翻斗车60的车厢61的后端点仅分开5.0米的位置。即,图形gp10~图形gp14成为在远离作为基准点的翻斗车60的车厢61的后端点的方向上等间隔地配置的点线标记。
162.并且,控制器30可以根据周围监视装置的检测结果来检测翻斗车60的车厢61的宽度及翻斗车60的车厢61的深度。根据所检测出的车厢61的宽度和所检测出的车厢61的深度来显示图形gp10~图形gp14。此时,以所检测出的车厢61的宽度与图形gp10~图形gp14的宽度一致的方式显示。如此,控制器30能够将作为对象物的翻斗车60的高度、宽度及深度等信息与作为引导的点线标记建立对应关联。因此,控制器30能够使图形gp10~图形gp14显示于翻斗车60的车厢61上的适当的位置。另外,在上述例中,控制器30可以仅根据翻斗车60的高度计算基准点,也可以根据翻斗车60的高度和宽度计算基准点。
163.并且,在图6a所示例中,在图形gp10~图形gp14中,铲斗6的铲尖的位置与投影到翻斗车60的车厢61上的位置(位于铲尖的铅垂下方的位置)最接近的图形即图形gp12从半透明点线标记切换为半透明实线标记。
164.查看如图6a所示的前图像vm的挖土机100的操作者能够直观地掌握位于铲斗6的铲尖的铅垂下方的位置位于从挖土机100仅分开规定距离(在图6a所示例中为4.0米)的位置附近。并且,操作者在将基准点设为翻斗车60的后端点的情况下,能够直观地掌握铲斗6的铲尖的铅垂下方的位置位于从翻斗车60的后端点仅分开规定距离的位置附近。
165.另外,图6a所示的图像可以不显示于设置在驾驶舱10内的显示装置40上,而显示于进行远程操作的操作者所利用的、附属于位于挖土机100外部的移动终端等支援装置的显示装置上。
166.接着,参考图6b,关于对在装载作业时通过周围监视装置被检测为对象物的翻斗车进行引导的又一例进行说明。图6b表示在装载作业时在显示装置40的图像显示区域41n中显示的图像的另一例,并对应于图6a。具体而言,图6b所示的图像在显示图形gp20~图形gp22来代替图形gp10~图形gp14这一点上,与图6a所示的图像不同,但是其他方面与图6a所示的图像相同。因此,省略相同部分的说明,对不同部分进行详细说明。
167.图形gp20是表示铲斗6的铲尖的正下方位置的半透明实线标记。图形gp21是表示从挖土机100的中心点仅分开规定的第1距离的位置的虚线标记。图形gp22是表示从挖土机100的中心点仅分开大于第1距离的规定的第2距离的位置的半透明虚线标记。图形gp21及图形gp22可以是与从当前铲斗6的位置使铲斗6开闭时的铲斗6的位置有关的图形。例如,图形gp21可以是表示从当前铲斗6的位置最大限度地闭合铲斗6时的铲斗6的铲尖的正下方位置的标记。并且,图形gp22可以是表示从当前铲斗6的位置最大限度地打开铲斗6时的铲斗6的铲尖的正下方位置的标记。在图6b所示例中,图形gp20~图形gp22均以遍及翻斗车60的车厢61的整个宽度延伸的方式显示。图形gp20与图形gp21之间的区域可以被涂成规定的半
透明颜色。关于图形gp20与图形gp22之间的区域也相同。图形gp20与图形gp21之间的区域可以被涂成与图形gp20与图形gp22之间的区域不同的半透明颜色。
168.另外,基准点可以考虑作为对象物的翻斗车60的高度而计算。具体而言,控制器30可以通过周围监视装置来检测作为对象物的翻斗车60的位置、形状(尺寸)或类型。根据该检测结果,控制器30可以检测翻斗车60的高度,并计算位于翻斗车60的高度的平面上的挖土机100的中心点作为基准点。也可以从该基准点每隔恒定间隔而显示图形gp20~图形gp22。
169.查看如图6b所示的前图像vm的挖土机100的操作者能够直观地掌握铲斗6的铲尖的铅垂下方的位置位于从挖土机100仅分开第1距离的位置与仅分开第2距离的位置之间。
170.另外,图6b所示的图像可以不显示于在挖土机100的驾驶舱10内设置的显示装置40上,而显示于进行远程操作的操作者所利用的、附属于位于挖土机100外部的移动终端等支援装置的显示装置上。
171.接着,参考图6c,关于对在装载作业时通过周围监视装置被检测为对象物的翻斗车进行引导的又一例进行说明。图6c是表示装载作业时的驾驶舱10内的状况的图。具体而言,图6c表示在驾驶舱10的挡风玻璃fg上显示有ar图像的状况。
172.驾驶舱10内的操作者通过挡风玻璃fg视觉辨认动臂4、斗杆5、铲斗6及翻斗车60。具体而言,驾驶舱10内的就坐在驾驶座上的操作者通过挡风玻璃fg视觉辨认铲斗6的铲尖位于由后门62b、左侧门62l、右侧门62r及前面板63划分的翻斗车60的车厢61的正上方的状况。并且,操作者视觉辨认在翻斗车60的车厢61上以仿佛实际存在的方式显示的标记(ar图像)。
173.图6c所示的ar图像利用投影仪投影到挡风玻璃fg上。然而,图6c所示的ar图像可以利用粘贴在挡风玻璃fg上的透射型有机el显示器或透射型液晶显示器等显示装置来显示。
174.图6c所示的ar图像主要包括图形gp30~图形gp34。图形gp30~图形gp34对应于图6a所示的图形gp10~图形gp14。具体而言,图形gp30表示从挖土机100的中心点仅分开3.0米的位置,gp31表示从挖土机100的中心点仅分开3.5米的位置,图形gp32表示从挖土机100的中心点仅分开4.0米的位置,图形gp33表示从挖土机100的中心点仅分开4.5米的位置,图形gp34表示从挖土机100的中心点仅分开5.0米的位置。即,图形gp30~图形gp34是在远离基准点的方向上等间隔地配置的点线标记。在图6c所示例中,图形gp30~图形gp34是在远离挖土机100的中心点的方向上以0.5米间隔配置的点线标记。
175.另外,基准点考虑作为对象物的翻斗车60的高度而计算。具体而言,控制器30可以通过周围监视装置来检测作为对象物的翻斗车60的位置、形状(尺寸)或类型。根据该检测结果,控制器30可以检测翻斗车60的高度,并计算位于翻斗车60的高度的平面上的挖土机100的中心点作为基准点。也可以从该基准点每隔恒定间隔而显示图形gp30~图形gp14。
176.并且,控制器30可以根据所检测出的翻斗车60的高度计算翻斗车60的车厢61的后端点作为基准点。此时,在翻斗车60的车厢61上的同一平面上,可以从作为基准点的后端点每隔恒定距离而显示图形gp30~图形gp34。
177.具体而言,图形gp30可以表示从翻斗车60的车厢61的后端点仅分开1.0米的位置,图形gp31可以表示从翻斗车60的车厢61的后端点仅分开2.0米的位置,图形gp32可以表示
从翻斗车60的车厢61的后端点仅分开3.0米的位置,图形gp33可以表示从翻斗车60的车厢61的后端点仅分开4.0米的位置,图形gp34可以表示从翻斗车60的车厢61的后端点仅分开5.0米的位置。即,图形gp30~图形gp34成为在远离作为基准点的翻斗车60的车厢61的后端点的方向上等间隔地配置的点线标记。
178.并且,控制器30可以根据周围监视装置的检测结果来检测翻斗车60的车厢61的宽度及翻斗车60的车厢61的深度。根据所检测出的车厢61的宽度和所检测出的车厢61的深度来显示图形gp30~图形gp34。此时,以所检测出的车厢61的宽度与图形gp30~图形gp34的宽度一致的方式显示。如此,控制器30能够将作为对象物的翻斗车60的高度、宽度及深度等信息与作为引导的点线标记建立对应关联。因此,控制器30能够使图形gp30~图形gp34显示于翻斗车60的车厢61上的适当的位置。另外,在上述例中,控制器30可以仅根据翻斗车60的高度计算基准点,也可以根据翻斗车60的高度和宽度计算基准点。
179.并且,在图6c所示例中,在图形gp30~图形gp34中,与位于铲斗6的铲尖的铅垂下方的位置最接近的图形即图形gp32从半透明点线标记切换为半透明实线标记。
180.与查看如图6a所示的前图像vm的情况同样地,查看如图6c所示的ar图像的挖土机100的操作者能够直观地掌握位于铲斗6的铲尖的铅垂下方的位置位于从挖土机100仅分开规定距离(在图6c所示例中为4.0米)的位置附近。并且,操作者在将基准点设为翻斗车60的后端点的情况下,能够直观地掌握铲斗6的铲尖的铅垂下方的位置位于从翻斗车60的后端点仅分开规定距离的位置附近。
181.接着,参考图6d,关于对在装载作业时通过周围监视装置被检测为对象物的翻斗车进行引导的又一例进行说明。图6d是表示装载作业时的驾驶舱10内的状况的图,并对应于图6c。
182.图6d所示的ar图像主要包括图形gp40~图形gp42。图形gp40~图形gp42对应于图6b所示的图形gp20~图形gp22。具体而言,图形gp40是表示铲斗6的铲尖的正下方位置的半透明实线标记。图形gp41是表示从挖土机100的中心点仅分开规定的第1距离的位置的半透明虚线标记。图形gp42是表示从挖土机100的中心点仅分开大于第1距离的规定的第2距离的位置的半透明虚线标记。图形gp41及图形gp42可以是与从当前铲斗6的位置使铲斗6开闭时的铲斗6的位置有关的图形。例如,图形gp41可以是表示从当前铲斗6的位置最大限度地闭合铲斗6时的铲斗6的铲尖的正下方位置的标记。并且,图形gp42可以是表示从当前铲斗6的位置最大限度地打开铲斗6时的铲斗6的铲尖的正下方位置的标记。图形gp40与图形gp41之间的区域可以被涂成规定的半透明颜色。关于图形gp40与图形gp42之间的区域也相同。图形gp40与图形gp41之间的区域可以被涂成与图形gp40与图形gp42之间的区域不同的半透明颜色。
183.另外,基准点可以考虑作为对象物的翻斗车60的高度而计算。具体而言,控制器30可以通过周围监视装置来检测作为对象物的翻斗车60的位置、形状(尺寸)或类型。根据该检测结果,控制器30可以检测翻斗车60的高度,并计算位于翻斗车60的高度的平面上的挖土机100的中心点作为基准点。也可以从该基准点每隔恒定间隔而显示图形gp40~图形gp42。
184.与查看如图6b所示的前图像vm的情况同样地,查看如图6d所示的ar图像的挖土机100的操作者能够直观地掌握将铲斗6的铲尖的位置投影到翻斗车60的车厢61上的位置位
于从挖土机100仅分开第1距离的位置与仅分开第2距离的位置之间。并且,操作者在将基准点设为翻斗车60的后端点的情况下,能够直观地掌握将铲斗6的铲尖的位置投影到翻斗车60的车厢61上的位置位于从翻斗车60的后端点仅分开第1距离的位置与仅分开第2距离的位置之间。
185.接着,参考图6e,关于对在装载作业时通过周围监视装置被检测为对象物的翻斗车进行引导的又一例进行说明。图6e表示图6a、图6b、图6c或图6d所示的ar图像的另一例。
186.图6e所示的ar图像在包括表示最大限度地打开铲斗6时的铲尖的正下方位置的图形gp51这一点上,与图6a~图6d分别表示的ar图像不同。
187.具体而言,图6e所示的ar图像包括图形gp50及图形gp51。图形gp50是表示铲斗6的铲尖的正下方位置的半透明实线标记。图形gp51是与从当前铲斗6的位置打开铲斗6时的铲斗6的位置有关的图形。具体而言,图形gp51是表示最大限度地打开铲斗6时的铲尖的正下方位置的半透明虚线标记。图6e所示的ar图像可以包括表示最大限度地闭合铲斗6时的铲尖的正下方位置的标记等图形。
188.查看如图6e所示的ar图像的挖土机100的操作者能够同时且直观地掌握将铲斗6的铲尖的位置投影到铅垂下方的翻斗车60的车厢61上的位置、以及将最大限度地打开铲斗6时的铲斗6的铲尖的位置投影到铅垂下方的翻斗车60的车厢61上的位置。因此,例如,即使为了排出装入到铲斗6内的沙土等被挖掘物而打开铲斗6,操作者也能够容易确认是否有可能使铲斗6接触到翻斗车60的前面板63。
189.接着,参考图7,关于图示图像am的又一例进行说明。图7表示作为与起重机作业时在显示装置40的图像显示区域41n中显示的起重机作业有关的引导的图示图像am的一例。起重机作业是挖土机100将起吊物起吊并使其移动的作业。起吊物例如是土管或休谟管等导水管。
190.在图7所示例中,图示图像am是表示图像呈现部30b呈现的、通过挖土机100被起吊的导水管与已设置在形成于地面上的挖掘槽中的导水管(以下,设为“既设导水管”。)的位置关系的前方图像的一例。在图7所示例中,图示图像am包括图形g1~g3、图形g70~图形g74、以及图形g80~图形g82。
191.图形g1是表示从左侧观察到的动臂4的上侧部分的图形。在图7所示例中,图形g1是表示包括安装斗杆脚销的部分等在内的动臂4的上侧部分的图形,包括表示斗杆缸8的图形。即,图形g1未包括表示包括安装动臂脚销的部分及安装动臂缸7的前端的部分等在内的动臂4的下侧部分的图形。并且,图形g1未包括表示动臂缸7的图形。这是为了通过省略表示当支援起重机作业时呈现给操作者的必要性低的部分即动臂4的下侧部分的图形的显示而简化图形g1,由此提高表示当支援起重机作业时呈现给操作者的必要性高的部分即动臂4的上侧部分的图形可见性。图形g1也可以不包括表示斗杆缸8的图形。即,可以省略表示斗杆缸8的图形。
192.图形g1以配合实际的动臂4的移动而移动的方式显示。具体而言,控制器30例如根据动臂角度传感器s1检测的动臂角度θ1的变化来改变图形g1的位置及姿势。
193.图形g2是表示从左侧观察到的斗杆5的图形。在图7所示例中,图形g2是表示整个斗杆5的图形,包括表示铲斗缸9的图形。然而,图形g2也可以不包括表示铲斗缸9的图形。即,可以省略表示铲斗缸9的图形。
194.图形g2以配合实际的斗杆5的移动而移动的方式显示。具体而言,控制器30例如根据动臂角度传感器s1检测的动臂角度θ1的变化、以及斗杆角度传感器s2检测的斗杆角度θ2的变化来改变图形g2的位置及姿势。
195.图形g3是表示从左侧观察到的铲斗6的图形。在图7所示例中,图形g3是表示整个铲斗6的图形,包括表示铲斗连杆的图形。然而,图形g3也可以不包括表示铲斗连杆的图形。即,可以省略表示铲斗连杆的图形。
196.图形g3以配合实际的铲斗6的移动而移动的方式显示。具体而言,控制器30例如根据动臂角度传感器s1检测的动臂角度θ1的变化、斗杆角度传感器s2检测的斗杆角度θ2的变化、以及铲斗角度传感器s3检测的铲斗角度θ3的变化来改变图形g3的位置及姿势。
197.如此,图示图像am以包括除去附属装置的根部(近端部分)的部分即附属装置的远端部分的图形的方式生成。附属装置的近端部分意味着在附属装置中靠近上部回转体3的部分,例如包括动臂4的下侧部分。附属装置的远端部分意味着在附属装置中远离上部回转体3的部分,例如包括动臂4的上侧部分、斗杆5及铲斗6。这是为了通过省略表示当支援起重机作业时呈现给操作者的必要性低的部分即附属装置的近端部分的图形的显示而简化图示图像am,由此提高表示当支援起重机作业时呈现给操作者的必要性高的部分即附属装置的远端部分的图形的可见性。
198.图形g70是从左侧观察的吊钩。在图7所示例中,图形g70表示可容纳地安装于铲斗连杆处的吊钩。
199.图形g71表示安装于起吊物上的吊绳。在图7所示例中,图形g71表示缠绕在作为起吊物的导水管上的吊绳。另外,吊绳可以是缆绳。
200.图形g72表示起吊物。在图7所示例中,图形g72表示通过挖土机100被起吊的作为起吊物的导水管。图形g72的位置、大小及形状等根据导水管的位置及姿势等的变化而改变。导水管的位置及姿势等根据物体检测装置70及摄像装置80中的至少一个的输出来计算。
201.图形g73表示挖掘槽。在图7所示例中,图形g73表示通过挖土机100的挖掘而形成的挖掘槽的截面。图形g73的位置、大小及形状等根据挖掘槽的位置及深度等的变化而改变。挖掘槽的位置及深度等根据物体检测装置70及摄像装置80中的至少一个的输出来计算。
202.图形g74表示设置在挖掘槽内的物体。在图7所示例中,图形g74表示已设置在挖掘槽内的既设导水管。图形g74的位置、大小及形状等根据既设导水管的位置及姿势等的变化而改变。既设导水管的位置及姿势等根据物体检测装置70及摄像装置80中的至少一个的输出来计算。
203.图形g80表示通过挖土机100被起吊的起吊物的远端的位置。在图7所示例中,图形g80是在铅垂方向上延伸的虚线,表示通过挖土机100被起吊的导水管的远端的位置。
204.图形g81表示通过挖土机100被起吊的起吊物的近端的位置。在图7所示例中,图形g81是在铅垂方向上延伸的虚线,表示通过挖土机100被起吊的导水管的近端的位置。
205.图形g82表示使起吊物下降到地面时的起吊物的远端位置,即起吊物的目标位置。在图7所示例中,图形g82是在铅垂方向上延伸的单点划线,表示通过挖土机100被起吊的导水管的远端的目标位置。导水管的远端的目标位置设定在比已设置在挖掘槽内的相邻的既
设导水管的近端位置仅更靠前规定距离的位置(仅靠近挖土机100规定距离的位置)。这是因为,下降到挖掘槽底面的导水管随后在底面上被牵引,其远端插入到既设导水管的近端而与既设导水管连接。
206.图形g83表示起吊物远端的目标位置与当前位置之间的距离。在图7所示例中,图形g83是双箭头,表示导水管远端的目标位置与当前位置之间的距离。为了使图示图像am清楚可见,可以省略图形g80~图形g83。
207.查看如图7所示的图示图像am的挖土机100的操作者能够直观地掌握由图形g72表示的空中的导水管的远端与由图形g74表示的既设导水管的近端之间的水平距离的大小。因此,挖土机100能够防止因操作者错误操作而导致使空中的导水管与既设导水管接触。并且,挖土机100的操作者能够直观地掌握由图形g72表示的空中的导水管的近端与由图形g73表示的挖掘槽的近端之间的水平距离的大小。并且,挖土机100的操作者能够直观地掌握由图形g72表示的空中的导水管的下端与由图形g73表示的挖掘槽的底面之间的垂直距离的大小。
208.另外,在图7所示例中,图示图像am表示从左侧观察到挖掘附属装置at及导水管时的状态,但是也可以表示从右侧观察到挖掘附属装置at及导水管时的状态,也可以表示从上方观察到挖掘附属装置at及导水管时的状态。并且,从左侧观察时的状态、从右侧观察时的状态、以及从上方观察时的状态中的至少两个可以同时显示,也可以可切换地显示。
209.并且,在图7所示例中,控制器30显示图形g82作为起吊物远端的目标位置,但是也可以显示表示起吊物近端的目标位置的图形。例如,控制器30可以根据预先设定的起吊物的长度、或通过物体检测装置70及摄像装置80中的至少一个被测定出的起吊物的长度、以及起吊物远端的目标位置来显示起吊物近端的目标位置。
210.接着,参考图8,关于在起重机作业时显示的引导的一例进行说明。图8表示在起重机作业时在显示装置40的图像显示区域41n的第1图像显示区域41n1中显示的图像的一例。
211.图8所示的图像主要包括前摄像机80f所拍摄到的前图像vm、以及重叠显示于前图像vm上的作为ar图像的图形gp60及图形gp61。
212.图8所示的前图像vm包括位于挖土机100前方的挖掘槽的图像。具体而言,前图像vm包括图像v11~v14。图像v11是挖掘槽的图像。图像v12及图像v13是已设置在挖掘槽中的既设导水管的图像。图像v14是通过挖土机100被起吊的导水管的图像。
213.图形gp60是表示通过挖土机100被起吊的起吊物的远端的目标位置的标记。图形gp61是表示将通过挖土机100被起吊的起吊物的外形投影到地面时的投影形状的标记。
214.在图8所示例中,图形gp60是半透明单点划线标记,表示通过挖土机100被起吊的导水管的远端的目标位置,以遍及挖掘槽的总宽度延伸的方式显示。图形gp61是半透明虚线标记,表示将通过挖土机100被起吊的导水管的外形投影到挖掘槽的底面时的投影形状。另外,也可以图形gp60及图形gp61中的至少一个是半透明实线标记。
215.并且,若起吊物下降而靠近挖掘槽的底面,则挖掘槽的底面或既设导水管等地上物的图像隐藏在起吊物图像的阴影中而看不见。因此,控制器30可以通过图像处理而生成从前方图像中除去起吊物图像的图像,并使图形gp60及图形gp61等标记重叠显示于所生成的图像上。
216.并且,在图8所示例中,控制器30可以显示图形gp60作为表示通过挖土机100被起
吊的起吊物的远端的目标位置的标记,但是也可以显示作为表示起吊物近端的目标位置的标记的图形。例如,控制器30可以根据预先设定的起吊物的长度或通过物体检测装置70及摄像装置80中的至少一个被测定出的起吊物的长度、以及起吊物远端的目标位置来显示表示起吊物近端的目标位置的标记。
217.查看如图8所示的前图像vm的挖土机100的操作者能够直观地掌握通过挖土机100被起吊的导水管与既设导水管之间的位置关系。因此,挖土机100能够防止因操作者错误操作而导致使空中的导水管与既设导水管接触。并且,操作者能够直观地掌握通过挖土机100被起吊的导水管位于挖掘槽的正上方,其远端的当前位置与目标位置之间的水平距离不为零。即,操作者能够直观地掌握需要使位于空中的导水管的远端进一步向远处移动(需要进一步靠近已设置在挖掘槽内的既设导水管)。
218.另外,图8所示的图像可以不显示于在挖土机100的驾驶舱10内设置的显示装置40上,而显示于进行远程操作的操作者所利用的、附属于位于挖土机100外部的移动终端等支援装置的显示装置上。或者,图像呈现部30b可以利用投影映射技术使图形gp60及图形gp61分别显示于挖掘槽的底面。
219.并且,图7所示的图像可以与图8所示的图像可切换地显示。例如,控制器30可以在进行了规定按钮操作的情况下切换图像,也可以在每次经过规定时间时切换图像。
220.接着,参考图9,关于在起重机作业时显示的引导的另一例进行说明。图9表示在起重机作业时在显示装置40的图像显示区域41n的第1图像显示区域41n1中显示的图像的另一例。为了清楚起见,图9省略图示挖掘附属装置at的图像、以及通过挖掘附属装置at被起吊的起吊物(u型槽)的图像。
221.图9所示的图像主要包括前摄像机80f所拍摄到的前图像vm、以及重叠显示于前图像vm上的作为ar图像的图形gp70及图形gp71。另外,前图像vm可以是根据预先输入到控制器30中的设计数据生成的三维计算机图形。
222.图9所示的前图像vm包括位于挖土机100前方的挖掘槽的图像。具体而言,前图像vm包括图像v21~v24。图像v21是设置混凝土制u型槽的挖掘槽的图像。图像v22是已设置在挖掘槽中的u型槽(以下,设为“既设u型槽”。)的图像。图像v23是电柱的图像。图像v24是防护栏杆的图像。
223.图形gp70是表示既设u型槽的形状的半透明虚线标记。图形gp71是表示将通过挖土机100被起吊的u型槽的外形投影到地面时的投影形状的半透明虚线标记。
224.另外,图9所示的图像使用的是前摄像机80f所拍摄到的图像,但是也可以使用根据摄像装置80所拍摄到的图像生成的俯瞰图像。
225.并且,控制器30可以将作为起吊物远端的目标位置的图形、或作为起吊物近端的目标位置的图形重叠显示于前图像vm上。
226.查看如图9所示的前图像vm的挖土机100的操作者能够直观地掌握通过挖土机100被起吊的u型槽与既设u型槽的位置关系。因此,操作者能够使当前被起吊的u型槽移动至靠近既设u型槽的位置而适当地下降到挖掘槽内。即,挖土机100能够防止因操作者错误操作而导致使空中的u型槽与既设u型槽接触。
227.另外,在图7至图9的例子中,控制器30可以通过周围监视装置来检测通过起重机作业而设置的设置物的位置、形状(尺寸)或类型,并根据该检测结果进行引导显示。具体而
言,控制器30通过周围监视装置来获取设置物的形状及设置物周边的槽的形状,并识别设置物与槽。然后,计算在设置有设置物的平面上的设置物的位置作为基准点。此时,在要设置起吊物的平面上,可以在距离基准点恒定距离处显示图形g82、gp60及gp70。
228.并且,控制器30可以检测通过附属装置被提升的物体的位置、形状(尺寸)或类型,并根据该检测结果进行引导显示。例如,根据图8的例子进行说明,通过周围监视装置来检测通过附属装置被提升的土管(起吊物)和作为通过起重机作业而设置的设置物的土管。此时,检测起吊物及设置物的位置、形状及类型,并根据该检测结果进行gp60及gp61等的引导显示。例如,gp60根据设置物的宽度而显示。并且,gp61根据起吊物的宽度和长度而显示。也可以根据形状或类型(尺寸、位置)而检测。
229.并且,在上述例中,已说明装载作业或起重机作业中的引导的例子,但是引导也可以适用于挖掘作业或碾压作业。例如,在挖掘作业的情况下,控制器30通过周围监视装置来获取以从对象物(例如,壁面、树木、电缆塔、测量尺、槽或地面变化等)仅分开规定距离的地表面上的任意位置为基准点的挖掘开始位置,并可以显示从该基准点每隔规定距离的线。并且,例如,在碾压作业的情况下,控制器30从周围监视装置的输出信息或附属装置的姿势信息中获取以从对象物(例如,壁面、树木、电缆塔、测量尺或地面变化等)仅分开规定距离的地表面上的任意位置为基准点的目标碾压区域,并可以显示从该基准点每隔规定距离的线。此时,以获知距离基准点的回转半径方向的距离的方式进行引导。然后,显示当前附属装置的位置相对于所显示的线位于分开何种程度的位置上。如此,控制器30检测存在于作业现场中的物体或地面形状改变的部分作为对象物,并根据所检测出的对象物显示引导。因此,挖土机100的操作者即使在挖掘作业或碾压作业中,也能够直观地掌握到挖掘开始位置或目标碾压区域为止的距离。
230.如上所述,作为本发明的实施方式所涉及的施工机械的一例的挖土机100具有下部行走体1、可回转地搭载于下部行走体1上的上部回转体3、安装于上部回转体3上的作为附属装置的挖掘附属装置at、周围监视装置、以及显示装置40。然后,显示装置40构成为显示对通过所述周围监视装置被检测出的对象物的引导。通过所述周围监视装置被检测的对象物,例如是如图4a所示的翻斗车60、如图7所示设置在挖掘槽内的既设导水管、或如图9所示设置在挖掘槽内的u型槽等。并且,通过所述周围监视装置检测的对象物可以是作为起吊物的土管或休谟管等导水管、u型槽、或者通过挖掘而装入到铲斗内部的沙土等。此外,显示装置40可以构成为显示与该对象物的高度对应的引导。并且,显示装置40可以构成为显示针对该对象物的回转半径方向的引导。根据该结构,挖土机100能够更有效地支援操作者对挖土机100的操作。挖土机100能够降低例如操作者导致使铲斗6与翻斗车60的车厢61接触的风险。这是因为,能够缓和从驾驶舱10内部通过挡风玻璃fg观察的、车厢61的前后方向上的铲斗6与前面板63之间的距离的掌握难度。并且,挖土机100使操作者能够容易地监视装载作业时的铲斗6与翻斗车60的车厢61的相对位置关系,由此能够减轻经长时间继续进行慎重的操作所引起的操作者的疲劳。并且,根据同样的理由,与在翻斗车60的车厢61的中央进行被挖掘物排出的情况相比,挖土机100能够抑制在前面板63的附近进行被挖掘物排出的情况下导致作业效率降低。或者,挖土机100能够降低例如操作者导致使起吊物与既设物接触的风险。这是因为,能够缓和从驾驶舱10的内部通过挡风玻璃fg观察的起吊物与既设物之间的距离的掌握难度。并且,挖土机100使操作者容易地监视起重机作业时的起吊物与
既设物的相对位置关系,因此能够减轻经长时间继续进行慎重的操作所引起的操作者的疲劳。另外,起吊物例如是土管或休谟管等导水管、或u型槽等。并且,既设物例如是已设置在挖掘槽内的既设导水管或既设u型槽等。
231.前方图像例如可以是包括根据附属装置的移动而改变显示位置的标记的图像,也可以是包括即使附属装置移动也不改变显示位置的标记的图像。具体而言,根据附属装置的移动而改变显示位置的标记,例如是图6b中的图形gp20~图形gp22。并且,即使附属装置移动也不改变显示位置的标记,例如是图6a中的图形gp10~图形gp14。
232.并且,前方图像例如可以包括根据附属装置中的规定部位的水平位置的变化而改变显示位置,但根据该规定部位的垂直位置的变化而不改变显示位置的标记。具体而言,根据附属装置中的规定部位的水平位置的变化而改变显示位置,但根据该规定部位的垂直位置的变化而不改变显示位置的标记,例如是图6b中的图形gp20~图形gp22。
233.并且,前方图像例如可以是构成为能够使操作者识别位于上部回转体3前方的物体与附属装置或通过附属装置被提升的物体的相对位置关系的阶段性变化的图像。具体而言,如图5b所示,前方图像可以包括以根据实际的挖掘附属装置at的移动而改变颜色、亮度及深浅等中的至少一种的方式显示的、表示挖掘附属装置at的前端侧部分的图形g51~g54。典型地,图形g51~图形g54隔开规定间隔而配置。在该情况下,前方图像可以构成为使操作者能够识别变化的阶段数。图5b表示阶段数为4个阶段。并且,在图5b所示例中,图形g51~g54各自的轮廓始终显示在图示图像am上,但是也可以根据挖掘附属装置at的移动而切换显示/不显示。
234.并且,如图5a所示,前方图像可以包括图形g1,该图形g1表示包括安装斗杆脚销的部分等在内的动臂4的上侧部分。而且,图形g1可以包括表示斗杆缸8的图形,也可以不包括表示斗杆缸8的图形。另一方面,图形g1未包括表示包括安装动臂脚销的部分及安装动臂缸7的前端的部分等在内的动臂4的下侧部分的图形。并且,图形g1未包括表示动臂缸7的图形。这是为了通过省略表示当支援装载作业或起重机作业时呈现给操作者的必要性低的部分即动臂4的下侧部分的图形的显示而简化图形g1,由此提高表示当支援装载作业或起重机作业时呈现给操作者的必要性高的部分即动臂4的上侧部分的图形可见性。如此,前方图像可以构成为,包括附属装置的上侧部分的图像,另一方面,不包括附属装置的下侧部分的图像。
235.典型地,显示装置40构成为显示图形,该图像表示位于施工机械周边的物体与挖掘附属装置at或通过挖掘附属装置at被提升的物体在回转半径方向上的相对位置关系。
236.位于施工机械周边的物体,例如是通过作为施工机械的挖土机100被设置的设置物。设置物例如是土管或休谟管等导水管、或u型槽等。并且,设置物可以是通过挖掘而形成的土堆。在该情况下,图形可以构成为表示与设置物有关的位置和通过挖掘附属装置at被提升的物体在回转半径方向上的相对位置关系。
237.表示翻斗车60与挖掘附属装置at的相对位置关系的图形,例如是图5a所示的图形g1~图形g4、图5b所示的图形g5及g6、图5c所示的图形g3a、图6a所示的图形gp10~图形gp14、图6b所示的图形gp20~图形gp22、图6c所示的图形gp30~图形gp34、图6d所示的图形gp40~图形gp42、或图6e所示的图形gp50及图形gp51等。或者,表示既设物与通过挖掘附属装置at被提升的物体的相对位置关系的图形,例如是图7所示的图形g1~g3、图形g70~图
形g74、以及图形g80~图形g83、图8所示的图形gp60及图形gp61、或图9所示的图形gp70及图形gp71等。根据该结构,查看显示于显示装置40上的图形的挖土机100的操作者能够直观地掌握位于上部回转体3前方的物体与挖掘附属装置at或通过挖掘附属装置at被提升的物体的相对位置关系。
238.表示翻斗车60与挖掘附属装置at的相对位置关系的图形可以以分别对应于铲斗6的当前状态及打开铲斗6时的铲斗6的状态的方式显示。例如,图5c所示的图形g3以对应于铲斗6的当前状态的方式显示,图形g3a以对应于打开铲斗6时的铲斗6的状态的方式显示。根据该结构,查看显示于显示装置40上的图形的挖土机100的操作者例如在打开铲斗6之前,能够直观地掌握打开铲斗6时的铲斗6与翻斗车60的相对位置关系。
239.挖土机100可以具有作为限制挖掘附属装置at的移动的控制装置的控制器30。然后,控制器30可以构成为,例如在判定为位于上部回转体3前方的物体与挖掘附属装置at或通过挖掘附属装置at被提升的物体有可能接触的情况下,可以使挖掘附属装置at的移动停止。根据该结构,控制器30能够有效地防止翻斗车60与挖掘附属装置at的接触。
240.以上,对本发明的优选实施方式进行了详细说明。然而,本发明并不限定于上述实施方式。上述实施方式在不脱离本发明的范围的情况下,可以适用各种变形或替换等。并且,只要不发生技术上的矛盾,分别说明的特征就可以进行组合。
241.例如,挖土机100可以同时显示图5a、图5b或图5c所示的图示图像am、以及图6a、图6b、图6c、图6d或图6e所示的ar图像。或者,挖土机100可以选择性地切换显示图5a、图5b及图5c中分别表示的图示图像am中的至少两个,也可以选择性地切换显示图6a、图6b、及图6e中分别表示的ar图像,也可以选择性地切换显示图6c、图6d及图6e中分别表示的ar图像。同样地,挖土机100可以同时显示图7所示的图示图像am和图8所示的ar图像。或者,挖土机100可以选择性地切换显示图7所示的图示图像am和图8所示的ar图像。
242.挖土机100获取的信息通过如图10所示的挖土机的管理系统sys与相关人员共享。相关人员例如是挖土机100的操作者、在施工现场的作业人员、其他挖土机的操作者、或挖土机100的管理者等。图10是表示挖土机100的管理系统sys的结构例的概略图。管理系统sys是管理一台或多台挖土机100的系统。在本实施方式中,管理系统sys主要由挖土机100、支援装置200及管理装置300构成。构成管理系统sys的挖土机100、支援装置200及管理装置300分别可以是一台,也可以是多台。在图10所示例中,管理系统sys包括一台挖土机100、一台支援装置200及一台管理装置300。
243.支援装置200通过规定的通信线路与管理装置300可通信地连接。并且,支援装置200可以通过规定的通信线路与挖土机100可通信地连接。在规定的通信线路中,例如可以包括以基站为末端的移动体通信网络、利用通信卫星的卫星通信网络、基于bluetooth(注册商标)或wi-fi等通信标准的近距离无线通信网络等。支援装置200例如是挖土机100的操作者或所有者等、作业现场的作业人员或监督者等、或者管理装置300的管理者或作业人员等用户(以下,设为“支援装置用户”。)利用的用户终端。支援装置200例如是便携式计算机终端、平板终端或智能手机等移动终端。并且,支援装置200例如可以是台式计算机终端等固定式终端装置。
244.管理装置300通过规定的通信线路与挖土机100或支援装置200可通信地连接。管理装置300例如是设置在作业现场外部的管理中心等中的云服务器。并且,管理装置300例
如可以是设置在作业现场内的临时事务所等、或者与作业现场相对靠近的通信施设(例如,基站或站房等)中的边缘服务器。并且,管理装置300例如可以是在作业现场内使用的终端装置。终端装置例如可以是便携式计算机终端、平板终端或智能手机等移动终端,例如也可以是台式计算机终端等固定式终端装置。
245.支援装置200及管理装置300中的至少一个可以具备监视器和远程操作用操作装置。在该情况下,操作者可以使用远程操作用操作装置来操作挖土机100。远程操作用操作装置例如通过无线lan等无线通信网络连接于控制器30。以下,对挖土机100与支援装置200之间的信息交换进行说明,但是以下说明同样也适用于挖土机100与管理装置300之间的信息交换。
246.并且,与在驾驶舱10的显示装置40中可以显示的内容(例如,表示挖土机100周围的状况的图像信息、各种设定画面、前图像vm、图示图像am、或者相当于ar图像的画面等)相同的信息图像,可以由支援装置200或管理装置300的显示装置来显示。表示挖土机100周围的状况的图像信息可以根据摄像装置80的摄像图像等生成。由此,支援装置用户或管理装置用户能够一边确认挖土机100周围的状况,一边进行挖土机100的远程操作,或者进行与挖土机100有关的各种设定。
247.在如上所述的挖土机100的管理系统sys中,挖土机100的控制器30可以将作为图像呈现部30b所生成的前方图像的图示图像am或ar图像等发送到支援装置200。此时,控制器30例如将作为周围监视装置(空间识别装置)的摄像装置80所拍摄到的图像等发送到支援装置200。此外,控制器30将与挖土机100的作业内容有关的数据、与挖土机100的姿势有关的数据、以及与挖掘附属装置的姿势有关的数据等中的至少一种相关的信息发送到支援装置200。这是为了使利用支援装置200的相关人员能够获得与作业现场有关的信息。与挖土机100的作业内容有关的数据,例如是进行了排土动作的次数即装载次数、与装载到翻斗车60的车厢61中的沙土等被挖掘物有关的信息、与装载作业有关的翻斗车60的类型、与进行了装载作业时的挖土机100的位置有关的信息、与作业环境有关的信息、以及与进行装载作业时的挖土机100的动作有关的信息等中的至少一种。与被挖掘物有关的信息例如是通过每次挖掘动作被挖掘的被挖掘物的重量及类型等、装载到翻斗车60中的被挖掘物的重量及类型等、以及通过一天的装载作业被装载的被挖掘物的重量及类型等中的至少一种。与作业环境有关的信息例如是与位于挖土机100周围的地面的倾斜有关的信息、或者与作业现场周边的天气有关的信息等。与挖土机100的动作有关的信息例如是操作压力传感器29的输出、以及缸压传感器的输出等中的至少一种。
248.另外,控制器30所具有的功能要件即位置获取部30a、图像呈现部30b及操作支援部30c中的至少一个,可以作为支援装置200中的控制装置所具有的功能要件而实现。
249.如此,本发明的实施方式所涉及的支援装置200构成为支援基于挖土机100的作业,所述挖土机100具有下部行走体1、可回转地搭载于下部行走体1上的上部回转体3、以及安装于上部回转体3上的挖掘附属装置at。而且,支援装置200具有显示装置,该显示装置显示表示位于上部回转体3前方的翻斗车60与挖掘附属装置at的相对位置关系的前方图像。根据该结构,支援装置200能够将与上部回转体3前方的区域有关的信息呈现给相关人员。
250.在进行挖土机100的远程操作的情况下,与通过驾驶舱10的挡风玻璃fg视觉辨认的情况相比,操作者通过在支援装置200的显示装置上显示的图像能够视觉辨认的、车厢61
的前后方向上的铲斗6与前面板63之间的距离更难以掌握,但是支援装置200通过显示如上所述的前方图像,与驾驶舱10中的操作时同样地,能够有效地支援操作者对挖土机100的操作。
251.并且,在上述实施方式中公开了具备液压式先导回路的液压式操作系统。例如,在与动臂操作杆26a有关的液压式先导回路中,从先导泵15供给到动臂操作杆26a的工作油以与通过动臂操作杆26a向打开方向的倾倒而移动的远程控制阀的开度对应的压力被供给到控制阀154的先导端口。或者,在与铲斗操作杆26b有关的液压式先导回路中,从先导泵15供给到铲斗操作杆26b的工作油以与通过铲斗操作杆26b向打开方向的倾倒而移动的远程控制阀的开度对应的压力被供给到控制阀158的先导端口。
252.然而,也可以采用具备电动式先导回路的电动式操作系统,而不是采用具备这种液压式先导回路的液压式操作系统。在该情况下,电动式操作系统中的电动式操作杆的杆操作量,例如作为电信号被输入到控制器30。并且,在先导泵15与各控制阀的先导端口之间配置电磁阀。电磁阀可以构成为根据来自控制器30的电信号进行动作。根据该结构,若使用电动式操作杆进行手动操作,则控制器30根据与杆操作量对应的电信号来控制电磁阀以增减先导压力,由此能够移动各控制阀。另外,各控制阀可以由电磁滑阀构成。在该情况下,电磁滑阀根据与电动式操作杆的杆操作量对应的来自控制器30的电信号,以电磁方式进行动作。
253.在采用具备电动式操作杆的电动式操作系统的情况下,与采用具备液压式操作杆的液压式操作系统的情况相比,控制器30能够容易执行机械引导功能及机械控制功能等。图11表示电动式操作系统的结构例。具体而言,图11的电动式操作系统是用于使动臂4上下移动的动臂操作系统的一例,主要由先导压力工作型控制阀单元17、作为电动式操作杆的动臂操作杆26a、控制器30、动臂上升操作用电磁阀65、动臂下降操作用电磁阀66构成。图11的电动式操作系统同样也可以适用于用于使下部行走体1行走的行走操作系统、用于使上部回转体3回转的回转操作系统、用于使斗杆5开闭的斗杆操作系统、以及用于使铲斗6开闭的铲斗操作系统等。
254.如图2所示,先导压力工作型控制阀单元17包括作为直行阀的控制阀150、与左行走用液压马达2ml有关的控制阀151、与右行走用液压马达2mr有关的控制阀152、与动臂缸7有关的控制阀153及控制阀154、与斗杆缸8有关的控制阀155及控制阀156、与回转用液压马达2a有关的控制阀157、以及与铲斗缸9有关的控制阀158等。电磁阀65构成为能够调节将先导泵15与控制阀153及控制阀154各自的动臂上升侧先导端口相连的管路内的工作油的压力。电磁阀66构成为能够调节将先导泵15与控制阀153及控制阀154各自的动臂下降侧先导端口相连的管路内的工作油的压力。
255.在进行手动操作的情况下,控制器30根据动臂操作杆26a的操作信号生成部所输出的操作信号(电信号)生成动臂上升操作信号(电信号)或动臂下降操作信号(电信号)。动臂操作杆26a的操作信号生成部所输出的操作信号是根据动臂操作杆26a的操作量及操作方向而改变的电信号。
256.具体而言,在动臂操作杆26a在动臂上升方向上被操作的情况下,控制器30将与杆操作量对应的动臂上升操作信号(电信号)输出到电磁阀65。电磁阀65根据动臂上升操作信号(电信号)进行动作,并控制作用于控制阀153及控制阀154各自的动臂上升侧先导端口上
的、作为动臂上升操作信号(压力信号)的先导压力。同样地,在动臂操作杆26a在动臂下降方向上被操作的情况下,控制器30将与杆操作量对应的动臂下降操作信号(电信号)输出到电磁阀66。电磁阀66根据动臂下降操作信号(电信号)进行动作,并控制作用于控制阀153及控制阀154各自的动臂下降侧先导端口上的、作为动臂下降操作信号(压力信号)的先导压力。
257.在执行自主控制的情况下,控制器30例如根据校正操作信号(电信号)生成动臂上升操作信号(电信号)或动臂下降操作信号(电信号)来代替动臂操作杆26a的操作信号生成部输出的操作信号。校正操作信号可以是控制器30生成的电信号,也可以是控制器30以外的控制装置等生成的电信号。
258.并且,在上述实施方式中,挖土机100构成为能够使操作者搭乘在驾驶舱10内,但是也可以是远程操作式挖土机。在该情况下,操作者例如能够使用设置在作业现场外的远程操作室中的操作装置和通信装置来远程操作挖土机100。在该情况下,控制器30可以设置于远程操作室中。即,设置在远程操作室中的控制器30和挖土机100可以构成挖土机用系统。
259.本技术要求基于2019年7月17日提交的日本专利申请2019-132194的优先权,该日本专利申请的全部内容通过参考而援用于本技术中。
260.符号的说明
261.1-下部行走体,1c-履带,1cl-左履带,1cr-右履带,2-回转机构,2a-回转用液压马达,2m-行走用液压马达,2ml-左行走用液压马达,2mr-右行走用液压马达,3-上部回转体,4-动臂,5-斗杆,6-铲斗,7-动臂缸,8-斗杆缸,9-铲斗缸,10-驾驶舱,11-引擎,13-调节器,14-主泵,15-先导泵,17-控制阀单元,26-操作装置,26a-动臂操作杆,26b-铲斗操作杆,28-吐出压力传感器,29、29a、29b-操作压力传感器,30-控制器,30a-位置获取部,30b-图像呈现部,30c-操作支援部,40-显示装置,40a-控制部,41-图像显示部,42-操作部,43-声音输出装置,45-中心旁通管路,50、50l、50r-减压阀,60-翻斗车,61-车厢,61p-支柱,62-门,62b-后门,62l-左侧门,62r-右侧门,63-前面板,65、66-电磁阀,70-物体检测装置,70b-后传感器,70f-前传感器,70l-左传感器,70r-右传感器,80-摄像装置,80b-后摄像机,80f-前摄像机,80l-左摄像机,80r-右摄像机,100-挖土机,150~158-控制阀,200-支援装置,300-管理装置,am-图示图像,at-挖掘附属装置,cbt-后图像,fg-挡风玻璃,g1~g6、g3a、g3b、g10~g12、g20~g22、g40~g42、g51~g54、g60~g62、g70~g74、g80~g83、gp10~gp14、gp20~gp22、gp30~gp34、gp40~gp42、gp50、gp51、gp60、gp61、gp70、gp71-图形,s1-动臂角度传感器,s2-斗杆角度传感器,s3-铲斗角度传感器,s4-机体倾斜传感器,s5-回转角速度传感器,sys-管理系统,v1~v5、v11~v14、v21~v24-图像,vm-前图像。