首页 > 化学装置 专利正文
基于用户意向的自动泊车控制方法及系统与流程

时间:2022-02-10 阅读: 作者:专利查询

基于用户意向的自动泊车控制方法及系统与流程

1.本发明涉及自动驾驶领域,特别涉及一种基于用户意向的自动泊车控制方法及系统。


背景技术:

2.随着汽车电子技术高速发展,用户对驾乘体验需求也逐渐提高,智能化成为汽车的核心竞争力。汽车智能化技术之一的自动泊车技术,大大提高了用户在泊车时的体验感,为用户带来了福音;但在自动泊车技术中有关停车位如何选取确认的问题仍旧需要改进。
3.现有技术中,存在一些关于停车位如何选取确认的解决方案。其中,一些解决方案是通过自动泊车辅助系统自主选取合适停车位:当自动泊车辅助系统检测到有多个合适的停车位时,根据检测到的停车位的几何尺寸计算每个停车位的泊车轨迹,再通过控制设备自动选取最合适泊车的停车位;或者是根据当前车辆转向状态,选取车辆转向信息所指定方向中最后检测到的空闲车位;但是缺乏车内用户参与决策的过程,无法满足用户的个性化泊车需求。另一些方案是由用户自主选择停车位:在车载显示器上显示基于全景影像检测到的多个合适的停车位,同时提示驾驶员停车并选择其中一个停车位;或者增加电子地图界面,在车载屏幕上显示更大范围的待选择停车位;但是由于需要用户在车载显示器上点击确定选择某个停车位,并且车载显示器所显示的停车位并非全部是用户当时视线范围所及的停车位,部分可能为先前行车过程中检测到的而此时并不在用户视线范围内的停车位,出现用户最终选择的停车位已经被其他车辆占用的情况。还有一些解决方案是通过获取车外指挥人员的人体姿态信息,确定相应的停车位,也无法满足车内用户的个性化泊车需求。
4.因此,亟需一种能够改善人机交互体验感,满足用户个性化泊车需求的自动泊车控制方法以解决现有技术的上述技术问题。


技术实现要素:

5.为了解决现有技术的不足,本发明的主要目的在于提供一种基于用户意向的自动泊车控制方法及系统,以解决现有技术的上述技术问题。
6.为了达到上述目的,第一方面本发明提供了一种基于用户意向的自动泊车控制方法,所述方法包括:对用户语音进行检测,生成第一意向检测结果;对用户人体姿态进行检测,生成意向停车方向;对停车位环境进行检测,生成停车位检测结果,所述停车位检测结果包括一个或多个候选停车位的位置及所述一个或多个候选停车位的状态;根据所述意向停车方向及所述停车位检测结果,生成第二意向检测结果,所述第二意向检测结果包括意向停车位的位置及所述意向停车位的状态,其中,所述意向停车位包含于所述一个或多个候选停车位;
根据所述第一意向检测结果及所述第二意向检测结果,判断是否触发自动泊车辅助系统,以将车辆泊入所述意向停车位。
7.在一些实施例中,所述对用户语音进行检测,生成第一意向检测结果,包括:采集用户语音并将所述用户语音转换为对应的文字信息;检测所述文字信息中是否包含预设关键词,以生成所述第一意向检测结果;若所述文字信息中包含所述预设关键词,则所述第一意向检测结果为用户具有停车意图;若所述文字信息中不包含所述预设关键词,则所述第一意向检测结果为用户不具有停车意图。
8.在一些实施例中,所述对用户人体姿态进行检测,生成意向停车方向,包括:基于深度相机检测所述用户人体姿态,获取关键节点及所述关键节点对应的三维坐标;选取所述关键节点并根据所述关键节点对应的三维坐标,判断是否生成三维空间直线;在检测到所述三维空间直线后,根据所述三维空间直线确定所述意向停车方向。
9.在一些实施例中,所述关键节点包括用户手臂关键节点及用户手部关键节点;所述选取所述关键节点并根据所述关键节点对应的三维坐标,判断是否生成三维空间直线,包括:选取所述用户手臂关键节点并根据所述用户手臂关键节点对应的三维坐标,判断用户手臂状态;若所述用户手臂状态为抬起状态,则选取所述用户手部关键节点并根据所述用户手部关键节点对应的三维坐标以判断用户手指状态;若所述用户手指状态存在指向方向,则选取所述用户关键节点并根据所述用户关键节点对应的三维坐标及所述预设处理规则,生成所述三维空间直线。
10.在一些实施例中,所述对停车位环境进行检测,生成停车位检测结果,所述停车位检测结果包括一个或多个候选停车位的位置及所述一个或多个候选停车位的状态,包括:基于深度相机检测所述停车位环境,生成所述停车位环境对应的停车位二维图像及停车位深度信息;根据所述停车位二维图像及预设模型,识别所述停车位环境中的所述一个或多个候选停车位的位置及所述一个或多个候选停车位的状态;和/或根据所述停车位二维图像与所述停车位深度信息的标定关系,识别所述停车位环境中的所述一个或多个候选停车位的位置及所述一个或多个候选停车位的状态。
11.在一些实施例中,所述对用户人体姿态进行检测,生成意向停车方向之前,所述方法还包括:通过同一深度相机同时获取所述用户人体姿态及所述停车位环境,其中,所述深度相机安装在车辆的主驾驶位和副驾驶位的侧后方。
12.在一些实施例中,所述根据所述意向停车方向及所述停车位检测结果,生成第二意向检测结果,所述第二意向检测结果包括意向停车位的位置及所述意向停车位的状态,包括:
将所述意向停车方向与所述一个或多个候选停车位的位置及所述一个或多个候选停车位的状态进行匹配,确定所述意向停车位的位置及所述意向停车位的状态,以生成所述第二意向检测结果。
13.在一些实施例中,所述根据所述第一意向检测结果及所述第二意向检测结果,判断是否触发自动泊车辅助系统,以将车辆泊入所述意向停车位位置,包括:若所述第一意向检测结果为所述用户具有所述停车意图,则继续判断所述意向停车位的状态;若所述意向停车位的状态为可停车,则生成第一提示语音,以提示所述意向停车位可停车,并触发所述自动泊车辅助系统,以将所述车辆泊入所述意向停车位;若所述意向停车位的状态为被占用,则生成第二提示语音,以提示所述意向停车位被占用。
14.在一些实施例中,所述方法还包括:若所述第一意向检测结果为所述用户具有所述停车意图且未生成所述意向停车方向,则生成第三提示语音以提示所述用户选择所述意向停车方向。
15.第二方面,本技术提供了一种基于用户意向的自动泊车控制系统,所述系统包括:检测处理模块,用于对用户语音进行检测,判断所述用户是否具有停车意图;语音检测模块,用于对用户语音进行检测,生成第一意向检测结果;人体姿态检测模块,用于对用户人体姿态进行检测,生成意向停车方向;停车位检测模块,用于对停车位环境进行检测,生成停车位检测结果,所述停车位检测结果包括一个或多个候选停车位的位置及所述一个或多个候选停车位的状态;停车位选取模块,用于根据所述意向停车方向及所述停车位检测结果,生成第二意向检测结果,所述第二意向检测结果包括意向停车位的位置及所述意向停车位的状态,其中,所述意向停车位包含于所述一个或多个候选停车位;中央处理模块,用于根据所述第一意向检测结果及所述第二意向检测结果,判断是否触发自动泊车辅助系统,以将车辆泊入所述意向停车位。
16.第三方面,本技术提供了一种电子设备,所述电子设备包括:一个或多个处理器;以及与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:对用户语音进行检测,生成第一意向检测结果;对用户人体姿态进行检测,生成意向停车方向;对停车位环境进行检测,生成停车位检测结果,所述停车位检测结果包括一个或多个候选停车位的位置及所述一个或多个候选停车位的状态;根据所述意向停车方向及所述停车位检测结果,生成第二意向检测结果,所述第二意向检测结果包括意向停车位的位置及所述意向停车位的状态,其中,所述意向停车位包含于所述一个或多个候选停车位;根据所述第一意向检测结果及所述第二意向检测结果,判断是否触发自动泊车辅助系统,以将车辆泊入所述意向停车位。
17.本技术实现的有益效果为:
本技术提供了一种基于用户意图的自动泊车控制方法,包括对用户语音进行检测,生成第一意向检测结果;对用户人体姿态进行检测,生成意向停车方向;对停车位环境进行检测,生成停车位检测结果,所述停车位检测结果包括一个或多个候选停车位的位置及所述一个或多个候选停车位的状态;根据所述意向停车方向及所述停车位检测结果,生成第二意向检测结果,所述第二意向检测结果包括意向停车位的位置及所述意向停车位的状态,其中,所述意向停车位包含于所述一个或多个候选停车位;根据所述第一意向检测结果及所述第二意向检测结果,判断是否触发自动泊车辅助系统,以将车辆泊入所述意向停车位。
18.本技术通过检测用户语音及用户人体姿态,获取用户停车意图以及意向停车方向,并结合停车位检测结果,确定用户选择的意向停车位的位置并在该停车位的状态为可停车时,触发自动泊车辅助系统,将车辆泊入意向停车位。能够为用户提供良好的体验感,用户无需在车载屏幕上点击选择车位,只需要说出停车并指向想要停车的方向,就可以将车辆泊入自己选择的停车位;同时,本技术还对停车位的状态进行检测,有效的避免了在用户选择停车位后但由于该停车位被用户未观察到的障碍物占用而导致无法泊入的问题。
19.进一步地,本技术还提出了将采集到的语音转换为文字信息后,通过检测对应的文字信息中是否包含预设关键词,来判断用户是否具有停车意图,能够准确的检测到用户的停车意图。
20.进一步地,本技术还提出了基于深度相机检测用户人体姿态,以获取手臂关键节点和手指关键节点的三维坐标;并依次判断用户手臂是否抬起、用户手指是否有所指向,只有在检测到用户手臂抬起并且用户手指有指向方向时,才生成三维空间直线,以减少不必要的资源浪费;同时基于深度相机获取的三维坐标,能够提高判断的准确性以及生成的三维空间直线的精确度。
21.进一步地,本技术还提出了基于深度相机生成的停车位二维图像和停车位深度信息,识别候选停车位位置及候选停车位状态,能够提高识别到的候选停车位位置及候选停车位状态的准确性,提高鲁棒性。
22.进一步地,本技术还提出了通过同一个深度相机同时获取人体姿态及停车位环境,降低成本。
23.进一步地,本技术还提出了首先对用户是否具有停车意图进行判断,在用户具有停车意图后才继续判断意向停车位的状态,只有在意向停车位的状态为可停车时,才将车辆泊入意向停车位,高效快捷地避免可能出现的误触发自动泊车辅助系统的问题。并且在意向停车位被占用时,生成语音提醒用户该意向停车位被占用,改善人机交互,提高用户体验感,避免用户在车辆无法泊入意向停车位时可能产生的厌烦情绪。
24.进一步地,本技术还提出在检测到用户意图而未检测到意向停车方向时,生成语音以提示用户选择意向停车方向,避免可能因用户不熟悉操作要求导致无法进行自动泊车控制操作的问题。
25.本技术所有产品并不需要具备上述所有效果。
附图说明
26.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使
用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,其中:图1是本技术实施例提供的停车位自主选择系统架构图;图2是本技术实施例提供的停车位自主选择系统算法流程图;图3是本技术实施例提供的应用场景示意图;图4是本技术实施例提供的自动泊车控制方法流程图;图5是本技术实施例提供的自动泊车控制系统结构图;图6是本技术实施例提供的电子设备结构图。
具体实施方式
27.为使本技术的目的、技术方案和优点更加清楚,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
28.应当理解,在本技术的描述中,除非上下文明确要求,否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义;也就是说,是“包括但不限于”的含义。
29.还应当理解,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本技术的描述中,除非另有说明,“多个”的含义是两个或两个以上。
30.需要注意的是,术语“s1”、“s2”等仅用于步骤的描述目的,并非特别指称次序或顺位的意思,亦非用以限定本技术,其仅仅是为了方便描述本技术的方法,而不能理解为指示步骤的先后顺序。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本技术要求的保护范围之内。
31.如背景技术所述,现有技术中一部分是直接通过自动泊车辅助系统自动选择合适的停车位,缺乏车内用户参与决策的过程,无法满足用户的个性化泊车需求,还有一部分虽然能够提供用户决策的机会,但是仍旧需要车外人员进行配合指挥。
32.为解决上述技术问题,本技术提供了一种应用于车内人员的、基于用户意向的自动泊车控制方法及系统,通过识别人体姿态,确认意向停车方向并在用户具有停车意图时结合停车位位置及状态,确定用户选择的停车位可停车后触发自动泊车辅助系统将车辆泊入意向停车位,以提高用户在泊车时的体验感。
33.实施例一为实现本技术公开的基于用户意向的自动泊车控制方法,参照图1,本技术实施例提供了一种停车位自主选择系统,包括相机模块、麦克风模块、扬声器模块、人体姿态识别模块、停车位检测模块、语音检测模块、语音生成模块、中央逻辑模块、停车位选取模块、3d直线计算模块及自动泊车辅助系统。具体的,参照图2,应用本实施例公开的停车位自主选择系统进行自动泊车控制操作的过程包括:s100、采集用户语音并判断用户是否具有停车意图。
34.麦克风模块通过麦克风采集用户的语音输入,并将用户语音转换为对应的文字并发送至语音检测模块;语音检测模块通过检测接收到的文字中是否包含“停”、“停车”、“停在那儿”等能够表示想要停车的停车意图的关键词。若检测到这些关键词,则判断所述用户具有停车意图;若未检测到这些关键词时,则判断用户不具有停车意图。在用户具有停车意图时,继续执行后续操作;在用户不具有停车意图时,不执行后续操作,进入准备状态以继续检测用户语音。
35.s200、检测用户人体姿态,以确定用户选取的意向停车方向。
36.上述确定用户选取的意向停车方向的过程具体可以包括:s210、基于深度相机检测用户人体姿态,获取用户关键节点及对应的三维坐标;具体的,人体姿态识别模块根据深度相机检测用户人体姿态,生成与用户人体姿态对应的二维图像与深度信息,并通过图像识别技术获取用户人体姿态对应的二维图像中的用户关键节点,其中用户关键节点包括用户手臂关键节点及用户手部关键节点。优选的,本技术可利用卷积神经网络技术进行识别用户人体姿态对应的二维图像,以获取用户手臂关键节点及用户手部关键节点,本技术对具体应用的图像识别技术不做限定。在获取到用户手臂关键节点和用户手部关键节点后,人体姿态识别模块利用深度相机的二维图像与深度信息的标定关系,将在二维图像中识别到的用户手臂关键节点及用户手部关键节点映射到深度信息中,以获取用户手臂关键节点及用户手部关键节点的三维坐标。
37.其中,深度相机为能够同时获取深度信息与二维图像的相机,具体可以是rgb-d相机,也可以是双目相机,还可以是tof(time of flight,飞行时间)深度相机,还可以是未来可能出现的能够同时获取深度信息与二维图像的其他相机,等等,本技术对此不做限定。此外,值得注意的是由于有时候可能会根据副驾驶的建议选择停车位,因此也需要考虑副驾驶是否做出了对应的停车人体姿态,故用户人体姿态包括主驾驶人体姿态以及副驾驶人体姿态。
38.s220、根据用户手臂关键节点及对应的三维坐标,判断用户手臂状态,;具体的,人体姿态识别模块选取若干用户手臂关键节点,计算各用户手臂关键节点相互之间的几何角度关系,以判断用户手臂是否抬起,其中用户手臂关键节点包括肩关节节点、手肘节点及手腕节点等手臂上的节点。若检测到用户手臂抬起,则继续执行后续操作以生成三维空间直线;若检测用户手臂未抬起,即用户没有指向停车位的,进一步说明用户没有停车意图,此时不执行后续操作,而是进入准备状态以继续检测用户人体姿态,减少不必要的资源开销。
39.s230、根据用户手部关键节点对应的三维坐标,判断用户手指状态;类似的,人体姿态识别模块选取若干用户手部关键节点,计算相互各用户手部关键节点之间的几何角度关系,以判断用户手指是否有所指向;其中,用户手部关键节点是指整个手掌与手指上的若干节点。若检测到用户手指有指向,则继续执行后续操作以生成三维空间直线;若检测到用户手指没有指向,即说明用户没有停车意图,此时不执行后续操作,而是进入准备状态以继续检测用户人体姿态,减少不必要的资源开销。
40.s240、在检测到用户手指有指向方向时,选取用户关键节点并根据对应的三维坐标及预设处理规则,生成三维空间直线;具体的,由于用户关键节点包括用户手臂关键节点和用户手部关键节点,因此3d
直线计算模块在选取用户关键节点生成三维空间直线时,可以都从手部关键节点中选取,或者都从手臂关键节点中选取,还可以同时在手臂关键节点和手部关键节点选取;举例而言,可以选择手指的指尖节点与该手指的掌指节点、手指的指尖节点与手腕节点、手肘节点与指尖节点等,本技术只需要选取的用户关键节点经操作后能够生成三维空间直线,对具体如何选取不做限定。如果选取的用户关键节点只有两个,那么可以直接根据两点的三维坐标确定一条三维空间直线;如果选取的关键节点超过两个,则可以利用最小二乘法拟合得到一条三维空间直线。
41.s250、检测到三维空间直线后,根据三维空间直线确定意向停车方向。
42.将三维空间直线在空间中衍生,该三维空间直线所指向的方向即为用户选择的意向停车方向。
43.s300、对停车位环境进行检测,生成停车位检测结果。
44.其中,停车位检测模块基于深度相机检测的车辆前方的停车位环境,获取对应的停车位二维图像与停车位深度信息,以生成一个或多个候选停车位的位置及一个或多个候选停车位的状态。具体的,可以利用卷积神经网络模型检测并识别二维图像中的候选停车位的位置以及这些候选停车位的状态(即该停车位是否已被占用);也可以根据停车位二维图像与停车位深度信息的标定关系,对车辆前方环境存在的一个或多个候选停车位进行三维空间检测与识别,获取候选停车位的三维空间位置(即候选停车位的位置)以及这些候选停车位的状态。
45.值得注意的是,在具体实施时,可以使用一个深度相机并将其安装在主驾驶和副驾驶的侧后方,使得其能够同时检测到主驾驶和副驾驶的人体姿态以及车辆前方的停车位环境;也可以在主驾驶和副驾驶的前方安装一个深度相机,或者在主驾驶和副驾驶前方各自安装一个深度相机,以检测到主驾驶和副驾驶的人体姿态,同时在车外安装一个深度相机以检测车辆前方停车位情况,具体的安装位置可以是车顶、后视镜处等,本技术对此不加限定。
46.图3为本技术应用场景示意图,本领域技术人员需要理解的是步骤s100、步骤s200以及步骤s300是同步执行的,不存在先后顺序。
47.s400、确定意向停车位的位置。
48.在确定了意向停车方向后,并不能知道用户选择的意向停车方向对应的停车位的位置,此时停车位选取模块将意向停车方向与停车位检测模块检测到的所有候选停车位的位置及状态进行匹配,确定意向停车位的位置及状态。
49.s500、根据意向停车位的位置、状态及用户停车意图,判断是否触发自动泊车辅助系统,以将车辆泊入意向停车位。
50.中央逻辑模块接受意向停车方向、用户停车意图判断结果、意向停车位的位置信息及状态信息。首先判断用户是否具有停车意图,在用户不具有停车意图时,中央逻辑模块不进行后续对意向停车位的状态的判断操作;在用户具有停车意图时,中央逻辑模块继续判断意向停车位的状态。若该意向停车位的状态为可停车,则中央逻辑模块将该意向停车位的状态信息反馈给语音生成模块,由语音生成模块生成第一提示语音以提示用户该停车位可停车,例如“该车位可停车,现在为您停车”,并通过扬声器模块播放反馈给用户;同时中央逻辑模块将该意向停车位的位置发送给自动泊车辅助系统,由自动泊车辅助系统将车
辆自动泊入该意向停车位的位置。若该意向停车位的状态为被占用,则中央逻辑模块将该意向停车位的状态信息反馈给语音生成模块,由语音生成模块生成第二提示语音以提示用户该意向停车位被占用,如“该停车位已被占用,请选择其他停车位”,并通过扬声器模块播放反馈给用户。
51.此外,还存在一种情况即用户存在停车意图但并未生成意向停车方向,此时,中央逻辑模块将无停车意向方向信息反馈给语音生成模块,由语音生成模块生成第三提示语音,以提示用户选择意向停车方向,例如“请选择停车位,为您自动停车”。
52.基于本技术实施例公开的基于用户意向的自动泊车控制方法,停车位自主选择系统可以有效的改善用户选择停车位的人机交互体验,减少误识别停车意图和误触发自动泊车系统的问题,提高鲁棒性。
53.实施例二对应上述实施例,本技术提供了一种基于用户意向的自动泊车控制方法,如图4所示,所述方法包括:4100、对用户语音进行检测,生成第一意向检测结果;优选的,所述对用户语音进行检测,生成第一意向检测结果,包括:4110、采集用户语音并将所述用户语音转换为对应的文字信息;4120、检测所述文字信息中是否包含预设关键词,以生成所述第一意向检测结果;4130、若所述文字信息中包含所述预设关键词,则所述第一意向检测结果为用户具有停车意图;4140、若所述文字信息中不包含所述预设关键词,则所述第一意向检测结果为用户不具有停车意图。
54.4200、对用户人体姿态进行检测,生成意向停车方向;优选的,所述对用户人体姿态进行检测,生成意向停车方向,包括:4210、基于深度相机检测所述用户人体姿态,获取关键节点及所述关键节点对应的三维坐标;4220、选取所述关键节点并根据所述关键节点对应的三维坐标,判断是否生成三维空间直线;优选的,所述关键节点包括用户手臂关键节点及用户手部关键节点;所述选取所述关键节点并根据所述关键节点对应的三维坐标,判断是否生成三维空间直线,包括:4221、选取所述用户手臂关键节点并根据所述用户手臂关键节点对应的三维坐标,判断用户手臂状态;4222、若所述用户手臂状态为抬起状态,则选取所述用户手部关键节点并根据所述用户手部关键节点对应的三维坐标以判断用户手指状态;4223、若所述用户手指状态存在指向方向,则选取所述用户关键节点并根据所述用户关键节点对应的三维坐标及所述预设处理规则,生成所述三维空间直线。
55.4230、在检测到所述三维空间直线后,根据所述三维空间直线确定所述意向停车方向。
56.优选的,所述对用户人体姿态进行检测,生成意向停车方向之前,所述方法还包括:
4240、通过同一深度相机同时获取所述用户人体姿态及所述停车位环境,其中,所述深度相机安装在车辆的主驾驶位和副驾驶位的侧后方。
57.4300、对停车位环境进行检测,生成停车位检测结果,所述停车位检测结果包括一个或多个候选停车位的位置及所述一个或多个候选停车位的状态;优选的,所述对停车位环境进行检测,生成停车位检测结果,所述停车位检测结果包括一个或多个候选停车位的位置及所述一个或多个候选停车位的状态,包括:4310、基于深度相机检测所述停车位环境,生成所述停车位环境对应的停车位二维图像及停车位深度信息;4320、根据所述停车位二维图像及预设模型,识别所述停车位环境中的所述一个或多个候选停车位的位置及所述一个或多个候选停车位的状态;和/或4330、根据所述停车位二维图像与所述停车位深度信息的标定关系,识别所述停车位环境中的所述一个或多个候选停车位的位置及所述一个或多个候选停车位的状态。
58.4400、根据所述意向停车方向及所述停车位检测结果,生成第二意向检测结果,所述第二意向检测结果包括意向停车位的位置及所述意向停车位的状态,其中,所述意向停车位包含于所述一个或多个候选停车位;优选的,所述根据所述意向停车方向及所述停车位检测结果,生成第二意向检测结果,所述第二意向检测结果包括意向停车位的位置及所述意向停车位的状态,包括:4410、将所述意向停车方向与所述一个或多个候选停车位的位置及所述一个或多个候选停车位的状态进行匹配,确定所述意向停车位的位置及所述意向停车位的状态,以生成所述第二意向检测结果。
59.4500、根据所述第一意向检测结果及所述第二意向检测结果,判断是否触发自动泊车辅助系统,以将车辆泊入所述意向停车位。
60.优选的,所述根据所述第一意向检测结果及所述第二意向检测结果,判断是否触发自动泊车辅助系统,以将车辆泊入所述意向停车位位置,包括:4510、若所述第一意向检测结果为所述用户具有所述停车意图,则继续判断所述意向停车位的状态;4520、若所述意向停车位的状态为可停车,则生成第一提示语音,以提示所述意向停车位可停车,并触发所述自动泊车辅助系统,以将所述车辆泊入所述意向停车位;4530、若所述意向停车位的状态为被占用,则生成第二提示语音,以提示所述意向停车位被占用。
61.优选的,所述方法还包括:4540、若所述第一意向检测结果为所述用户具有所述停车意图且未生成所述意向停车方向,则生成第三提示语音以提示所述用户选择所述意向停车方向。
62.实施例三对应实施例一及实施例二,本技术提供了一种基于用户意向的自动泊车控制系统,如图5所示,所述系统包括:语音检测模块510,用于对用户语音进行检测,生成第一意向检测结果;人体姿态检测模块520,用于对用户人体姿态进行检测,生成意向停车方向;停车位检测模块530,用于对停车位环境进行检测,生成停车位检测结果,所述停
车位检测结果包括一个或多个候选停车位的位置及所述一个或多个候选停车位的状态;停车位选取模块540,用于根据所述意向停车方向及所述停车位检测结果,生成第二意向检测结果,所述第二意向检测结果包括意向停车位的位置及所述意向停车位的状态,其中,所述意向停车位包含于所述一个或多个候选停车位;中央处理模块550,用于根据所述第一意向检测结果及所述第二意向检测结果,判断是否触发自动泊车辅助系统,以将车辆泊入所述意向停车位。
63.优选的,所述语音检测模块510还用于采集用户语音并将所述用户语音转换为对应的文字信息;检测所述文字信息中是否包含预设关键词,以生成所述第一意向检测结果;若所述文字信息中包含所述预设关键词,则所述第一意向检测结果为用户具有停车意图;若所述文字信息中不包含所述预设关键词,则所述第一意向检测结果为用户不具有停车意图。
64.优选的,所述人体姿态检测模块520还用于基于深度相机检测所述用户人体姿态,获取关键节点及所述关键节点对应的三维坐标;选取所述关键节点并根据所述关键节点对应的三维坐标,判断是否生成三维空间直线;在检测到所述三维空间直线后,根据所述三维空间直线确定所述意向停车方向。
65.优选的,所述人体姿态检测模块520还用于选取所述用户手臂关键节点并根据所述用户手臂关键节点对应的三维坐标,判断用户手臂状态;若所述用户手臂状态为抬起状态,则选取所述用户手部关键节点并根据所述用户手部关键节点对应的三维坐标以判断用户手指状态;若所述用户手指状态存在指向方向,则选取所述用户关键节点并根据所述用户关键节点对应的三维坐标及所述预设处理规则,生成所述三维空间直线。
66.优选的,所述停车位检测模块530还用于基于深度相机检测所述停车位环境,生成所述停车位环境对应的停车位二维图像及停车位深度信息;根据所述停车位二维图像及预设模型,识别所述停车位环境中的所述一个或多个候选停车位的位置及所述一个或多个候选停车位的状态;和/或根据所述停车位二维图像与所述停车位深度信息的标定关系,识别所述停车位环境中的所述一个或多个候选停车位的位置及所述一个或多个候选停车位的状态。
67.优选的,所述停车位检测模块530还用于通过同一深度相机同时获取所述用户人体姿态及所述停车位环境,其中,所述深度相机安装在车辆的主驾驶位和副驾驶位的侧后方。
68.优选的,所述停车位选取模块540还用于将所述意向停车方向与所述一个或多个候选停车位的位置及所述一个或多个候选停车位的状态进行匹配,确定所述意向停车位的位置及所述意向停车位的状态,以生成所述第二意向检测结果。
69.优选的,所述中央处理模块550还用于:若所述第一意向检测结果为所述用户具有所述停车意图,则继续判断所述意向停车位的状态;若所述意向停车位的状态为可停车,则生成第一提示语音,以提示所述意向停车位可停车,并触发所述自动泊车辅助系统,以将所述车辆泊入所述意向停车位;若所述意向停车位的状态为被占用,则生成第二提示语音,以提示所述意向停车位被占用。
70.优选的,所述中央处理模块550还用于:若所述第一意向检测结果为所述用户具有所述停车意图且未生成所述意向停车方向,则生成第三提示语音以提示所述用户选择所述
意向停车方向。
71.实施例四对应上述所有实施例,本技术实施例提供一种电子设备,包括: 一个或多个处理器;以及与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:对用户语音进行检测,生成第一意向检测结果;对用户人体姿态进行检测,生成意向停车方向;对停车位环境进行检测,生成停车位检测结果,所述停车位检测结果包括一个或多个候选停车位的位置及所述一个或多个候选停车位的状态;根据所述意向停车方向及所述停车位检测结果,生成第二意向检测结果,所述第二意向检测结果包括意向停车位的位置及所述意向停车位的状态,其中,所述意向停车位包含于所述一个或多个候选停车位;根据所述第一意向检测结果及所述第二意向检测结果,判断是否触发自动泊车辅助系统,以将车辆泊入所述意向停车位。
72.其中,图6示例性的展示出了电子设备的架构,具体可以包括处理器610,视频显示适配器611,磁盘驱动器612,输入/输出接口613,网络接口614,以及存储器620。上述处理器610、视频显示适配器611、磁盘驱动器612、输入/输出接口613、网络接口614,与存储器620之间可以通过总线630进行通信连接。
73.其中,处理器610可以采用通用的cpu(central processing unit,中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit,asic)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本技术所提供的技术方案。
74.存储器620可以采用rom(read only memory,只读存储器)、ram(random access memory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器620可以存储用于控制电子设备600运行的操作系统621,用于控制电子设备600的低级别操作的基本输入输出系统(bios)622。另外,还可以存储网页浏览器623,数据存储管理系统624,以及图标字体处理系统625等等。上述图标字体处理系统625就可以是本技术实施例中具体实现前述各步骤操作的应用程序。总之,在通过软件或者固件来实现本技术所提供的技术方案时,相关的程序代码保存在存储器620中,并由处理器610来调用执行。
75.输入/输出接口613用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
76.网络接口614用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信,也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
77.总线630包括一通路,在设备的各个组件(例如处理器610、视频显示适配器611、磁盘驱动器612、输入/输出接口613、网络接口614,与存储器620)之间传输信息。
78.另外,该电子设备600还可以从虚拟资源对象领取条件信息数据库中获得具体领取条件的信息,以用于进行条件判断,等等。
79.需要说明的是,尽管上述设备仅示出了处理器610、视频显示适配器611、磁盘驱动器612、输入/输出接口613、网络接口614,存储器620,总线630等,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本技术方案所必需的组件,而不必包含图中所示的全部组件。
80.通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,云服务器,或者网络设备等)执行本技术各个实施例或者实施例的某些部分所述的方法。
81.本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
82.以上所述仅为本技术的较佳实施例,并不用以限制本技术,凡在本技术的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本技术的保护范围之内。