一种基于emccd的微光成像辅助驾驶系统
技术领域
1.本发明涉及驾驶辅助技术领域，特别是一种基于emccd的微光成像辅助驾驶系统。


背景技术：

2.长期以来，对于极微弱光环境下的辅助驾驶主要分为三种方法，第一种方法为主动光源辅助驾驶，这也是最直接应对暗环境驾驶问题的一种方法，即通过安装在车辆上方的led照射大灯主动向路面投射光源，这种方法往往需要大功率的led灯，其探测的距离与led等功率成正比，且最致命的是直接暴露了需要隐蔽驾驶的车辆本身；第二种方法采用图像增强器等真空器件作为核心器件的辅助驾驶仪，这种方法在白天或遇视场内有强光时，会有损坏器件的缺点，其次因为是单色荧光屏成像，驾驶员观看的感官也较差；第三种方法是采用如红外、cmos、ccd等固态器件，红外器件虽能在极暗环境下看到热源目标，但对于低热源目标和路面细节表现较差的情形，cmos器件因为其卷帘快门特性，导致车辆在运动时有严重的画面扭曲效应，会对驾驶员造成极大的辨识难度，普通ccd器件则对于微光环境感知能力弱，无法有效的应对暗环境。因此，我们想要寻求一种辅助驾驶系统能够在恶劣环境下有效的增强驾驶员的环境感知能力，获取更高、更精确、更丰富的道路结构环境信息。
3.公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域普通技术人员所公知的现有技术。


技术实现要素：

4.本发明的目的是提供一种基于emccd的微光成像辅助驾驶系统，能够提取低能见度、低照度下驾驶环境的有效信息，在较短的时间内提供给驾驶员，极大地提高低照度环境下车辆行驶的安全度和对周遭目标的感知度。
5.本发明采用的技术方案为：一种基于emccd的微光成像辅助驾驶系统，包括物镜组件和emccd成像组件；所述物镜组件获取原始图像光信号，传输到emccd成像组件；所述emccd成像组件包括emccd微光成像模块、控制处理模块、驱动模块、图像采集模块、图像编码模块和显示屏；所述驱动模块在控制处理模块的控制下，驱动emccd微光成像模块接收原始图像光信号； emccd微光成像模块将接收到的原始图像光信号，转换为原始图像电信号，传输至图像采集模块；图像采集模块通过ad转换，输出图像的数字信号至控制处理模块；控制处理模块对接收到的图像数字信号进行处理，输出增强后的帧图像；图像编码模块连接控制处理模块的输出端，根据接收到的增强后的帧图像，进行图像编码格式转换，输出增强后的视频信号至显示屏予以显示。
6.可选的，所述物镜组件包括反射棱镜和物镜，物镜设置于反射棱镜与emccd微光成像模块之间；原始图像光信号经过反射棱镜后进入物镜，经物镜后聚焦到emccd微光成像模块上。
7.可选的，系统还包括光学显示组件，所述光学显示组件包括设置于一暗箱内部的半反半透镜及曲率反射镜；暗箱侧壁上设有观测窗口；其中，所述曲率反射镜的反射面为凹面，并朝向显示屏；半反半透镜倾斜设置于显示屏与曲率反射镜之间，且其一面朝向观测窗口；曲率反射镜的曲率和半反半透镜的倾斜角度能够使得显示屏输出图像经半反半透镜及曲率反射镜所成的虚像，在被人眼通过观测窗口直视时，其大小与人眼直视显示屏时的图像大小一致。
8.可选的，所述半反半透镜朝向曲率反射镜的一端连接曲率反射镜背离观测窗口的一侧，半反半透镜朝向显示屏的一端向观测窗口一侧倾斜，并位于曲率反射镜靠近观测窗口一侧的上方。
9.以上方案中，显示屏投射光路通过暗箱中间斜架设的半反半透镜到达曲率反射镜反射，反射光会到半反半透镜再反射至暗箱的观测窗口，人眼通过观测窗口能够清晰的看到整套光学系统所成的虚像。曲率反射镜能够拉伸显示屏所成的像，使得人眼所看到物体的虚像和真实物体的像的比例达到1：1，最为真实反映物体的大小，使人脑对距离的判断最为接近真实情况。
10.可选的，所述暗箱的观测窗口周部配置有遮光罩，用于遮挡外界环境的杂散光，减小对人眼观测的影响。
11.可选的，所述驱动模块包括寄存器配置单元和增益电压控制单元；所述控制处理模块对图像采集模块输出的图像数字信号进行灰度统计，根据灰度统计结果确定emccd微光成像模块的电子增益倍数，将相应数值作为寄存器配置值传输至所述寄存器配置单元，寄存器配置单元根据接收到的寄存器配置值对所述增益电压控制单元的寄存器进行配置，使得增益电压控制单元按照配置后的寄存器值调节emccd微光成像模块的电子增益倍数。
12.可选的，所述控制处理模块采用fpga，所述emccd成像组件还包括外部时钟和ram存储器，所述fpga包括用于接入外部时钟信号的时钟信号输入端以及ram存储器连接端；fpga包括灰度统计单元、阈值比较单元、自动增益控制单元、帧缓存控制单元和图像处理单元；灰度统计单元接收图像采集模块输出的图像数字信号进行灰度统计，将灰度统计结果传输至阈值比较单元，将灰度统计结果和完整的帧图像传输至帧缓存单元；阈值比较单元将接收到的灰度统计结果与预设的阈值进行比较，自动增益控制单元根据阈值比较结果，查找预设的灰度与寄存器值的映射关系表，确定待配置的寄存器配置值，传输至所述寄存器配置单元；图像处理单元对帧缓存单元接收的帧图像进行增强处理，帧缓存单元通过ram存储器存取接收到的帧图像以及增强处理过程中生成的帧图像，将增强处理完成的帧图像输出至图像编码模块。
13.另一方面，本发明还提供前述基于emccd的微光成像辅助驾驶系统中emccd微光成像模块的自动增益控制方法，由控制处理模块执行，包括：实时获取emccd微光成像模块所采集到的图像的数字信号；对获取到的图像数字信号进行灰度统计；根据灰度统计结果确定emccd微光成像模块的电子增益倍数，将相应数值作为寄存器配置值进行输出，使得外部寄存器配置单元接收到相应数值后，能够根据接收到的寄
存器配置值对外部增益电压控制单元的寄存器进行配置，使得增益电压控制单元按照配置后的寄存器值调节emccd微光成像模块的电子增益倍数。
14.进一步的，所述根据灰度统计结果确定emccd微光成像模块的电子增益倍数，包括：将灰度统计结果与设定灰度阈值或灰度阈值范围进行匹配，得到相匹配的灰度阈值或灰度阈值范围；根据相匹配的灰度阈值或灰度阈值范围，查找预设的灰度与寄存器值的映射关系表，确定与所述相匹配的灰度阈值或灰度阈值范围相对应的寄存器值，将其作为带配置的寄存器配置值；其中，所述灰度与寄存器值的映射关系表记录有多个灰度阈值与多个寄存器值的映射关系，或者多个灰度阈值范围与多个寄存器值的映射关系数据。
15.有益效果本发明采用emccd微光成像模块获取外界信息，通过fpga等具有控制处理功能的器件进行图像信息的实时处理，提取低能见度、低照度下驾驶环境的有效信息，能够在较短的时间内以视频的形式提供给驾驶员，极大地提高了低照度环境下车辆行驶的安全度和对周遭目标的感知度。
16.同时，本发明通过光学显示组件实现驾驶系统的抬头显示，使得车辆所处环境内的物体在经光学显示组件后所成的虚像与驾驶员直视所成像的大小一致，从而能够真实反映物体的大小，使人脑对距离的判断最接近真实情况，有效地增强了驾驶员的环境感知能力。
附图说明
17.图1所示为本发明emccd微光成像辅助驾驶系统的一种实施例结构示意图；图2所示为本发明emccd微光成像辅助驾驶系统的一种实施例原理架构示意图；图3所示为为本发明emccd微光成像辅助驾驶系统的一种实施例中，控制处理模块fpga的工作原理示意图；图4所示为直视目标与本发明中辅助驾驶系统的光信号传播对比示意图；图中，1-物体，12-物体虚像，2-反射棱镜，3-物镜，4-emccd感光元件（emccd微光成像模块），5-部分成像组件（包括fpga、图像采集模块、驱动模块和图像编码模块），6-排线，7-显示屏，8-暗箱，9-遮光罩，10-曲率反射镜，11-半透半反镜。
具体实施方式
18.以下结合附图和具体实施例进一步描述。
19.实施例1本实施例介绍一种emccd微光成像辅助驾驶系统，参考图1，系统包括物镜组件和emccd成像组件；物镜组件包括反射棱镜2和物镜3；系统通过潜望在车体外的装置获取原始图像光信号，原始图像光信号经过反射棱镜后进入物镜，聚焦到emccd微光成像模块4上，通过光电传感器实现光电转换。
20.如图2所示，emccd成像组件包括emccd微光成像模块4、控制处理模块、驱动模块、图像采集模块、图像编码模块、显示屏6和电源模块；控制处理模块采用fpga，电源模块用于提供运行emccd成像组件中各模块工作所需的电源。
21.驱动模块在fpga模块的控制下，驱动emccd微光成像模块接收原始图像光信号； emccd微光成像模块将接收到的原始图像光信号，转换为原始图像电信号，传输至图像采集模块；采集模块通过ad转换，输出图像的数字信号至fpga模块；fpga模块对接收到的图像数字信号进行处理，输出增强后的帧图像；图像编码模块连接fpga模块的输出端，根据接收到的增强后的帧图像，进行图像编码转换格式，输出增强后的视频信号至显示屏予以显示。
22.原始图像光信号经过emccd成像组件，实现了光电转换、电子倍增和图像增强等处理。
23.参考图3，本实施例中，驱动模块包括寄存器配置单元和增益电压控制单元；控制处理模块采用fpga，emccd成像组件还包括外部时钟和ram存储器，fpga包括用于接入外部时钟信号的时钟信号输入端以及ram存储器连接端；fpga对图像采集模块输出的图像数字信号进行灰度统计，根据灰度统计结果确定emccd微光成像模块的电子增益倍数，将相应数值作为寄存器配置值传输至所述寄存器配置单元，寄存器配置单元根据接收到的寄存器配置值对所述增益电压控制单元的寄存器进行配置，使得增益电压控制单元按照配置后的寄存器值调节emccd微光成像模块的电子增益倍数。
24.具体的，fpga包括灰度统计单元、阈值比较单元、自动增益控制单元、帧缓存控制单元和图像处理单元；灰度统计单元接收图像采集模块输出的图像数字信号进行灰度统计，将灰度统计结果传输至阈值比较单元，将灰度统计结果和完整的帧图像传输至帧缓存单元；阈值比较单元将接收到的灰度统计结果与预设的阈值进行比较，自动增益控制单元根据阈值比较结果，查找预设的灰度与寄存器值的映射关系表，确定待配置的寄存器配置值，传输至所述寄存器配置单元；图像处理单元对帧缓存单元接收的帧图像进行增强处理，帧缓存单元通过ram存储器存取接收到的帧图像以及增强处理过程中生成的帧图像，将增强处理完成的帧图像输出至图像编码模块。参考图3，帧缓存单元通过对ram和图像处理单元的联合调用实现图像的增强处理，向图像编码器输出增强后的帧图像。
25.本实施例能够实现对车辆所处低能见度、低照度驾驶环境下图像的高效采集处理及显示，以视频的形式提供给驾驶员，提高低照度环境下车辆行驶的安全度和对周遭目标的感知度。
26.实施例2结合图1和图2，为了实现驾驶系统的抬头显示，本实施例在实施例1的基础上还设置了光学显示组件，光学显示组件包括设置于一暗箱8内部的半反半透镜11及曲率反射镜10；暗箱8侧壁上设有观测窗口9；如图1曲率反射镜的反射面为凹面，并朝向显示屏7；半反半透镜倾斜设置于显示屏与曲率反射镜之间，且其一面朝向观测窗口；曲率反射镜的曲率和半反半透镜的倾斜角度能够使得显示屏输出图像经半反半透镜及曲率反射镜所成的虚像，在被人眼通过观测窗
口直视时，其大小与人眼直视显示屏时的图像大小一致。
27.本实施例中，半反半透镜朝向曲率反射镜的一端连接曲率反射镜背离观测窗口的一侧，半反半透镜朝向显示屏的一端向观测窗口一侧倾斜，并位于曲率反射镜靠近观测窗口一侧的上方。具体倾斜角度可通过试验结合经验设置，以使得抬头显示功能能够适应驾驶员的正常视角。
28.以上方案中，显示屏投射光路通过暗箱中间斜架设的半反半透镜到达曲率反射镜反射，反射光会到半反半透镜再反射至暗箱的观测窗口，人眼通过观测窗口能够清晰的看到整套光学系统所成的虚像。曲率反射镜能够拉伸显示屏所成的像，使得人眼所看到物体的虚像和真实物体的像的比例达到1：1，最为真实反映物体的大小，使人脑对距离的判断最为接近真实情况。
29.如图4所示，正常直视物体时，物体在视场中所成像的大小只与物体到人眼光路传播的距离有关，而在本实施例中，物体的光通过光电转换，在显示屏上再现时，会丢失物体距离的信息，因此通过在显示屏与人眼中增加拥有一定曲率的反射镜将显示屏所成的像进行拉伸，使得人眼所看到物体的虚像12和真实物体的像1的比例达到1：1，最为真实反映物体的大小，使人脑对距离的判断最为接近真实情况，保留了物体真实的距离信息。
30.进一步的，暗箱的观测窗口周部配置有遮光罩9，用于遮挡外界环境的杂散光，减小对人眼观测的影响。
31.本实施例在应用时，同实施例1，emccd成像组件是整套驾驶系统的核心部分，它通过微弱光信息采集、信号放大、图像处理和数字图像再现的方式将暗环境下的微弱光信号传递给人眼，包括：通过物镜系统将外部环境光聚焦在emccd器件的感光面上，emccd驱动模块在fpga驱动信号下完成电平转换为emccd提供必要的电荷转移时序完成电荷搬运，图像采集模块通过ad转换将电荷电平转换为数字信号传送至fpga进行图像处理，fpga通过外部ram完成帧图像存储和读取，将处理好的帧图像送至图像编码芯片，编码芯片将视频裸数据转换为mipi格式，最后通过通用显示屏再现出emccd所采集到的图象，再由后端光学显示组件组成的光学系统为人眼观察呈现1：1清晰的虚像。
32.实施例3本实施例介绍基于emccd的微光成像辅助驾驶系统中emccd微光成像模块的自动增益控制方法，由控制处理模块执行，包括：实时获取emccd微光成像模块所采集到的图像的数字信号；对获取到的图像数字信号进行灰度统计；根据灰度统计结果确定emccd微光成像模块的电子增益倍数，将相应数值作为寄存器配置值进行输出，使得外部寄存器配置单元接收到相应数值后，能够根据接收到的寄存器配置值对外部增益电压控制单元的寄存器进行配置，使得增益电压控制单元按照配置后的寄存器值调节emccd微光成像模块的电子增益倍数。
33.进一步的，所述根据灰度统计结果确定emccd微光成像模块的电子增益倍数，包括：将灰度统计结果与设定灰度阈值或灰度阈值范围进行匹配，得到相匹配的灰度阈值或灰度阈值范围；根据相匹配的灰度阈值或灰度阈值范围，查找预设的灰度与寄存器值的映射关系
表，确定与所述相匹配的灰度阈值或灰度阈值范围相对应的寄存器值，将其作为带配置的寄存器配置值；其中，所述灰度与寄存器值的映射关系表记录有多个灰度阈值与多个寄存器值的映射关系，或者多个灰度阈值范围与多个寄存器值的映射关系数据。
34.在应用时，本实施例中的emccd微光成像模块能够通过调节增益电压（电子增益倍数），使驾驶系统实现昼夜兼容。原理为：emccd微光成像模块惊醒光电信号转换后，图像采集模块将ad转换后的灰度图像采集传输至fpga，灰度统计单元统计当前一帧图象的灰度值，将统计结果送入阈值比较单元，同时将完整的帧图像和统计结果送入帧缓存单元，帧缓存模块通过外部ram和图像处理单元联合调用实现视频图象的视觉增强。阈值比较单元通过与设定的阈值进行比较，将比较后的结果输入至自动增益控制单元，自动增益控制单元通过查表的方式将对应的寄存器配置值输出给寄存器配置模块，寄存器配置模块根据自动增益控制单元发出的命令对外围增益电压控制芯片的寄存器进行电压配置。由于增益电压的调整，图像采集模块采集的灰度值将会有所变化（变高或变低），调整后的新一帧图象再被送入灰度统计模块继续完成上述过程，形成了整个自动增益控制的闭环反馈，使得最终图象的灰度区间将处在预设的灰度区间内。
35.以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护范围之内。