用于图像生成和对象跟踪的具有mems扫描仪的紧凑光学系统
1.本技术是国际申请号为pct/us2018/034522、国际申请日为2018年05月25日、于2020年01月06日进入中国国家阶段、中国国家申请号为201880045222.1、发明名称为“用于图像生成和对象跟踪的具有mems扫描仪的紧凑型光学系统”的发明专利申请的分案申请。
技术领域
2.本公开的实施例涉及光学系统，并且更具体地涉及具有mems扫描仪的紧凑光学系统。


背景技术：

3.近眼显示(ned)系统将计算机生成的图像(“cg图像”)叠加在用户对现实世界环境的视图上。例如，ned系统可以生成合成视图以使得用户能够视觉地感知叠加在存在于现实世界环境内的视觉感知的物理对象上的cg图像。在一些实例中，用户体验取决于ned系统准确标识物理对象的特性、然后根据这些标识的特性生成cg图像。例如，假设对ned系统进行了编程，以生成用户感知，即虚拟游戏角色正在奔向并最终跳过现实世界的结构。为了实现这种用户感知，可能要求ned系统来获得定义ned周围地形的特征的详细数据。
4.常规的ned系统包括诸如相机和lidar系统之类的一系列跟踪设备，其专用于监视ned系统周围的现实世界环境中的对象或地形的特性。尽管有益于系统功能性，但是这种专用跟踪系统的增加的重量和体积阻止了常规ned系统达到使得用户易于采用以供日常使用的足够舒适的大小和重量。
5.相对于这些和其他考虑，提出了本文进行的公开内容。


技术实现要素：

6.本文描述的技术提供了一种光学系统，该光学系统部署了(多个)微机电系统(mems)扫描仪，以用于在用户对现实世界环境的视角内生成cg图像，并且还用于绘制现实世界环境的地形和/或跟踪现实世界环境内的一个或多个对象。在一些配置中，照明引擎将电磁(em)辐射发射到光学组件中，其中em辐射包括用于生成cg图像的第一光谱带宽和用于利用地形绘制协议扫描视场的第二光谱带宽二者。光学组件可以使第一光谱带宽和第二光谱带宽沿着公共光路传播，然后将第一光谱带宽与第二光谱带宽分离。特别地，光学组件经由显示器将第一光谱带宽从公共光路引导到图像生成光路以生成cg图像，同时还将第二光谱带宽从公共光路引导到地形绘制光路以扫描现实世界环境的地形，从而照射现实世界环境内的一个或多个对象。如本文所使用的，术语“地形绘制”通常是指在视场上扫描光并通过接收从地形的特征反射的光来确定光学系统周围的现实世界环境的地形特征的过程。现实世界环境的地形的表面的特征、特性和/或空间分布可以被扫描，并且可以由光学系统生成定义这种特征的数据。例如，可以部署地形绘制协议来绘制房间内的表面的特征，诸如一件家具、桌子或沙发，建筑物的结构特征，诸如墙壁或墙壁的边缘，甚至是空旷的空间，诸如走廊或开着的门道。在一些实现中，地形绘制可以包括在三个维度内绘制地形的特征，并且
定义特征的生成数据可以是任何合适的格式，例如点云数据或现实世界环境的任何其他合适的三维数据表示。在一些实现中，地形绘制可以包括跟踪地形内的一个或多个对象，例如，跟踪穿越地形绘制视场行进的球，跟踪可以被解释为用户命令的手势等。光学系统可以部署(多个)mems扫描仪，用以通过在图像生成光路内引导第一光谱带宽来生成cg图像，并且还用以通过在视场内扫描第二光谱带宽来照射对象。因此，所公开的光学系统消除了在要求这些双重功能性的设备(诸如例如ned设备)内对专用图像生成光学系统和专用地形绘制光学系统二者的需求。因此，所公开的光学系统表示朝着生产紧凑和轻便的ned设备的实质性进步。
7.在说明性实施例中，一种光学系统包括至少一个控制器，该至少一个控制器将输出信号传输到照明引擎，以用于调制被透射到光学组件中的em辐射的多个光谱带宽的生成。em辐射包括用于生成由用户可感知的cg图像的第一光谱带宽和用于部署地形绘制协议以标识用户的现实世界环境的特征——例如接近用户和/或光学系统的物理对象——的第二光谱带宽。应当理解，在各种实施例中，可以部署地形绘制协议来总体上绘制地形和/或跟踪感兴趣的特定对象。可以跟踪特定的感兴趣对象，例如跟踪用户的手部的定向和/或位置，跟踪用户所握持的对象等。第一光谱带宽可以包括em光谱的一些或全部可见光部分，而第二光谱带宽可以包括适合于部署所期望的地形绘制协议的em光谱的任何部分。作为一个特定但非限制性的示例，第一光谱带宽可以跨度从大约三百九十纳米(390nm)到大约七百纳米(700nm)，而第二光谱带宽可以是居中在对眼睛安全的一千五百五十纳米(1550nm)波长上的较窄波带。在一些实施例中，第二光谱带宽包括em光谱的紫外部分中的至少一些。在一些实施例中，第二光谱带宽包括除了1550nm之外的em光谱的红外部分中的至少一些。提供这些示例是出于说明性目的，并且不应被解释为限制性的。
8.光学组件可以包括公共光路，例如当em辐射最初进入光学组件时，第一光谱带宽和第二光谱带宽都在公共光路上传播。光学组件还包括一个或多个光学元件来将第一光谱带宽和第二光谱带宽的路径分离，从而将第二光谱带宽引导到地形绘制光路上。在一个示例中，光学组件包括介电镜，其将来自公共光路的第二光谱带宽反射到地形绘制光路上，并将来自公共光路的第一光谱带宽透射到图像生成光路上。前述描述仅出于说明性目的，不应被解释为对本文公开的发明概念的限制。应当理解，也可以部署其他用于沿着变化的光路分离光的带宽的技术。例如，在一些实施例中，光学组件可以基于光谱带宽的相应偏振态之间的差异将第一光谱带宽与第二光谱带宽分离。
9.沿着图像生成光路传播的第一光谱带宽最终从光学组件被透射到显示部件，诸如例如波导显示器，其包括用于引导第一光谱带宽的衍射光学元件(doe)。例如，第一光谱带宽可以被透射到波导显示器的入耦合(in-coupling)doe中，其使第一光谱带宽通过全内反射传播通过波导显示器的至少一部分，直到到达波导组件的出耦合(out-coupling)doe，其将第一光谱带宽朝着用户的眼睛投射。沿着地形绘制光路传播的第二光谱带宽最终从光学组件被发射到现实世界环境中，以出于对象跟踪目的照射对象(例如，包括绘制地形而无需对特定对象的任何特定关注和/或兴趣)。例如，可以从光学组件发射第二光谱带宽，以用结构化光图案“涂画”对象，该结构化光图案可以被反射和分析以标识各种对象特性，诸如从光学系统到对象的深度、对象的表面轮廓、或其他任何所期望的对象特性。可以理解的是，经由结构化光的地形绘制是将预定的光图案(例如，光的线、网格和/或条)投射到现实世界
环境的视场或地形上的过程。然后，基于已知的光图案在碰撞地形的表面时变形的方式，光学系统可以计算其他数据，这些数据定义了被结构化光碰撞的对象的深度和/或其他表面特征。例如，光学系统可以包括偏离光轴的传感器，沿着该光轴发射结构化光图案，其中该偏移被配置为加剧被反射回传感器的结构化光图案中的变形。可以理解的是，结构化光图案的变形程度可以基于结构化光的源与检测结构化光的反射的传感器之间的已知位移。
10.光学系统还可以包括一个或多个mems扫描仪，其被配置为动态地控制em辐射被反射到光学组件中的各个方向。(多个)mems扫描仪可以被配置为在单个方向或多个方向上扫描(例如，通过围绕一个或多个旋转轴旋转)以扫描图像生成视场(fov)内的第一光谱带宽以经由显示器生成cg图像，并且还扫描地形绘制fov内的第二光谱带宽。在各种实现中，光学系统可以同时部署(多个)mems扫描仪，以引导用于生成用户可感知的cg图像的第一光谱带宽并且还引导用于扫描地形——例如照射现实世界环境的特征——的第二光谱带宽。在一些实现中，一个或多个mems扫描仪可以被部署为根据诸如例如固定光栅图案之类的固定扫描图案来扫描光。例如，一个或多个mems扫描仪可以包括被配置为根据固定光栅图案执行快速扫描的第一mems扫描仪和被配置为执行慢速扫描(其可以或可以不根据固定光栅图案而被执行)的第二mems扫描仪。光学系统还可以包括传感器，该传感器用以检测第二光谱带宽的反射部分，该反射部分碰撞对象的一个或多个表面并且最终被反射回到光学系统。特别地，传感器检测反射部分并生成指示各种对象特性的对应对象数据。至少一个控制器可以监视由传感器生成的对象数据以确定各种对象特性。
11.应当理解，说明书中对“第一”、“第二”等项目和/或抽象概念的任何引用均不旨在且不应被解释为必然对应于权利要求的“第一”、“第二”等元素的任何引用。特别地，在该发明内容和/或以下详细描述中，可以通过数字标记来区分项目和/或抽象概念，诸如例如，各个偏振分束器(pbs)和/或波板和/或光路段而没有将这种标记与权利要求书或发明内容和/或详细描述的其他段落相对应。例如，在本公开的一个段落内的光学组件的“第一波板”和“第二波板”的任何指定仅被用来区分该特定段落内——而不是任何其他段落、尤其不是权利要求——的光学组件的两个不同的波板。
12.通过阅读以下详细描述并查看相关联的附图，这些以及各种其他特征将变得明显。提供本发明内容以简化形式介绍一些概念，这些概念将在下面的详细描述中进一步被描述。本发明内容既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。此外，要求保护的主题不限于解决在本公开的任何部分中指出的任何或所有缺点的实现。
附图说明
13.参照附图描述具体实施方式。在附图中，附图标号的(多个)最左边的数字标识该附图标号第一次出现的附图。不同附图中的相同附图标号指示相似或相同的项目。对多个项目中的个体项目的引用可以使用带有括号内所包括的另一个编号的附图标号(和/或不带括号的字母)来指代每个个体项目。对项目的通用引用可以使用不带字母序列的特定参考标号。
14.在附图中，图示出了本文所公开的光学系统的各个部件之间的许多光路段。除非另有说明，否则图示出了各个光路段以传达光在两个或更多个部件之间行进的大致方向。
例如，在第一部件和第二部件之间用指向第二部件的箭头图示出的特定光路段通常可以传达：光沿着特定光路段从第一部件向第二部件传播。然而，除非在具体实施方式中清楚地指出(明确地或隐含地)，否则个体光路段的图示在长度、角度和/或位置方面相对于任何其他个体光路段都未按比例绘制。例如，在一些实例中，出于美学目的(例如，以分离地图示分离的路径)，可以将两个分离的光路段图示为彼此相邻，而没有指出这些分离的光路在实用上是相邻的(例如，它们可以同轴、离轴或两者皆有)。
15.图1示出了并入本文所公开的光学系统的近眼显示(ned)设备形式的示例设备。
16.图2a和图2b(在本文中被统称为图2)图示出了光学系统的示例性实施例，该光学系统包括照明引擎和光学组件，其中em辐射的多个光谱带宽沿着公共光路传播。
17.图3图示出了光学系统的示例性实施例，该光学系统选择性地将多个光谱带宽中的特定光谱带宽从公共光路引导到地形绘制光路上，以照射现实环境内的对象。
18.图4图示出了光学系统的示例性实施例，该光学系统选择性地将多个光谱带宽中的不同光谱带宽从公共光路引导到图像生成光路上，以生成用户视觉上可感知的cg图像。
19.图5a和图5b(在本文中被统称为图5)图示出了光学系统的示例性实施例，该光学系统包括除了具有传感器之外的具有多个光源的照明引擎。
20.图6图示出了包括单个mems扫描仪的光学系统的示例性实施例，该mems扫描仪被配置为围绕两个不同的旋转轴旋转以在视场的两个方向内扫描光。
21.图7图示出了包括一个或多个透镜的光学系统的示例性实施例，该一个或多个透镜被配置为调制地形绘制视场(fov)的大小。
22.图8图示出了光学系统的示例性实施例，该光学系统包括穿过显示器的地形绘制光路。
23.图9图示出了包括地形绘制光路的光学系统的示例性实施例，该地形绘制光路在被朝着对象发射之前内部地传播通过波导。
具体实施方式
24.以下具体实施方式描述了用于提供一种光学系统的技术，该光学系统部署了一个或多个微机电系统(mems)扫描仪，以用于在用户对现实世界环境的视角内生成计算机生成的图像(“cg图像”)，以及绘制现实世界环境的地形和/或在现实世界环境中跟踪对象。一般而言，照明引擎发射电磁(em)辐射，该电磁辐射包括用于生成cg图像的第一光谱带宽和用于部署地形绘制协议的第二光谱带宽。两个光谱带宽都可以沿着公共光路进入光学组件。然后，光学组件可以将第一光谱带宽从公共光路引导到图像生成光路，同时将第二光谱带宽从公共光路引导到地形绘制光路。光学系统可以同时部署用于cg图像生成和地形绘制目的两者的(多个)mems扫描仪。特别地，(多个)mems扫描仪可以精确地控制第一光谱带宽沿着图像生成光路传播的方向以及第二光谱带宽沿着地形绘制光路传播的方向。
25.本文描述的技术提供了优于专用于执行不同功能性的常规光学系统(例如，专用于执行图像生成或地形绘制之一而不是二者的光学系统)的益处。特别地，对于要求图像生成和地形绘制能力两者的设备，所公开的光学系统消除了对专用图像生成光学系统和专用地形绘制光学系统的需求。因此，所公开的系统为诸如例如增强现实和虚拟现实系统之类的系统提供了重量和成本上的显著降低。
26.图1示出了可以并入如本文所公开的光学系统102的近眼显示(ned)设备100形式的示例设备。在该示例中，光学系统102包括生成em辐射的照明引擎104，该em辐射包括用于生成cg图像的第一光谱带宽和用于跟踪物理对象的第二光谱带宽。第一光谱带宽可以包括em光谱的一些或全部可见光部分，而第二光谱带宽可以包括适合于部署期望的地形绘制协议的em光谱的任何部分。在该示例中，光学系统102还包括光学组件106，该光学组件106被定位成接收来自照明引擎104的em辐射并将em辐射(或其个体光谱带宽)沿着一个或多个预定光路引导。例如，照明引擎104可以沿着由第一光谱带宽和第二光谱带宽两者共享的公共光路将em辐射发射到光学组件106中。如本文其他地方更详细地描述的，光学组件106还可以包括一个或多个光学部件，其被配置为将第一光谱带宽与第二光谱带宽分离(例如，通过分别使第一和第二光谱带宽沿着不同的图像生成光路和地形绘制光路传播)。示例性地形绘制协议包括但不限于结构化光协议、飞行时间协议、立体视觉协议以及可以被部署用于地形绘制和/或对象跟踪目的的任何其他合适的技术。
27.光学组件106包括一个或多个mems扫描仪，其被配置为相对于光学组件106的一个或多个部件来引导em辐射，并且更具体地，引导第一光谱带宽以用于图像生成目的并且引导第二光谱带宽以用于地形绘制目的。在该示例中，光学系统102还包括传感器108，该传感器108响应于第二光谱带宽的反射部分——即，从地形的表面被反射的第二光谱带宽的一部分——来生成对象数据，该地形的表面可以包括存在于现实世界环境112的经扫描的视场内的对象110的表面，例如桌子、窗户、门和墙壁的边缘。
28.如本文中所使用的，术语“对象数据”通常是指由传感器108响应于第二光谱带宽被包围ned设备100的现实世界环境内的一个或多个对象反射而生成的任何数据。例如，对象数据可以对应于ned设备100不特别感兴趣的墙壁或其他物理对象。附加地或备选地，对象数据可以对应于正被ned设备100主动监视的特定对象(例如，为了标识指示将由ned设备100执行的命令的手势而正被监视的用户的手)。在所图示的实施例中，ned设备100可以被部署以生成对象数据，该对象数据表示现实世界环境112的图示地形的特征和/或特性，现实世界环境112包括：限定密闭空间的一个或多个墙壁、敞开的门(通过此门，一个或多个室外对象是可见的(例如，所图示的树木))、存在于该地形内的对象(例如，所图示的桌子)、或将光反射回ned设备100的任何其他物理表面和/或对象。
29.在一些示例中，ned设备100可以利用光学系统102来生成合成视图(例如，从佩戴ned设备100的用户的视角来看)，其包括一个或多个cg图像以及包括对象110的现实世界环境112的至少一部分的视图两者。例如，光学系统102可以利用诸如例如增强现实(ar)技术之类的各种技术来生成包括叠加在现实世界视图上的cg图像的合成视图。这样，光学系统102可以被配置为经由显示面板114生成cg图像。在所图示的示例中，显示面板114包括分别被标记为114r和114l的分离的右眼和左眼透明显示面板。在一些示例中，显示面板114可以包括用两只眼睛可观看的单个透明显示面板和/或仅由单只眼睛可观看的单个透明显示面板。因此，可以理解的是，本文所述的技术可以被部署在单眼近眼显示(ned)系统(例如，google glass)和/或双眼ned系统(例如，microsoft hololens)内。ned设备100是被用来提供上下文并图示出本文所公开的光学系统102的各种特征和方面的示例设备。其他设备和系统也可以使用本文所公开的光学系统102。
30.在一些示例中，显示面板114可以是波导显示器，其包括一个或多个衍射光学元件
(doe)，用于将入射光入耦合到波导中，在一个或多个方向上扩展入射光以用于出射光瞳扩展，和/或将入射光出耦合离开波导(例如，朝着用户的眼睛)。在一些示例中，ned设备100还可以包括图1中所示的以透明面罩116的形式定位在现实世界环境112(该现实世界环境不构成要求所保护的发明的一部分)和显示面板114之间的附加的透视光学部件116。可以理解的是，纯粹出于美学和/或保护目的，可以在ned设备100中包括透明面罩116。ned设备100还可以包括各种其他部件，例如扬声器、麦克风、加速度计、陀螺仪、磁力计、温度传感器、触摸传感器、生物识别传感器、其他图像传感器、储能部件(例如电池)、通信设施、gps接收器等。
31.在所图示的示例中，控制器118被可操作地耦合到照明引擎104、光学组件106(和/或其(多个)mems扫描仪)和传感器108中的每一个。控制器118包括一个或多个逻辑设备和一个或多个计算机存储器设备，其存储由(多个)逻辑设备可执行以部署本文所述的与光学系统102有关的功能性的指令。控制器118可以包括一个或多个处理单元120、一个或多个计算机可读介质122，以用于存储操作系统124和诸如例如定义一个或多个cg图像的图像数据和/或定义一个或多个地形绘制协议的跟踪数据之类的数据。
32.在一些实现中，ned设备100可以被配置为分析对象数据以对ned设备100的定向执行基于特征的跟踪。在一些实施例中，可以根据诸如例如围绕多个轴线的旋转(例如，偏航、俯仰和/或滚动)之类的自由度来测量相关于地形的一个或多个特征的ned设备100的定向和/或相对位置。例如，在对象数据包括现实世界环境内的静止对象(例如桌子)的指示的场景中，ned设备可以监视静止对象在地形绘制视场(fov)内的位置。然后，基于在地形绘制fov内的桌子的位置的变化和从ned设备到桌子的深度，ned设备可以计算ned设备100的定向和位置的变化。可以理解的是，这些基于特征的跟踪技术可以被用来监视ned设备的定向和位置的变化，以用于监视用户头部的定向的目的(例如，在假定ned设备正被用户正确佩戴的情况下)。尽管可以理解的是，在一些实施例中，本文所描述的各种与mems扫描仪相关的技术可以被部署以确定用于基于特征的跟踪的(多个)深度，但是在其他实现中，可以使用替代技术来确定(多个)深度。此外，在一些实现中，ned设备100可以包括惯性测量单元(fmu)以增强经由基于特征的跟踪所计算出的位置和/或定向解决方案。
33.计算机可读介质122还可以包括图像生成引擎126，该图像生成引擎126生成输出信号，以调制照明引擎104对em辐射的第一光谱带宽的生成，并且还控制(多个)mems扫描仪在光学组件106内引导第一光谱带宽。最终，(多个)mems扫描仪引导第一光谱带宽通过显示面板114以生成用户可感知的cg图像。计算机可读介质122还可以包括地形绘制引擎128，该地形绘制引擎128生成输出信号以调制照明引擎104对em辐射的第二光谱带宽的生成，并且还控制(多个)mems扫描仪以沿着地形绘制光路引导第二光谱带宽以照射对象110。地形绘制引擎128与传感器108通信，以接收基于第二光谱带宽的反射部分生成的对象数据。地形绘制引擎128然后分析对象数据以确定对象110或地形的一个或多个特征或特性，诸如例如对象110相对于光学系统102的深度、对象110相对于光学系统102的定向、对象110相对于光学系统102的速度和/或加速度、或对象110的任何其他所期望的特性。ned设备100的部件例如经由总线130被可操作地连接，该总线130可以包括系统总线、数据总线、地址总线、pci总线、mini-pci总线以及任何各种本地、外围和/或独立总线中的一个或多个。
34.地形可以由本文所公开的一个或多个设备扫描，并且可以生成定义地形的特征的
数据。例如，一个或多个设备可以标识地形内的表面的纹理，标识地形内的墙或任何其他对象。在其他非限制性示例中，本文所公开的一个或多个设备可以标识诸如墙壁、桌子等等之类的一个或多个对象的边缘。
35.在一些实现中，ned设备100包括多个分立通道，其被独立地部署以执行不同的地形绘制和/或对象跟踪功能。在一个特定但非限制性示例中，ned设备100包括与右眼显示面板114r相对应的第一通道和与左眼显示面板114l相对应的第二通道。在此示例中，第一通道可以被部署以执行现实世界环境112的地形绘制，而第二通道被部署以执行一个或多个感兴趣的特定对象(例如，用户的手部、在用户面前行驶的汽车等)的对象跟踪。例如，第一通道可以在视场(fov)内发射用于远场地形绘制的第二光谱带宽，而第二通道可以从不同的fov发射用于近场手势跟踪的第二光谱带宽。从下面的描述中将明显的是，在多通道实现中，ned设备100的每个分立通道可以包括如关于图2a至图9所描述的对应的光学系统(例如，光学系统200至700)。
36.(多个)处理单元120可以表示例如cpu型处理单元、gpu型处理单元、现场可编程门阵列(fpga)、另一类数字信号处理器(dsp)或在一些实例中可以由cpu驱动的其他硬件逻辑部件。例如而非限制，可以使用的说明性的硬件逻辑部件类型包括专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑器件(cpld)等。
37.如本文中所使用的，诸如计算机可读介质122之类的计算机可读介质可以存储由(多个)处理单元120可执行的指令。计算机可读介质还可以存储由外部处理单元诸如由外部cpu、外部gpu可执行的指令和/或由外部加速器诸如fpga类型的加速器、dsp类型的加速器或任何其他内部或外部加速器可执行的指令。在各种示例中，至少一个cpu、gpu和/或加速器被并入在计算设备中，而在一些示例中，cpu、gpu和/或加速器中的一个或多个在计算设备外部。
38.计算机可读介质可以包括计算机存储介质和/或通信介质。计算机存储介质可以包括以下中的一个或多个：易失性存储器、非易失性存储器和/或其他持久性和/或辅助计算机存储介质、以任何用于信息存储的方法或技术实现的可移除和不可移除计算机存储介质，所述信息诸如是计算机可读指令、数据结构、程序模块或其他数据。因此，计算机存储介质包括在设备和/或作为设备一部分或在设备外部的硬件部件中所包括的有形和/或物理形式的介质，包括但不限于随机存取存储器(ram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、相变存储器(pcm)、只读存储器(rom)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、闪存、旋转介质、光卡或其他光存储介质、磁存储装置、磁卡或其他磁存储设备或介质、固态存储器设备、存储阵列、网络附接存储装置、存储区域网络、托管的计算机存储装置或任何可以被用来存储和维护供计算设备访问的信息的其他存储存储器、存储设备和/或存储介质。
39.与计算机存储介质相比，通信介质可以在诸如载波之类的经调制的数据信号或其他传输机制中体现计算机可读指令、数据结构、程序模块或其他数据。如本文所定义的，计算机存储介质不包括通信介质。即，计算机存储介质本身不包括仅由经调制的数据信号、载波或传播信号组成的通信介质。
40.现在转向图2a和图2b(在本文中被统称为图2)，图示出了光学系统200的示例性实施例，该光学系统200包括照明引擎104和光学组件106，其中em辐射的多个光谱带宽(例如，
第一光谱带宽和第二光谱带宽)沿着公共光路传播。在所图示的示例中，公共光路包括六个单独编号的光路段。
41.如所图示，照明引擎104沿着第一光路段朝着第一偏振分束器(pbs)202发射em辐射到光学组件106中，该第一偏振分束器(pbs)被配置为反射处于第一偏振态的线性偏振光并透射处于与第一偏振态正交的第二偏振态的线性偏振光。例如，第一偏振态可以是s偏振的，而第二偏振态可以是p偏振的。在一些实施例中，照明引擎104可以被配置为发射处于第一偏振态的em辐射。示例性的pbs 202可以包括pbs立方体，该pbs立方体包括在平面208处接合的两个直角棱镜204和206。可以备选地利用其他分束设备，包括例如板式分束器、线栅分束器、衍射光栅分束器和/或任何其他类型的合适分束器。
42.在所图示的示例中，至少一些em辐射在沿着第一光路段传播时处于第一偏振态。结果，pbs 202将em辐射(或处于第一偏振态的部分)朝着第二pbs 210反射到第二光路段上。第二pbs 210类似地被配置为反射处于第一偏振态的线性偏振光并透射处于与第一偏振态正交的第二偏振态的线性偏振光。由于沿着第二光路段的em辐射保持处于第一偏振态，因此第二pbs 210将处于第一偏振态的em辐射反射到第三光路段上。
43.当em辐射沿着第三光路段传播时，其穿过诸如例如四分之一波板之类的第一波板212，该四分之一波板包括具有预定厚度的双折射材料的平板。波板在本文中也可以被称为光学延迟器。在一些实施例中，第一波板212可以被配置为当其穿过第一波板212朝着第一mems扫描仪214时更改em辐射的偏振。第一mems扫描仪214被配置成将em辐射朝着第一波板212反射回去。然后，在第二次穿过第一波板212时(例如，在其朝着pbs 210返回的途中)，em辐射可以被更改为第二偏振态。可以将被更改的、处于第二偏振态的em辐射透射穿过第一pbs 202和第二pbs 210。
44.在一些实施例中，em辐射在其以第一线性偏振态朝着第一mems扫描仪214传播时首先碰撞第一波板212，并且在离开第一波板212时被第一波板212改变为圆偏振态。该圆偏振态在图2a中通过围绕第一mems 214和第一波板212之间的第三光路段的圆形箭头符号来表示。现在特别地参照图2b，当em辐射以圆偏振态撞击在第一mems扫描仪214的反射表面(例如，反射扫描板)上时，它然后以向后传播的圆偏振态朝着第一波板212被反射到第四光路段上。该向后传播的圆偏振态在图2b中通过围绕第一mems 214和第一波板212之间的第四光路段的圆形箭头符号来表示。
45.然后，em辐射以向后传播的圆偏振态撞击在第一波板212上，在这里它被更改为能够穿过pbs 210的第二偏振态。换句话说，em辐射以与当em辐射撞击在第一波板212的前表面上时相比的相反偏振态离开第一波板212的前表面(即最靠近pbs 210的表面)。在一个示例中，em辐射可以在第四光路段上离开第一波板212时被p偏振，这是由于最初在被s偏振时在第三光路段上撞击在第一波板212上之后已经两次穿过波板而导致的——向前传播方向的一次穿过和向后传播方向的另一次穿过。
46.当以第二偏振态沿着第四光路段传播时，em辐射在朝着第二mems扫描仪218穿过第二波板216之前穿过pbs 210。第二波板216可以与第一波板212类似地被配置，使得两次穿过第二波板216将(例如，沿着第四光路段)最初撞击在第二波板216上的em辐射的线性偏振光束的偏振态改变为在离开第二波板216时(例如，沿着第五光路段)的正交偏振态。例如，两次穿过第二波板216将em辐射从s偏振变为p偏振，反之亦然。由于沿着第五光路段的
em辐射已被转换回第一偏振态，因此pbs 210将em辐射朝着一个或多个光学部件220反射到第六光路段上，所述一个或多个光学部件220被配置为将第一光谱带宽与第二光谱带宽分离。可以理解的是，在所图示的示例中，第一光路段至第六光路段的组合形成了公共光路，第一光谱带宽和第二光谱带宽都沿着该公共光路传播。
47.在所图示的示例中，第一mems扫描仪214和第二mems扫描仪218各自包括具有反射表面(例如，反射镜)的对应扫描板，该反射表面被用来扫描显示器222(例如，波导显示器)的图像生成视场(fov)和/或现实世界环境112的地形绘制fov内的em辐射的撞击光束。反射表面可以包括诸如金或铝之类的电镀反射金属、介电堆、硅树脂或其他材料，这取决于波长和其他设计标准。扫描板可以配置有矩形占地面积、圆形占地面积、椭圆形占地面积或设计标准规定的任何其他合适的占地面积。如本文所使用的，图像生成fov是指显示器222的一部分，其在光学系统200被适当地操作时对用户是可见的，并且被配置为发射或以其他方式显示em辐射的第一光谱带宽给用户。如本文中所使用的，地形绘制fov是指相对于光学系统200的当前定向的现实世界环境112的一部分，光学组件106被配置为出于地形绘制目的而在该部分内发射em辐射的第二光谱带宽。
48.在所图示的示例中，第一mems扫描仪214被配置为绕着第一旋转轴224旋转其相应的扫描板，而第二mems扫描仪218被配置为绕着第二旋转轴226旋转其相应的扫描板。在一些实施例中，第一旋转轴224可以垂直于第二旋转轴226，使得第一mems扫描仪214能够在特定fov(例如，图像生成fov或地形绘制fov)的第一方向内扫描em辐射，同时第二mems扫描仪218能够在特定fov的第二方向内扫描em辐射。换句话说，可以使mems扫描仪绕着它们相应的轴线旋转，以在图像生成fov内对第一光谱带宽进行角度编码，并且进一步在地形绘制fov内对第二光谱带宽进行角度编码。如本文所使用的，术语“角度编码”通常可以是指涉及精确控制光碰撞和/或从扫描板反射的入射角的一种或多种技术。通过扫描fov，设备100可以生成、存储和利用在三个维度上绘制现实世界环境的地形的数据。
49.在一些实现中，该对中的一个mems扫描仪被操作来执行快速扫描，而另一个被操作来执行慢速扫描。快速扫描mems扫描仪可以在特定fov上水平地来回扫描，而慢速扫描mems扫描仪可以使特定fov向上或向下按一或两行(例如，像素)索引。这样的系统可以被称为逐行扫描系统，其中可以根据期望的分辨率、帧速率和扫描仪能力来单向或双向地扫描em辐射的光束。在一些实现中，与刷新cg图像的视频帧速率相比，快速扫描mems扫描仪可以以相对较高的速率进行操作，而慢速扫描mems扫描仪以与视频帧速率相等的扫描速率进行操作。
50.取决于特定实现的需要，可以利用用于mems扫描仪的各种致动技术。示例性的致动技术包括但不限于电容式驱动扫描仪、磁驱动扫描仪、压电驱动扫描仪或任何其他合适的致动技术。
51.现在转向图3，示出了光学系统200的示例性实施例以将第二光谱带宽从公共光路选择性地引导到地形绘制光路上，以在现实世界环境112内照射对象110。特别地，除了特定于第二光谱带宽的第七光学路径段之外，图3还图示出了第六光学路径段(例如，公共光路的最后光路段)(即，第一光谱带宽不沿着图3中所图示的第七光路段传播)。
52.在所图示的示例中，第二光谱带宽沿着第六光路段从pbs 210朝着(多个)光学部件220传播，该光学部件20被配置为将第一光谱带宽与第二光谱带宽分离。在所图示的示例
中，光学部件220是被配置为透射第一光谱带宽并反射第二光谱带宽的“波长选择”反射器(例如，介电镜)。光学组件106还可以包括第三波板302，其被配置为更改em辐射的至少第二光谱带宽的偏振态。例如，第三波板302可以是更改第二光谱带宽的偏振态而不更改第一光谱带宽的偏振态的“波长选择”波板。因此，至少关于第二光谱带宽，第三波板302可以与第一波板212类似地配置，使得两次穿过第三波板302使第二光谱带宽从被pbs 210反射的第一偏振态改变为透射通过pbs 210的第二偏振态。因此，在被“波长选择”反射器220反射并穿过第三波板302之后，第二光谱带宽被透射通过pbs 210和pbs 202，然后最终从光学组件106发射到现实世界环境112中以照射对象110，以用于对象跟踪和/或地形绘制目的。最终，地形的表面或该地形中的对象110将第二光谱带宽的一部分反射回光学系统200，并且更具体地，反射回传感器108，该传感器108生成指示地形的一个或多个特征或地形内的对象110的特性的对象数据(例如，对象110与光学系统102的距离等)。
53.现在转向图4，示出了光学系统200的示例性实施例以将第一光谱带宽从公共光路选择性地引导到显示器222内的图像生成光路上，以生成用户可感知的cg图像。特别地，除了特定于第一光谱带宽的第七光路段之外，图4还图示出了第六光路段(即，第二光谱带宽不沿着图4中所图示的第七光路段传播)。
54.在所图示的示例中，第一光谱带宽沿着第六光路段从pbs 210通过第三波板302和光学部件220传播，并且最终传播到入耦合衍射光学元件(doe)402中，该入耦合衍射光学元件(doe)402被配置为将光入耦合到显示器222中。显示器222可以是透视波导显示器，其包括各种doe以提供入耦合、在一个或两个方向上的出射光瞳扩展、以及出耦合。示例性的透视波导显示器可以包括入耦合doe 402、出耦合doe以及将光耦合在入耦合doe 402和出耦合doe之间的左和右中间doe。入耦合doe 402被配置为耦合第一光谱带宽，该第一光谱带宽可以包括由照明引擎104发射的一个或多个可见光束。中间doe沿着第一坐标轴在第一方向上扩展出射光瞳，并且出耦合doe沿着第二坐标轴在第二方向上扩展出射光瞳，并且还将第一光谱带宽从波导耦合出并到达用户的(多个)眼睛。
55.在ned设备内实现光学系统200的上下文中，包括入耦合doe、左和右中间doe、以及出耦合doe的示例性透视波导显示器的前述描述仅出于说明性目的。应当理解的是，特定于第一光谱带宽的图像生成光路可以从光学组件106传播到任何其他类型的合适的显示器中，该显示器可以是透明的或可以不是透明的。例如，在一些实现中，光学系统200可以被部署在虚拟现实ned设备的上下文中，在该虚拟现实ned设备中，用户不能在除了以第一光谱带宽生成cg图像之外还同时观看现实世界环境112。可以理解的是，尽管前述内容相对于波导显示器的衍射光学元件描述了本文所公开的发明构思，但是反射性波导显示器也可以被用来部署本文所公开的技术。还可以理解的是，本文所公开的许多发明构思可以被部署在以一维或二维部署mems扫描设备的各种各样的显示设备(例如，增强现实设备、虚拟现实设备和/或混合现实设备)内。
56.现在转向图5a和图5b(在本文中被统称为图5)，图示出了光学系统500的示例性实施例，其包括除了具有传感器108之外还具有多个光源504的照明引擎502。图5a图示出了多个光路段，第二光谱带宽可以沿着该多个光路段从特定光源朝着现实世界环境112内的对象110传播。图5b图示出了多个光路段，第二光谱带宽的反射部分可以沿着该多个光路段从对象110传播回到光学系统500中，并且最终到达被容纳在照明引擎502内的传感器108。
57.在一些实施例中，照明引擎502可以包括一个或多个第一光源504(1)和至少一个第二光源504(2)，第一光源504(1)被配置为生成第一光谱带宽内的可见光，而第二光源504(2)被配置为生成第二光谱带宽内的光。例如，一个或多个第一光源504(1)可以包括红色光源、绿色光源和蓝色光源，而第二光源504(2)可以包括红外(ir)光源。各个光源可以包括发光二极管(led)、有机led、硅上液晶(lcos)设备、激光器、激光二极管或任何其他合适的光源。
58.在一些实施例中，照明引擎502除了至少一个第二光源504(2)之外还包括至少部分地包围一个或多个第一光源504(1)的壳体。例如，照明引擎502可以包括具有一个或多个特征的塑料壳体，其可以被用于将照明引擎502安装在光学系统500内，使得可见光和ir光的源可以被同时安装在光学系统500内部和/或从光学系统500移除。在一些实施例中，壳体还可以包围传感器108，使得在到达容纳在照明引擎502内的传感器108之前，第二光谱带宽的反射部分沿着基本上所有的地形绘制光路和公共光路传播(尽管是在与从光学系统500发射第二光谱带宽时相反的方向上)。
59.在一些实施例中，传感器108可以被配置为除了感测em辐射(例如，通过响应于吸收第二光谱带宽而生成电输出信号)之外发射em辐射(例如，通过响应于电输入信号而生成第一光谱带宽和/或第二光谱带宽)。例如，传感器108可以包括基于辉钼矿(mos2)的二极管，该二极管可以发射光并且还吸收光以产生电信号。因此，如本文所使用的，对“照明引擎”的一般性参考可以是指被配置为产生光的第一光谱带宽和/或第二光谱带宽的单个部件。这样的“照明引擎”还可以被配置为基于第一光谱带宽和/或第二光谱带宽的反射部分来生成对象数据。在一个示例中，照明引擎包括(和/或由其组成)在第一光谱带宽内共同发射光的红光源、绿光源和蓝光源、以及被配置为发射和感测第二光谱带宽内的光的另一光源。
60.关于图5a中所示的特定光路，第二光源504(2)沿着第一光路段朝着第一pbs 202发射第二光谱带宽内的em辐射(在本文中也被称为“光”)(例如，ir光或适合于对象跟踪和/或地形绘制目的的任何其他波长的光)，第一pbs 202反射处于第一偏振态的发射光的至少一部分。例如，第二光源504(2)可以被具体地配置为发射处于第一偏振态的第二光谱带宽，在这种情况下，基本上所有发射光将被pbs 202反射。在所图示的示例中，第二pbs 210还被配置为反射处于第一偏振态的光并且透射处于第二偏振态的光。因此，第二pbs 210将来自第二光路段的光反射到第三光路段上，在撞击在第一mems扫描仪214上之前，光在第三光路段上传播通过第一波板212。第一mems扫描仪214围绕第一旋转轴224旋转以精确地控制特定光束沿着第四光路段传播的方向。
61.如所图示，在已经沿着每个方向穿过第一波板212之后，光从第一偏振态转换成第二偏振态，使得pbs 210朝着第二波板216和第二mems扫描仪218透射光。第二mems扫描仪218围绕第二旋转轴226旋转，以精确地控制特定光束沿着第五光路段传播的方向。此外，在已经沿着每个方向穿过第二波板216之后，光的偏振态被转换回第一偏振态。因此，pbs 210将来自第五光路段的光朝着第三波板302和至少反射光的第二光谱带宽的反射器506反射到第六光路段上。例如，反射器506可以是介电镜，其被配置为透射光的第一光谱带宽同时将光的第二光谱带宽朝着对象110从第六光路段反射到第七光路段上。
62.关于图5b中所图示的特定光路，在被用从光学系统500发射的光的第二光谱带宽
照射后，对象110将光的第二光谱带宽的至少一部分反射回光学系统500。在所图示的示例中，该“反射部分”重新进入光学系统500并且沿着与相对于关于图5a讨论的光路段相对应但相反的多个光路段传播。更具体地，对象110将来自第七光路段的光的反射部分反射到第八光路段上。在一些实施例中，光学系统500包括带通滤波器508，以防止第二光谱带宽之外的光进入光学系统500。如所图示，光的反射部分至少部分地保持第二偏振态并且因此透射通过第一pbs 202和第二pbs 210，并最终在撞击在反射器506上之前通过第三波板302。然后，反射器506将来自第八光路的光的反射部分朝着pds 210反射到第九光路上。在各个方向上穿过第三波板302之后，光的反射部分从第二偏振态被转换回第一偏振态，并且因此被pbs 210朝着第二光板216和第二mems扫描仪218从第九光路段反射回第十光路段上。
63.第二mems扫描仪218可以围绕第二旋转轴226旋转，以控制第二mems扫描仪218将光的反射部分反射到第十一光路段上的方向。在各个方向上穿过第二波板216之后，光的反射部分被转换回第二偏振态，并且因此朝着第一波板212和第一mems扫描仪214透射通过pbs 210。第一mems扫描仪214可以围绕第一旋转轴224旋转，以控制第一mems扫描仪214将光的反射部分反射到第十二光路段上的方向。在各个方向上穿过第一波板212之后，光的反射部分被转换回第一偏振态，并且因此被pbs 210朝着第一pbs 202从第十二光路段反射到第十三光路段上。最后，在一些实现中，第一pbs202将光的反射部分朝着非偏振分束器509从第十三光路段反射到第十四光路上，然后该非偏振分束器509朝着传感器108反射该光的至少一些。在各种实现中，非偏振分束器509可以是部分透射和部分反射的，使得入射光的一部分穿过非偏振分束器509，而入射光的另一部分被非偏振分束器509反射。作为特定但非限制性的示例，非偏振分束器509可以在百分之十(“10”)至百分之五十(“50”)透射率的范围内。以这种方式，在其中如图5a中所示一个或多个光源504相对于第一pbs 202而被定位的实现中，然后，发射光的一部分将通过光学组件穿过非偏振分束器509，并最终出来到达现实世界环境112中。在一些实施例中，非偏振分束器509可以包括非偏振涂层，该非偏振涂层是颜色选择性的以反射特定范围内的光——例如仅在ir中是反射性的——并透射该特定范围外的光。
64.在一些实现中，在现实世界环境112内从对象110反射的光的反射部分一直传播回照明引擎502，该照明引擎502容纳发射第一光谱带宽内的光的第一光源504(1)、发射第二光谱带宽内的光的第二光源504(2)、以及检测第二光谱带宽的反射部分并基于其来生成对象数据的传感器108。
65.附加地或备选地，传感器108可以被定位在光学组件500的面向前的一侧(即，如所图示的左侧)以直接接收来自现实世界环境112的光，而该光不必传播通过所述的光路段。例如，传感器108可以被定位成与ned设备100的面向前的外表面相邻，以检测从现实世界环境112接收到的第二光谱带宽的光。可以理解，这样的配置可以更易受多路径干扰的影响，并且因此在这样的配置中，可以实现适当的硬件和/或软件设计特征以减轻多路径干扰。
66.现在转向图6，图示出了包括单个mems扫描仪602的光学系统600的示例性实施例，该单个mems扫描仪602被配置为围绕两个不同的旋转轴旋转以在视场的两个方向内扫描光。在光学系统600中，照明引擎502相对于光学组件604而被定位，以将光直接发射到关于图2b和图5a描述的第四光路段上。单个mems扫描仪602包括反射器板606，该反射器板606被耦合到被配置为围绕第一旋转轴旋转的第一mems致动器608以及被配置为围绕第二旋转轴
旋转的第二mems致动器610。
67.在各种实现中，光学系统600可以被配置为通过经由地形绘制fov将预定的光图案(例如，光的线、网格和/或条)投射到现实世界环境的地形中来执行地形绘制。然后，基于已知的光图案在碰撞地形的表面时变形的方式，光学系统可以计算其他数据，这些数据定义了被结构化光碰撞的对象的深度和/或其他表面特征。例如，光学系统可以包括偏离光轴的传感器612，沿着该光轴发射结构化光图案，例如第七光路段。传感器612和第七光路段之间的偏移被配置为加剧被反射回传感器的结构化光图案中的变形。可以理解的是，结构化光图案的变形程度可以基于结构化光的源与检测结构化光的反射的传感器之间的已知位移。
68.在一些实现中，光学系统600可以被配置为基于立体视觉协议执行地形绘制(其可以包括但不限于对象跟踪)。在各种实现中，通过将来自光学组件604的光发射到现实世界环境的地形上、然后在位于光学组件和/或照明引擎502外部的传感器处接收光的反射部分，可以执行立体视觉协议。例如，在所图示的实施例中，传感器612位于光学组件604和照明引擎502二者的外部。
69.在各种实现中，传感器612可以是cmos相机传感器、光电二极管或ccd传感器、或任何其他合适的传感器类型。在一些实现中，传感器612可以包括被配置为阻挡特定光谱带宽之外的光并透射不同光谱带宽内的光的滤光器元件。
70.现在转向图7，图示出了包括一个或多个透镜702的光学系统700的示例性实施例，该一个或多个透镜702被配置为调制地形绘制fov的大小。在所图示的示例中，光学系统700包括被设置在第一pbs 202和凹透镜702(2)之间的凸透镜702(1)，以便增加地形绘制fov。例如，可以通过将凸透镜702(1)和凹透镜702(2)包括在系统700之内，来增加光的第二光谱带宽可以被发射到现实世界环境112中以及从现实世界环境112中接收回光的第二光谱带宽的fov。在一些实现中，被配置为扩展地形绘制fov的一个或多个透镜702可以包括折射部件和/或衍射部件。在一些实现中，一个或多个透镜可以以光学系统700的光轴居中和/或可以相对于光学系统700的光轴离轴定位。在一些示例中，一个或多个透镜702可以被配置为当em辐射离开和/或重新进入光学系统700时重新引导em辐射的第二光谱带宽。例如，一个或多个透镜702可以包括一个或多个棱镜和/或其他衍射部件，以重新引导第二光谱带宽传播出光学系统700和/或传播入第二光学系统700的角度。在一些实施例中，一个或多个透镜702可以包括一个或多个扩束器，以在增加视场的同时减小光束孔径大小(例如，根据拉格朗日不变原理)。可以理解的是，为了适应包装设计的约束，在各种实现中，一个或多个扩束器可以是折射的、衍射的、轴心的和/或离轴的。
71.现在转向图8，图示出了光学系统800的示例性实施例，该光学系统800包括穿过波导显示器222的地形绘制光路。特别地，在所图示的示例中，em辐射沿着第六光路段从第二pbs 210朝着入耦合doe 402传播。然后，第一光谱带宽被入耦合到波导显示器222中并在第一光谱带宽最终朝着用户的眼睛出耦合之前使其沿着图像生成光路传播。然而，第二光谱带宽穿过入耦合doe 402进入一个或多个光学元件802(例如，棱镜或任何其他合适的光学元件)，该一个或多个光学元件802将第二光谱带宽朝着对象110重新引导。尽管所图示的实施例示出了在现实世界环境112中被朝着对象110发射之前，第二光谱带宽两次穿过波导显示器222，但是在一些实施例中，在被朝着对象110发射之前，第二光谱带宽仅穿过波导显示器222一次或根本不穿过波导显示器222。
72.现在转向图9，图示出了包括地形绘制光路的光学系统900的示例性实施例，该地形绘制光路在被朝着对象110发射之前内部地传播通过至少一个波导显示器。在所图示的实施例中，光学系统900包括如关于图4所讨论的那样操作为波导显示器的第一波导显示器902(1)以及操作来朝着现实世界环境112内的对象110发射em辐射的第二光谱带宽的第二波导显示器902(2)。例如，第一波导902(1)和第二波导902(2)中的每一个波导可以是透明波导显示器，用户通过该透明波导显示器能够观看现实世界环境112。此外，第一波导显示器902(1)可以包括一个或多个doe，以用于将第一光谱带宽入耦合，扩展第一光谱带宽的出射光瞳以形成cg图像，并最终将第一光谱带宽朝着用户的眼睛出耦合。因此，可以理解的是，被图示为内部地传播通过第一波导显示器902(1)的并且标记为七的光路段对应于本文所述的图像生成光路。在所图示的示例中，第一波导显示器902(1)包括关于图4描述的入耦合doe 402。
73.第二波导显示器902(2)可以包括一个或多个doe，以用于使第二光谱带宽入耦合，从而使第二光谱带宽内部地传播通过第二波导显示器902(2)的至少一部分，并且最终将第二光谱带宽朝着对象110出耦合。因此，可以理解的是，被图示为内部地传播通过第二波导显示器902(2)并且被标记为7的光路段对应于如本文所述的地形绘制光路。在所图示的示例中，第二波导显示器902(2)包括入耦合doe 904，该入耦合doe 904被配置为将第二光谱带宽入耦合到第二波导显示器902(2)中，同时允许第一光谱带宽穿过第二波导显示器902(2)进入到入耦合doe 402中，入耦合doe 402将第一光谱带宽入耦合到第一波导显示器902(1)中。
74.尽管图示的示例示出了第二光谱带宽在现实世界环境112内从用户朝着对象110被发射出去，但是在一些实施例中，光学系统900(或者为此在本文中描述的其他示例性实施例)可以朝着用户的一个或多个身体部位(例如，眼睛和/或手)发射第二光谱带宽，以用于对象跟踪目的。例如，如图9中所图示，第二光谱带宽(或在被配置为执行诸如例如跟踪用户前方的对象、跟踪用户的眼睛、以及生成cg图像之类的三个不同功能性的实施例中为此的第三光谱带宽)可以备选地和/或附加地沿着第十光路段朝着用户的眼睛传播，以跟踪相对于光学系统900的用户眼睛的定向(例如，以跟踪用户的视线方向)。作为另一示例，光学系统900可以朝着用户的手部发射第二光谱带宽，以跟踪一个或多个移动，诸如例如可以被解释为系统命令的手势。如在第九光路段和第十光路段的每一个上所示的返回箭头所指示的，光的反射部分可以在到达传感器之前沿着所描述的光路的至少一部分重新传播。
75.尽管所图示的示例示出了第一光谱带宽和第二光谱带宽内部地被传播通过分离的波导，但是在一些实施例中，光学系统900使第一光谱带宽和第二光谱带宽均内部地传播通过单个波导。例如，在一些实施例中，第一波导显示器902(1)可以包括被配置为入耦合第一光谱带宽和第二光谱带宽两者的doe。然后，第一光谱带宽和第二光谱带宽二者可以朝着一个或多个出耦合doe传播，以将第一光谱带宽朝着用户的眼睛出耦合，并且进一步将第二光谱带宽朝着对象(其在一些实例中可能是用户的眼睛)出耦合。
76.在一些实施例中，ned设备可以包括如本文所述的两个或更多个分立光学系统。例如，示例性ned设备可以包括：在用户的左眼前方生成第一cg图像的第一光学系统；以及在用户的右眼前方生成第二cg图像(其可以与第一cg图像相同或与第一cg图像不同)的第二光学系统。在这样的实施例中，分立光学系统中的各个分立光学系统可以被配置为执行不
同的地形绘制功能。例如，示例性ned设备可以部署第一光学系统以在用户的左眼前方生成第一图像，并且还向外发射光到达现实世界环境112中，以跟踪ned设备远处(例如，距离ned设备大于3英尺、大于10英尺、大于50英尺或任何其他合适的距离)的一个或多个对象。示例性ned设备可以同时部署第二光学系统以在用户的右眼前方生成第二图像，并且还向外发射光到达现实世界环境中，以跟踪在ned设备附近发生的用户的手势。
77.在一些实现中，ned设备可以被配置为出于三个或更多个不同目的而将三个或更多个光谱带宽与公共光路分离。例如，ned设备可以沿着光学组件的公共光路发射可见光光谱带宽和两个不同的ir光谱带宽。然后，光学组件可以被配置为分离第一ir带宽，如图5a中所示，使得第一ir带宽被波长选择反射器(例如506)反射回来通过光学组件，同时允许第二ir带宽和可见光光谱带宽通过波长选择反射器进入一个或多个波导中。光学组件还可以被配置为分离第二ir带宽和可见光光谱带宽，如关于图9所描述的，其中可见光光谱带宽传播通过第一波导902(1)以生成图像，而第二ir带宽传播通过第二波导902(2)并最终沿着第十光路段传播以跟踪用户的眼睛。robbins等人于2016年6月28日发表的标题为“waveguide eye tracking employing volume bragg grating(采用体积布拉格光栅的波导眼部追踪)”的美国专利序号9,377,623中更详细地描述了可以与本公开的光学系统结合部署的各种技术。
78.在一些实现中，系统可以被配置为分析基于第二光谱带宽的反射部分生成的对象数据，以开发对象和/或现实世界环境112的其他方面的深度图。例如，结构化光图案可以包括ir光“点”的网格，该ir光“点”被发射到对象上并最终被对象反射回系统。系统然后可以基于反射的ir光“点”来分析对象数据，以确定每个个体“点”离系统的距离。然后可以将这些距离编译成深度图。在一些实现中，系统可以被配置为通过组合基于多个不同的结构化光图案而接收的对象数据来提高深度图的分辨率。例如，在结构化光图案包括ir光“点”的网格的实现中，可以理解的是，所得深度图的分辨率受到发射的ir光“点”数目的限制。还可以理解的是，个体ir光“点”必须在现实世界环境内被足够地间隔开，以使得系统能够在光的对应的反射部分之间进行辨别。因此，该系统可以被配置为发射不同的结构化光图案以动态地改变所发射的结构化光图案，从而增加可以被标识并添加到深度图的特定区域对象上的深度点的数目。例如，该系统可以被配置为使至少一个mems扫描仪引导第二光谱带宽以将多个不同的光图案发射到对象上。然后，系统可以通过组合与结构化光图案中的各个光图案相对应的对象数据来提高深度图的分辨率。
79.示例条款
80.可以鉴于以下条款考虑本文提出的公开内容。
81.示例条款a，一种光学系统，包括：至少一个控制器，用于调制与定义计算机生成的(cg)图像的图像数据相对应的输出信号，至少一个控制器被配置用于处理与地形绘制协议相关联的跟踪数据，以用于标识围绕光学系统的现实世界环境的地形的特征；照明引擎，用以响应于输出信号而生成电磁(em)辐射，其中em辐射包括用于生成cg图像的第一光谱带宽和用于部署地形绘制协议的第二光谱带宽；光学组件，用于接收来自照明引擎的em辐射，并使第一光谱带宽和第二光谱带宽沿着公共光路传播，其中光学组件将第一光谱带宽从公共光路引导到图像生成光路以生成cg图像，并且其中光学组件将第二光谱带宽从公共光路引导到地形绘制光路上以照射地形；至少一个微机电系统(mems)扫描仪，被配置为基于输出
信号对em辐射进行角度编码，其中输出信号使至少一个mems扫描仪对图像生成视场(fov)内的第一光谱带宽进行角度编码以生成cg图像，并且其中输出信号使至少一个mems扫描仪对地形绘制fov内的第二光谱带宽进行角度编码以至少部分地照明地形；以及传感器，用于接收从现实世界环境的地形被反射的第二光谱带宽的经反射的部分，传感器基于第二光谱带宽的经反射的部分生成对象数据，对象数据指示地形的特征。
82.示例条款b，根据示例条款a的光学系统，其中光学组件使第二光谱带宽的经反射的部分沿着地形绘制光路的至少一段反向传播，并且其中光学组件将经反射的部分沿着公共光路的至少一段从地形绘制光路重新引导到传感器。
83.示例条款c，根据示例条款a至b中任一项的光学系统，其中地形绘制协议使至少一个mems扫描仪对第二光谱带宽进行角度编码以发射至少一个结构化光图案，并且其中地形的特征基于经反射的部分指示至少一个结构化光图案的至少一个变形而被确定，至少一个结构化光图案的至少一个变形是由传感器从第二光谱带宽的源的已知位移引起的，并且其中传感器在照明引擎的外部。
84.示例条款d，根据示例条款a至c中任一项的光学系统，其中光学组件包括波长选择反射器，波长选择反射器被配置为在公共光路与图像生成光路之间的边界处将第一光谱带宽与第二光谱带宽分离。
85.示例条款e，根据示例条款d中的光学系统，其中波长选择反射器被配置为将第一光谱带宽透射到波导显示器的入耦合衍射光学元件(doe)中，并且其中第二光谱带宽在朝着波长选择反射器传播时第一次穿过波板，并且其中波长选择反射器被配置为反射第二光谱带宽第二次通过波板，以使得第二光谱带宽能够朝着地形穿过偏振分束器(pbs)。
86.示例条款f，根据示例条款a至e中任一项的光学系统，其中照明引擎包括多个第一光源和至少一个第二光源，多个第一光源被配置为生成在第一光谱带宽内的可见光，至少一个第二光源被配置为生成在第二光谱带宽内的红外光或紫外光中的至少一个。
87.示例条款g，根据示例条款a至f中任一项的光学系统，其中地形绘制协议是飞行时间协议，以用于标识地形的至少一个对象离光学系统的距离，并且其中与经由公共光路和图像生成光路生成cg图像基本上同时，光学组件经由公共光路和地形绘制光路用第二光谱带宽照射至少一个对象。
88.示例条款h，根据示例条款a至g中任一项的光学系统，其中地形绘制协议是与接收从现实世界环境的地形被反射的第二光谱带宽的反射部分相关联的立体视觉协议，并且其中传感器在照明引擎的外部。
89.示例条款i，一种近眼显示(ned)设备，包括：照明引擎，用以生成电磁(em)辐射，em辐射至少包括用于经由显示器生成cg图像的第一光谱带宽和用于照射现实世界环境的地形以跟踪地形的一个或多个特征的第二光谱带宽；光学组件，被定位成从照明引擎接收em辐射，其中光学组件被配置为将第一光谱带宽透射到显示器中以生成cg图像，并且将第二光谱带宽透射到现实世界环境中以照射一个或多个特征；至少一个微机电系统(mems)扫描仪，被配置为对光学组件内的em辐射进行角度编码，其中至少一个mems扫描仪被配置为在图像生成视场(fov)内扫描第一光谱带宽以经由显示器生成cg图像，并且其中至少一个mems扫描仪被配置为在地形绘制fov内扫描第二光谱带宽以照射一个或多个特征；以及传感器，用以基于由一个或多个特征反射的第二光谱带宽的经反射的部分来生成对象数据，
对象数据指示以下中的至少一项：一个或多个特征的深度或一个或多个特征的定向和相对位置。
90.示例条款j，根据示例条款i的ned设备，其中光学组件包括：与显示器相邻设置的偏振分束器(pbs)，pbs被配置为反射em辐射的第一偏振态并透射em辐射的第二偏振态，其中第一偏振态与第二偏振态正交；被设置在pbs和至少一个mems扫描仪之间的第一波板，其中em辐射以第二偏振态朝着第一波板传播通过pbs，并朝着至少一个mems扫描仪被透射通过第一波板，并且其中em辐射以第一偏振态从第一波板传播到pbs，并被pbs朝着显示器反射；被设置在显示器和pbs之间的波长选择反射器，波长选择反射器被配置为将第一光谱带宽透射到显示器中并且朝着pbs反射回第二光谱带宽；以及被设置在pbs和波长选择反射器之间的第二波板，其中第二光谱带宽以第二偏振态从第二波板传播到pbs，并被透射通过pbs以照射现实世界环境内的一个或多个特征。
91.示例条款k，根据示例条款i至j中任一项的ned设备，其中光学组件包括沿着光学组件的公共光路被定位的波长选择反射器，波长选择反射器用以将第一光谱带宽从公共光路径透射到图像生成光路，并将第二光谱带宽从公共光路反射到地形绘制光路。
92.示例条款l，根据示例条款k的ned设备，其中光学组件还包括至少一个带通滤波器，至少一个带通滤波器被定位成选择性地将第二光谱带宽的经反射的部分透射到传感器。
93.示例条款m，根据示例条款i至l中任一项的ned设备，其中光学组件被配置为：将第二光谱带宽透射通过一个或多个衍射光学元件(doe)，以用光谱带宽照射用户的一只眼睛，并且其中对象数据指示眼睛的定向和位置。
94.示例条款n，根据示例条款i至m中任一项的ned设备，其中照明引擎包括：用以生成在第一光谱带宽内的可见光的至少一个第一光源；以及用以生成在第二光谱带宽内的红外光的至少一个第二光源。
95.示例条款o，根据示例条款o的ned设备，其中照明引擎包括壳体，壳体至少部分地包围：用以生成可见光的至少一个第一光源，用以生成红外光的至少一个第二光源，以及用以生成对象数据的传感器。
96.示例条款p，根据示例条款j的ned设备，其中第一波板被配置为更改第一光谱带宽和第二光谱带宽的偏振，并且其中第二波板被配置为至少更改第二光谱带宽的偏振。
97.示例条款q，根据示例条款i至p中任一项的ned设备，还包括：第一通道，其被配置为部署第一光学组件以用于现实世界环境的地形绘制；以及第二通道，其被配置为部署第二光学组件以用于手势跟踪。
98.示例条款r，一种光学系统，包括：波导显示器，包括一个或多个光学元件，一个或多个光学元件用于在波导显示器内至少引导可见光光谱带宽；至少一个照明引擎，用于生成电磁(em)辐射，em辐射至少包括用于经由波导显示器生成cg图像的可见光光谱带宽和用于照射现实世界环境内的地形的红外光光谱带宽，其中至少一个照明引擎基于由地形反射的红外光光谱带宽的经反射的部分来生成对象数据；光学组件，被定位成接收来自至少一个照明引擎的em辐射，光学组件被定位成将可见光光谱带宽透射到波导显示器中以生成cg图像并将红外光光谱带宽透射到现实世界环境中以照射地形；至少一个微机电系统(mems)扫描仪，被设置为对光学组件内的em辐射进行角度编码，以引导图像生成视场(fov)内的可
见光光谱带宽和地形绘制fov内的红外光光谱带宽；以及至少一个控制器，被通信耦合到至少一个照明引擎、至少一个mems扫描仪和传感器，其中至少一个控制器被配置为：使至少一个mems扫描仪相对于光学组件引导可见光光谱带宽，以将可见光光谱带宽透射通过一个或多个光学元件，以通过波导显示器生成cg图像；使至少一个mems扫描仪相对于光学组件引导红外光光谱带宽，以将至少一个结构化光图案发射到地形上；以及监视由传感器生成的对象数据，以确定以下中的至少一项：地形的特征的深度或地形的特征的定向。
99.示例条款s，根据示例条款r的光学系统，其中至少一个控制器被配置为：使至少一个mems扫描仪相对于光学组件引导红外光光谱带宽，以将多个不同的结构化光图案发射到地形上，多个不同的结构化光图案至少包括在第一时间发射的第一结构化光图案和在第二时间发射的第二结构化光图案；通过组合至少以下各项来提高至少一个深度图的分辨率：由传感器基于第一结构化光图案而生成的第一对象数据，以及由传感器基于第二结构化光图案而生成的第二对象数据。
100.示例条款t，根据示例条款r至s中任一项的光学系统，其中光学组件被配置为将红外光光谱带宽透射到第一波导显示器或第二波导显示器中的至少一个中，以照射地形。
101.示例条款u，根据示例条款r至t中任一项的光学系统，其中现实世界环境内的对象包括用户的至少一个身体部位，其中mems扫描仪使红外光光谱带宽将多个不同的结构化光图案发射到对象上，并且其中监视对象数据还包括确定对象的深度或对象的定向。
102.示例条款v，根据示例条款r至u中任一项的光学系统，还包括：第一通道，其被配置为在地形绘制fov内发射红外光光谱带宽以实现地形绘制协议；以及第二通道，其被配置为在另一fov内发射红外光光谱带宽以实现手势跟踪协议。
103.示例条款w，根据示例条款r至v中任一项的光学系统，其中至少一个控制器还被配置为：确定从光学组件到现实世界环境内的对象的特征的深度；检测地形绘制fov内的特征的位置的一个或多个改变；以及基于深度或一个或多个改变中的至少一个，生成指示光学系统的用户的头部的定向的数据。
104.结论
105.总之，尽管已经用特定于结构特征和/或方法动作的语言描述了各种技术，但是应该理解，所附陈述中所限定的主题不必限于所描述的特定特征或动作。而是，将特定特征和动作公开为实现所要求保护的主题的示例形式。