用于虚拟眼镜配适的方法、设备和计算机可读存储介质
1.本技术是申请日为2018年7月3日、申请号为201880057588.0、国际申请号为pct/ep2018/067914、发明名称为“用于虚拟配适眼镜架的方法、设备和计算机程序”的专利申请的分案申请。
技术领域
2.本技术涉及用于虚拟配适眼镜架的方法、设备和计算机程序。


背景技术：

3.在此，根据din eso 77998：2006-01和din eso 8624：2015-12，眼镜架应理解为是指可以将眼镜镜片配戴在头部上的镜架或保持器。特别地，这里使用的术语还包括无框眼镜架。通俗地说，眼镜架还被称为镜架。在本技术的范围内，虚拟戴上眼镜架表示在计算装置上使眼镜架的模型配适头部的模型，通常和眼镜架与人的头部的配适在显示器（例如计算机监视器）上的图形表示相结合。
4.例如，从us 2003/0123026 a1或us 2002/015530 a1中已知在头部上虚拟戴上眼镜架。在这些文件中，虚拟戴上眼镜架主要用于通过用户的头部的图形表示与眼镜架一起显示来帮助用户在不同的眼镜架之间进行选择。
5.us 9,286,715 b2也公开了一种用于虚拟试戴一副眼镜的方法。在此，在眼镜架与头部上都限定了多个点。通过使眼镜架上的选定点与头部上的选定点相对应，将眼镜架定位在头部上。通过更改选定点来更改位置。这有助于以对于为了获得视觉印象而得以虚拟试戴的us 9,286,715 b2的目的而言足够的准确度进行定位。类似地，us 2005/162419 a借助于特征点描述了虚拟戴上眼镜架。在这个文件中，首先对镜架进行缩放，然后在不同的方向上对其进行定位。最后，围绕两个空间轴线旋转眼镜架的镜腿。
6.截至2017年3月5日，volumental公司已在“https://www.volumental.com/face-scanning/”提供了“vacker”软件的演示视频，其中呈现了戴上一副眼镜的头部，并且这副眼镜的参数可以通过滑块进行修改，例如这副眼镜在鼻梁上的座或者比如面部镜圈弧度等其他参数。也可以选择眼镜架的颜色或眼镜架的铰链的颜色。然后输出选定的参数。在这个视频中，还调整眼镜架的参数化模型的不同参数。
7.从us 2015/0055085 a1已知用于虚拟配适一副眼镜的进一步系统。在此，借助于调整眼镜在人的头部上的尺寸和适合性来自动地配适这副眼镜。而且，可以选择这副眼镜的形式、样式以及颜色。
8.从de 10 2016 824 a1中已知用于构造一副合适的眼镜（即，一副已经配适于人的头部的眼镜）的方法和设备。在这种方法中，在二维或三维中记录头部图像数据、选择一副试样眼镜以及基于这副试样眼镜的结构参数来表示这副试样眼镜。基于头部图像数据来确定结构参数。
9.us 2015/0277155 a1公开了眼镜架的镜架的个性化，在该范围内在人的面部上测量距离并且基于测量的距离通过3d打印来创建眼镜架。
10.us 2013/0088490 a1公开了一种用于配适眼镜架的迭代方法，其中，通过小步长来定位眼镜架并且基于碰撞检测来实现配适，在该碰撞检测中检查眼镜架是否与人的头部重叠。
11.us 8733936 b1公开了用于借助于头部的图像记录将一副眼镜配适于人的头部的方法和系统。
12.wo 2014/037915 a1同样公开了用于将一副眼镜配适于人的头部的方法和系统，其中，在打算将这副眼镜配适于的人的面部图像中识别特征点。
13.从us 9703123 b2或us 2016/062152 a1中已知用于配适一副眼镜的其他方法和系统，例如基于由操作员输入到系统中的解剖学数据将该副眼镜配适于人的头部。
14.us 2015/0293382 a1公开了通过戴有示例性镜架的人的记录来确定用于一副眼镜虚拟试戴的参数。相应地修改通过这个示例性镜架所确定的参数，以用于虚拟镜架的虚拟试戴。由于人在记录期间已经戴着眼镜架，因此在这种情况下不使用没有戴眼镜架的头部的三维模型。
15.在以下文章中描述了一种用于虚拟试戴一副眼镜的方法：niswar、kahn和farbiz的“virtual try-on of eyeglasses using 3d-model of the head [使用头部的3d模型来虚拟试戴眼镜]”，资讯通信研究院（institute for infocomm research），2011年12月，doi:10.1145/2087756.2087838。这是基于四个参考点，两个点位于鼻子上，两个点位于耳朵上。在此，基于几个特征点通过使头部的通用模型变形来调整头部的3d模型。
[0016]
us 2016/0327811 a1描述了一种从镜架的虚拟模型出发的方法。通过变形将镜架配适于头部。为了配适眼镜架，在此可以实现配适标准，例如鼻托与人的鼻子之间接触面积的最大化、眼镜镜腿接触面积的最大化、眼镜架的镜架镜圈相对于眼睛的定心、眼镜架的对齐、或镜架镜圈与人的颧骨和人的眉毛接触面积的最小化。
[0017]
设定目标值被指定为对这些标准的可能扩展。举例来说，这种目标值可以涉及眼镜架的两个眼镜镜腿之间的距离、镜架的配戴前倾角、镜架的鼻托之间的距离、眼睛距镜架镜圈的距离、镜架镜圈距眉毛和颧骨的距离、眼镜镜架的配戴前倾角、或眼镜镜架的镜圈面部弧度。这些参数和目标值流入成本函数并且通过常规优化过程（例如levenberg-marquardt算法）来进行优化。然后，仍然可以使镜架变形。
[0018]
这个过程中的问题是，由于诸如levenberg-marquardt算法等优化过程通常仅可以找出成本函数的局部最小值，因此不一定需要使用这种优化过程来实现总体最优。在眼镜架或头部的3d模型中所采用的表面的波度的情况下，该优化可能“卡”在远离最优的这种面波中，因此没有实现最优配适。
[0019]
而且，如果使用许多参数，则通过这种优化方法进行优化需要很多计算支出。这使得参数化镜架模型的使用更加困难，在这些参数化镜架模型中应优化相对大量的参数。
[0020]
在以上所引用的许多文件中，例如us 9,286,715 b2、us 2005/162419 a1或us 2016/0327811 a1，在头部的3d模型上标记了点，然后将这些点用于眼镜架模型的配适，例如头部的鼻子上的点。基本上假设这些点是给定的。在us 9,286,715 b2中，全面参考图像处理以获取这些点；us 2016/0327811 a1在此也未给出详细的指示并提及了计算机辅助确定。
[0021]
us 2005/0162419 a1公开了一种用于在头部模型上限定点的方法，在该头部模型
中记录人的2d图像并且在该头部模型中标记2d图像点。然后将这些点转移到标准头部模型中。然后基于这些点来配适眼镜架。
[0022]
在此，用户因此也不得不在人的相应面部上标记对应的点，这是费时的。
[0023]
wo 2016/164859 a1公开了两种用于获得人的头部的3d模型的不同可能性。在第一过程中，例如基于用户输入的解剖学参数来将通用参数化头部模型配适于人。这种配适还可以通过使参数化模型的特定特征与人的图像记录相对应来完成。在另一个过程中，基于人的解剖学数据来重新生成参数化模型。在两种情况下，在与眼镜架的定位相关的区域中参数化模型都可以是特别详细的。在此，同样可以基于图像记录以某种其他方式来限定与配适这副眼镜相关的测量点。因此，在此需要附加图像记录。


技术实现要素：

[0024]
从us 2005/0162419 a1出发，本发明的目的是提供一种用于配适一副眼镜的方法以及还有相应的计算机程序和设备，其中，至少针对一些点可以以自动化方式在人的头部的3d模型上限定点，而用户不必在打算配适一副眼镜的人的面部或头部模型上单独地标记这些点，无需进行wo 2016/164859 a1中的图像记录分析。
[0025]
这个目的通过如权利要求1所述的方法、如权利要求11、12或13所述的计算机程序、如权利要求14或15所述的计算机可读存储介质、如权利要求16所述的计算机可读数据介质、如权利要求17所述的数据介质信号、以及如权利要求18、19、20或21所述的设备来实现。从属权利要求限定了其他的实施例。此外，提供了一种用于生产眼镜架的方法，借助于这种方法来配适该眼镜架。
[0026]
本发明提供了一种计算机实现的方法或一种由计算机实施的用于虚拟配适一副眼镜的方法，其中，在人的头部的3d模型上限定第一测量点，并且其中，基于第一测量点将眼镜架的模型配适于人的头部的3d模型。该方法的特征在于限定这些第一测量点包括：将参数化头部模型配适于人的头部的3d模型，以及基于在参数化头部模型上所限定的第二测量点来确定第一测量点，并且将参数化头部模型配适于头部的3d模型。
[0027]
在此，测量点通常被理解为是指模型上的如下点：这些点可以用于随后配适一副眼镜、特别是用于测量诸如头部上的距离等变量。
[0028]
通过这种方法，参数化头部模型上的第二测量点仅需要一次被限定。然后，可以将其上限定有第二测量点的这个参数化头部模型用于不同人的头部的3d模型，以便在这些3d模型上限定第一测量点。因此，与wo 2016/164859 a1中的过程相反，在此不使用人的图像或其他信息，而是使用两个模型、即参数化头部模型和人的头部的3d模型，而在wo 2016/164859 a1中仅使用一个模型。
[0029]
如上所述，在参数化头部模型上一次限定第二测量点可以在以上方法的上下文中实现或者单独地和/或预先实现，例如在不同的计算机上。因此，以上方法可以包括在参数化头部模型上限定第二测量点的步骤，或者可以例如借助于单独提供以下方法来预先限定和提供第二测量点：该方法包括在参数化头部模型上限定第二测量点的步骤。然后，取决于人，第二测量点可以用于多个不同的3d模型，而不必例如为每个3d模型都手动限定这些点。
[0030]
以上方法中使用的以及稍后描述的术语也说明如下：
配适是“虚拟的”，因为该过程是在诸如个人计算机（pc）等计算装置上执行的并且真实的眼镜架没有被放置在真实的头部上。
[0031]
模型、特别是3d模型应理解为是指真实物体的三维表示，这些三维表示可以作为存储介质（例如计算机的存储器或数据介质）中的数据记录而获得。例如，这种三维表示可以是3d网格，其由3d点（由被称为顶点）集和这些点之间的连接（这些连接又被称为边缘）构成。在最简单的情况下，这种连接形成三角形的网格。这种作为3d网格的表示仅描述物体的表面，而非体积。网格不必一定是闭合的。因此，例如如果以网格的形式描述头部，则它看起来就像是面具。关于这种3d模型的详细信息可以在以下文章中找到：rau j-y，yeh p-c，“a semi-automatic image-based close range 3d modeling pipeline using a multi-camera configuration [使用多相机配置的半自动基于图像的近距离3d建模管路]”，传感器（sensors）（瑞士巴塞尔），2012; 12(8):11271-11293. doi:10.3390/s120811271，具体是第11289页，附图“图16”）。
[0032]
表示体积式表示的体素网格是用于表示3d模型的进一步选项。在此，空间被划分成小立方体或长方体，这些被称为体素。在最简单的情况下，要表示的物体的存在或不存在以每个体素的二进制值（1或0）的形式被存储。在体素的边缘长度为1 mm且体积为300 mm
ꢀ×ꢀ
300 mm
ꢀ×ꢀ
300 mm的情况下，其表示头部的典型体积，因此获得了总共2700万个这种体素。在例如如下文章中描述了这种体素网格：m.nie
ß
ner，m.zollh
ö
fer，s.izadi和m.stamminger,“real-time 3d reconstruction at scale using voxel hashing [使用体素散列的大规模实时3d重建]”，acm trans，图32、6，第169条（2013年11月），doi: https://doi.org/10.1145/2508363.2508374。
[0033]
特别地，头部的3d模型和/或眼镜架的3d模型可以是具有纹理的3d模型。具有纹理的3d模型应理解为是指此外包含真实物体的表面点的颜色信息项的3d模型。使用具有纹理的3d模型有助于头部和眼镜架的真彩色表示。
[0034]
在此，颜色信息项可以作为属性、例如作为rgb（红绿蓝）颜色值被直接包含于顶点中，或者一对纹理坐标被作为属性附到每个顶点。如上所述，顶点表示3d模型的点。在此，属性通常表示被分配给物体的特征、特点等，在本情况下是特定的顶点（还参见截至2017年7月5日的德语维基百科的文章“attribut (objekt)”[“属性（物体）”]）。然后，这些坐标应理解为是指附加纹理图像中的图像坐标（像素位置）。然后，例如由纹理图像的像素通过插值生成三角形网格的前述三角形的纹理。
[0035]
参数化模型是具有一个或多个可变参数的3d模型。然后，由3d模型描述的物体（在这种情况下是眼镜架）的几何形状通过改变一个或多个参数而例如在大小或形式方面被改变。这种参数的示例包括例如眼镜架的鼻梁宽度或镜腿长度、或者眼镜架的镜架镜圈的形式。这些参数的类型和数量取决于由参数化镜架模型表示的眼镜架。特别地，眼镜架的制造商可以设定参数的值范围，然后相应地描述能够制造的眼镜架。自由镜架参数应理解为是指参数化镜架模型的参数，该参数尚未被设定在该方法的范围内，即仍然必须配适并且确定该参数。
[0036]
配适指南是与应该如何相对于头部上的区域或点（诸如眼睛、瞳孔、眉毛或鼻子）来定位眼镜架相关的规范。特别地，使用这些特定于参数化镜架模型的配适指南，以确保眼镜架制造商所期望的美观印象。该特定的配适指南可以与参数化镜架模型一起以电子形式
（例如，作为适当的文件）由相应的制造商提供。
[0037]
相比之下，解剖学配适涉及旨在确保眼镜架在头部上正确舒适配适的配适。为此，使用的标准并非特定于相应的眼镜架，而是通常适用于多个眼镜架，诸如眼镜镜腿在耳朵上的正确配适或这副眼镜架的鼻托的正确配适。解剖学配适还可以包括：确保到头部的区域的最小距离，例如确保眼镜架的镜架镜圈与头部的颧骨和/或眉毛部分之间的最小距离和/或确保到睫毛的最小距离。解剖学配适的另一个示例在于：设定眼镜镜片与眼睛之间的距离（即顶点距离（德语缩写hsa））的预期距离或预期范围。在此，顶点距离是眼睛角膜的前表面与眼镜镜片的面向眼睛的表面之间的距离。举例来说，解剖学配适可以确保观察到12 mm的预期顶点距离或者12 mm至17 mm范围内的顶点距离。这样做的原因是：不应将眼镜镜片放置得离眼睛太近，以便避免睫毛接触且避免在镜片上的冷凝（出汗）。而且，一些配镜师想要避免顶点距离与在用于测量球柱面屈光的综合屈光检查仪中所预设的顶点距离的偏差。由于相对较大的顶点距离在正屈光度值的方向上修改光焦度，因此在远视的情况下、即当需要所谓的正透镜时，可能优选相对大的顶点距离。因此，可以以有利的方式使用基于屈光测量结果的预期顶点距离。
[0038]
优选以文本形式（例如，作为.xml或json文件）形式来提供配适指南，这简化了处理。
[0039]
在本技术的范围内，“人”表示最终应将眼镜架配适于其头部的人。“用户”表示操作和实施用于配适眼镜的设备和方法的人。这可能是人本身，还可能是其他人，例如配镜师。
[0040]
合适的参数化头部模型例如在以下文章中进行了描述：a.brunton，a.salazar，t.bolkart，s.wuhrer，“review of statistical shape spaces for 3d data with comparative analysis for human faces [使用人脸的比较分析的3d数据的统计形状空间的综述]”，计算机视觉与图像理解（computer vision and image understanding），128:1-17, 2014；或者如以下文章中所描述的头部模型：j.booth，a.roussos，s.zafeiriou，a.ponniahy和d.dunaway，“a 3d morphable model learnt from 10,000 faces [从10,000个面部中学习的3d形变模型]”，2016年电气与电子工程师学会计算机视觉与模式识别（cvpr）会议），内华达州拉斯维加斯，第5543-5552页，2016年，doi:10.1109/cvpr.2016.598。
[0041]
优选地，通过在参数化头部模型的标准头部上限定第二测量点来实现在参数化头部模型上限定第二测量点，或者预先在参数化头部模型的标准头部上限定第二测量点。在这种情况下，标准头部是参数化头部模型的头部，参数化头部模型的参数为此采用预定值。
[0042]
在基于主成分分析的头部模型的情况下，例如主成分基础数据的平均值可以是标准模型。
[0043]
这样，可以为该方法提供限定的起点。
[0044]
然后可以根据配适（即根据标准头部的更改）将在标准头部上限定的特征转移到配适的参数化头部模型以形成配适的参数化头部模型，第二测量点也相应地被更改，使得它们位于配适的头部模型上的对应位置。在这方面，第二测量点可以以简单的方式转移到配适的头部模型。在以上引用的j.booth等人的参考文件中的第4.1节中说明了这种点转移的基本原理。
[0045]
如果头部模型的配适是足够精确的，则可以将转移到第二头部模型的第二测量点直接用作第一测量点。足够准确的程度取决于用于随后配适眼镜的期望准确度以及取决于为创建头部3d的模型所使用的测量系统的准确度。在这方面，举例来说，给定0.2 mm的测量系统准确度和0.5 mm的点期望准确度，借助于参数化头部模型的配适，将实现同样0.5 mm的准确度。如果测量系统具有明显较差的准确度，则误差的分布很重要：在具有高斯分布的误差情况下，由于配适而获得了平滑——在最大偏差的意义上的准确度通常通过配适来改善。替代地，确定第二测量点可以包括：将转移的测量点投影到头部的3d模型。由于这种投影，然后可以以简单的方式确定第一测量点。为了投影的目的，例如可以将配适的参数化头部模型上的法向量与相应的转移的第二测量点的交点用作相应的第一测量点。
[0046]
可以借助常规的配适算法来执行配适（参见截至2017年5月22日的德语维基百科文章“ausgleichsrechnung）”[“曲线配适”]）。
[0047]
该方法可以包括：组合多个第一测量点以形成识别头部的3d模型的区域的特征。借助于这种特征，如果特征识别出3d模型的与配适相关的区域，则可以有效地配适眼镜架。特征的示例包括例如鼻翼、前额曲率或耳根。
[0048]
在这种情况下，该组合可以包括：将几何图元或函数配适于多个测量点。这种几何图元的示例是平面、圆段、球体段或圆柱体段。函数的示例包括样条函数。结果，可以用少量的参数（例如，在平面的情况下为参考点和法向量，在前额曲率的情况下为半径和中点）来描述多个测量点，这有助于处理，因为存在的数据很少。镜架模型可以包括参数化镜架模型。
[0049]
用鼻翼作为特征，例如然后可以通过使参数化镜架模型的鼻托与鼻翼相吻合以简单的方式配适参数化镜架模型的鼻梁宽度。可以使用耳根处的点作为测量点或特征来确定参数化镜架模型的镜腿长度。根据din en iso 13666：2012 5.18的眼镜架的前倾角，即镜架镜圈的倾斜度，可以通过确定镜架镜圈与描述人的3d模型的脸颊的特征之间的距离来确定。这样，可以以简单的方式配适参数化镜架模型的各种参数。
[0050]
该方法可以包括基于第一测量点或以上说明的特征来计算头部的3d模型的其他测量点。这种计算出的进一步测量点的示例包括区别于脸颊区域中的第一测量点和/或耳朵上的第一测量点的耳根处的点。在这种情况下，耳根处的点是在配适眼镜架期间眼镜镜腿搁置在其上的点。在其他示例性实施例中，耳根处的点可以是基于第二测量点确定的第一测量点之一。
[0051]
在这种方法中，即使被头发遮住，也可以计算进一步测量点（像耳根处的点）。在这种情况下，计算出的进一步的测量点不必一定位于3d模型上，而是还可以与之间隔一定距离。
[0052]
为了计算进一步测量点，可以使用第一测量点与这种进一步测量点之间的预定几何关系。在这种情况下，几何关系指定了如何相对于第一测量点定位进一步测量点。作为其示例，进一步测量点的计算可以包括一组第一测量点的线性组合。作为进一步示例，进一步测量点的计算可以包括基于第一测量点的外推。在这种情况下，可以基于一组第一测量点通过插值法或通过借助于误差函数的近似法来计算曲线或区域模型，例如具有一个或多个自由参数的曲线或区域，例如通过配适过程来确定自由参数。
[0053]
举例来说，可以将多项式曲线配适于位于脸颊上的第一测量点。在外推过程中，在
位于耳朵方向上的区域中评估所述多项式曲线并确定以这种方式计算的进一步测量点。
[0054]
而且，还提供了一种计算机程序，该计算机程序包括程序代码，在处理器上被执行时，该程序代码实施上述方法之一。最后，提供了一种相应的设备，该设备包括：处理器，该处理器包括存储计算机程序的存储器；以及用于执行该计算机程序的处理器。
[0055]
还提供了一种计算机程序，该计算机程序包括指令，在由计算机执行该程序时，这些指令使该计算机实施上述的方法。
[0056]
–
还提供了一种计算机程序，该计算机程序包括指令，在由计算机执行该程序时，这些指令使该计算机实施以下步骤：在人的头部的3d模型上限定第一测量点，其中，测量点是可以用于随后配适一副眼镜的模型上的点，以及基于第一测量点将眼镜架的模型配适于头部的3d模型，其特征在于限定这些第一测量点包括：将参数化头部模型配适于人的头部的3d模型，以及基于在参数化头部模型上所限定的第二测量点来确定第一测量点，并且将参数化头部模型配适于头部的3d模型。
[0057]
此外，可以实施以上说明的步骤中的进一步方法步骤。
[0058]
还提供了一种特别是有形的计算机可读存储介质，该计算机可读存储介质包括指令，在由计算机执行时，这些指令使该计算机实施上述方法。存储介质的示例包括诸如cd或dvd等光学存储介质、诸如硬盘驱动器等磁存储介质或诸如闪存或只读存储器（rom）等固态存储装置。
[0059]
–
还提供了一种特别是有形的计算机可读存储介质，该介质包括指令，在由计算机执行时，这些指令使该计算机实施以下步骤：在人的头部的3d模型上限定第一测量点，其中，测量点是可以用于随后配适一副眼镜的模型上的点，以及基于第一测量点将眼镜架的模型配适于头部的3d模型，其特征在于限定这些第一测量点包括：将参数化头部模型配适于人的头部的3d模型，以及基于在参数化头部模型上所限定的第二测量点来确定第一测量点，并且将参数化头部模型配适于头部的3d模型。
[0060]
此外，可以实施以上说明的步骤中的进一步方法步骤。
[0061]
还提供了一种特别是有形的计算机可读数据介质，在其上存储如上所述的计算机程序。
[0062]
而且，提供了一种数据介质信号（例如，经由诸如因特网等网络），该数据介质信号发送上述计算机程序。
[0063]
还提供了一种用于数据处理和/或用于配适一副眼镜的设备，该设备包括用于实施上述方法的装置。
[0064]
还提供一种用于数据处理和/或用于配适一副眼镜的设备，该设备包括：
用于在人的头部的3d模型上限定第一测量点的装置，其中，测量点是可以用于随后配适一副眼镜的模型上的点，以及用于基于第一测量点将眼镜架（120）的模型配适于头部的3d模型的装置，其特征在于用于限定第一测量点的装置包括：用于将参数化头部模型配适于人的头部的3d模型的装置，以及基于在参数化头部模型上所限定的第二测量点来确定第一测量点、并且将参数化头部模型配适于头部的3d模型的装置。
[0065]
为此目的，可选地，还可以此外提供其他装置，以用于实施上述方法的进一步步骤。
[0066]
还提供了一种用于数据处理和/或用于配适一副眼镜的设备，该设备包括被配置为实施上述方法的处理器。
[0067]
上述计算机程序和设备可以具有与针对该方法所描述的特性相同的特性。
[0068]
而且，提供了一种用于生产眼镜架的方法，该方法包括：实施上述方法，使用第一测量点将眼镜架虚拟配适于头部的3d模型，以及生产配适的眼镜架。
[0069]
因此，将包括第一测量点且通过上述方法提供的3d模型首先用于虚拟配适眼镜架。眼镜架本身的虚拟配适可以如在开头所说明的现有技术中所描述的那样实现。然后，如在开头所引用的现有技术中同样所说明的那样，可以将以这种方式虚拟配适的眼镜架生产为真实的眼镜架。例如，可以通过诸如3d打印等增材方法来实现生产；关于这方面的概述，请参阅截至2018年6月25日的德语维基百科文章“generatives fertigungsverfahren”[“增材制造方法”]。
附图说明
[0070]
下面基于优选的实施例，参考附图更详细说明本发明。在图中：图1示出了根据一个示例性实施例的用于虚拟配适一副眼镜的设备，图2示出了图1的相机装置的实现方式的示例，图3示出了根据一个示例性实施例的提供用于配适一副眼镜的方法的概述的流程图，图4示出了根据一个示例性实施例的方法的流程图，其可用在图3的方法中，图5示出了根据一个示例性实施例的方法的流程图，其可用在图3的方法的范围内，图6示出了用于阐明在配适指南中可能提及的头部的特征的视图，图7示出了图4中的方法步骤40或图5中的步骤54的详细实现方式，图8示出了用于说明辅助特征的图，图9示出用于阐明配适的头部的示意图，图10示出了用于基于配适指南来阐明配适的头部的进一步示意图，图11示出了根据一个示例性实施例的方法的流程图，其可用在图3的方法的范围内，
图12示出了图11的方法的详细实现方式的流程图，图13a至图13d和图14示出了用于阐明头部模型的图示，图15示出了用于阐明在图12的方法中配适一副眼镜的部分步骤的图，以及图16示出了用于阐明鼻梁宽度的镜架模型的视图。
具体实施方式
[0071]
图1示出了根据一个示例性实施例的用于虚拟配适一副眼镜的设备的示例性实施例。图1的设备包括计算装置11，该计算装置包括处理器12和存储器13。存储器13用于存储数据，并且在图1的示例性实施例中，该存储器包括随机存取存储器（ram）、只读存储器（rom）和一个或多个大容量存储介质（硬盘、固态硬盘、光驱等）。程序被存储在存储器13中，当在处理器12上被执行时，所述程序用于实施如以上已经所描述的或将在下面更详细地说明的用于虚拟配适一副眼镜的方法。
[0072]
图1的设备进一步包括显示器16，当在处理器12上执行计算机程序时，该显示器将人的头部与眼镜架一起显示。例如，可以通过一个或多个输入器具17（例如，键盘和鼠标）来实现用户输入。此外或替代地，显示器16可以是触敏屏幕（触摸屏），以便能够实现输入。
[0073]
图1的设备另外包括网络18的接口14，通过该接口可以接收数据。特别地，在此可以从眼镜制造商处接收眼镜架的参数化镜架模型和相关的配适指南。在一些示例性实施例中，数据还经由接口14被发送到进一步计算装置，以便实施例如配适这副眼镜所需的计算的一部分。为了创建应配适一副眼镜的人的头部的3d模型，图1的设备可选地包括相机装置15，通过该相机装置可以从不同的方向记录人的多个图像，由此可以确定3d模型。关于基于图像记录的这种3d模型确定的信息可以在例如以下文章中找到：h.hirschm
ü
ller，“stereo processing by semiglobal matching and mutual information [半整体匹配与互信息立体处理]”，电气电子工程师学会会刊模式分析和机器智能学报（ieee transactions on pattern analysis and machine intelligence），第30卷，第2期，第328至第341页，2008年2月，doi: 10.1109/tpami.2007.1166。
[0074]
图2示出了图1的相机装置15的实施例。在图2的示例性实施例中，相机的半圆形布置110被紧固到立柱19。然后，人们可以以如下方式定位自己：如图2所示，人的头部111被定位在半圆形布置110中并且可以从不同的方向被记录。然后，可以由此创建头部111的3d模型。纹理、即关于模型颜色的信息（如上所述）也出自图像记录。而且，如欧洲专利申请17 153 556.0中所述，这种设备可以被用于定心测量。
[0075]
图3示出了根据一个示例性实施例的用于虚拟配适一副眼镜的整体方法的流程图。本发明特别涉及这种方法的部分步骤。
[0076]
该方法开始于步骤30。在步骤31，从存储器中加载头部的3d模型，该模型包括头部模型元数据。如以上参考图1和图2说明的，可以借助于图像记录来创建3d模型，或者它可以是已经可用的3d模型，例如来自早期将一副眼镜配适于某个人。
[0077]
头部模型元数据是包含关于3d模型特征而不是模型本身的信息项的数据。特别地，元数据可以提供关于头部的3d模型的附加信息和/或包含头部的3d模型上的某些点、曲线或区域。关于这种元数据的使用的更多细节还在欧洲专利申请17 173 929.5中被找到。
[0078]
在步骤32中选择由参数化镜架模型所描述的眼镜架的基础模型。参数化镜架模型
具有自由参数，即要确定的参数。以上在参数化镜架模型的描述的上下文中已经进一步指定了这种自由参数的示例，特别是眼镜架的鼻梁宽度或镜腿长度、或者眼镜架的镜架镜圈的形式。
[0079]
在步骤312中，然后基于如上所述的或在下面更详细地说明的与镜架模型相关的配适指南来计算这些参数中的至少一些参数。如同样已经说明的，基于解剖学配适来确定其他参数。
[0080]
然后，在步骤33至步骤310中，虚拟戴上具有更深入的解剖学配适的眼镜。为此，在步骤33中，基于放置点和鼻梁搁靠点进行近似定位，如欧洲专利申请17 173 929.5中已经描述的。在步骤34和步骤35中，将眼镜镜腿弯曲成向头部的耳朵开放并且定位镜腿，其中，可以围绕这副眼镜的x轴旋转。在此，x轴对应于连接头部中的眼睛的方向，z方向基本上对应于镜腿的方向以及y方向垂直于该镜腿的方向。在步骤36中，通过在xy平面中的精细定位来优化这副眼镜的接触面积。而且，在此可以进一步调整在步骤312中尚未设定的参数。在这种情况下，步骤34至步骤36对应于在欧洲专利申请17 173 929.5中所描述的相应步骤。在这种配适的范围内，特别是在步骤312中已经确定参数之后，可以使参数化眼镜模型变形和对其定位。
[0081]
然后在步骤37中渲染镜架和头部，即在图1的显示器16上有适当的表示。这种渲染也已经在欧洲专利申请17 173 929.5中进行了描述。在此，在这种情况下，渲染或图像合成被理解为基于来自相应模型的原始数据来创建图像（例如，用于在计算机监视器上显示）。
[0082]
然后，在步骤38中，用户与模型进行交互，如在步骤39中所示，可能具有各种结果。因此，可以简单地进行导航，例如以便从不同的方向观察头部。在这种情况下，在步骤37中有新的渲染。
[0083]
步骤39中的交互还允许手动调整镜架围绕x轴的旋转。在这种情况下，该方法返回到步骤35，例如根据镜架的新位置来确定镜腿。
[0084]
而且，借助于用户与模型的交互，眼镜架在头部模型的鼻梁上的位置还可以由设备的用户来调整。这明显改变了在步骤33中所设定的眼镜架的位置。因此，在这种情况下，该方法返回到步骤33。
[0085]
这些前述交互类型、特别是例如用于改变观察角度、调整旋转以及调整被设置在鼻梁上的这副眼镜的位置的导航同样已经在欧洲专利申请17 173 929.5中进行了详细说明。
[0086]
而且，用户还可以在交互的范围内设定参数化镜架模型的镜架参数之一。举例来说，用户可以在这种情况下修改在步骤312中通过自动计算实现的参数的确定。在这种情况下，这减少了步骤310中的自由镜架参数的数量并且在步骤36中继续该方法。如果用户最终对交互后的配适感到满意，则在步骤311终止该方法。在该过程中，仍然可以进行最终检查。用户（例如，配镜师）在最终检查期间检查订单数据。在该过程中，订单数据和相应的图形表示在概览监视器上被呈现给所述用户。这些表示示出了在该方法范围内确定的眼镜架和/或头部的参数（诸如鼻梁宽度和鼻翼角度等）、以及订购的镜架的参数（可能还具有关于与例如由配适指南规定的理想形式的偏差的注释）。这种参数的确定还将稍后进行说明。然后，可以将确定的参数发送到各个制造商的订购系统，以便订购具有相应参数的真实眼镜架。
[0087]
下面将参考图4至图15更详细地说明图3的方法的各个方面。
[0088]
图4示出了根据一个示例性实施例的方法的流程图。图4示出了将眼镜配适细分为基于与相应的参数化镜架模型相关联的配适指南的配适、随后是对头部的解剖学的配适。
[0089]
在图4的方法中，在步骤40中，基于配适指南将参数化镜架模型配适于人的头部的3d模型，所述配适指南由相应眼镜架的眼镜架制造商具体针对眼镜架预先确定。这些配适指南可能涉及美观处方，如在下文同样更详细地说明的。稍后将甚至更详细地说明这个步骤的实现方式示例。举例来说，可以在图3的步骤312的范围内实施步骤40。
[0090]
可以在步骤40中通过配适来设定参数化镜架模型的参数的第一部分。
[0091]
然后，在步骤41中与人的头部的解剖学的一般配适，即独立于特定的配适指南来实现步骤41中的配适。这种配适可以如在开头所引用的现有技术中所描述的那样被实现、并且可以同样在步骤312中被实现、或者可选地还可以在步骤34和步骤35的配适中被现实。然后，解剖学眼镜配适还可以直接基于头部模型的元数据来实现，或者如在以下文章中所说明的那样来实现：johannes eber，“anatomische brillenanpassung”，verlag optische fachver
ö
ffentlichung gmbh, 1987，第23ff页。
[0092]
图5示出了图4的方法的实现方式的详细流程图。
[0093]
在图5的步骤50至53中提供了用于该方法的输入数据。在步骤51中，镜架制造商为眼镜架创建参数化镜架模型。可以将来自步骤51的参数化镜架模型转换为统一的标准化格式，如果眼镜制造商以专有的cad（计算机辅助设计）格式来提供数据，则可以在根据本发明的方法中使用该标准化格式。
[0094]
而且，可以减少数据（例如，减少3d模型中的三角形或体素的数量）或借助常规的压缩方法来压缩数据。
[0095]
在步骤50中，镜架制造商为这个参数化镜架模型创建特定的配适指南，如已经说明的，该配适指南在配适镜架时可以考虑美观方面。
[0096]
在步骤52和53中创建并分析人的头部的3d模型。在此，在步骤52中首先用3d测量系统（特别是用图2所示的相机装置）创建模型。还可以使用诸如3d头部扫描仪等其他测量系统。在每种情况在截至2017年6月8日的http://cyberware.com/products/scanners/ps.html或http://www.3d-shape.com/produkte/face_d.php找到这种头部扫描仪的示例。在步骤53中，然后将点或区域识别为这个头部模型上的特征，例如如在开头说明的现有技术中也使用的点和特征。
[0097]
然后，对应于图4中的步骤40，在步骤54中根据特定的配适指南来配适镜架。此外，在步骤54中，可以将眼镜架的预期位置和取向设定为配适的起始值。通过像欧洲专利申请17 173 929.5中的、具有用于参数化镜架模型的预定标准参数的元数据的位置可以用作预期位置和预期取向，预期位置和预期取向可以用作用于配适的起始值。作为其替代方案，在一些情况下可以根据特定的配适指南计算预期位置。举例来说，特定的配适指南限定了镜架镜圈相对于瞳孔中心xz平面中的优选位置；预期顶点距离（例如，12 mm）限定了在y轴方向上的位置。作为镜架在空间中的取向的一部分的前倾度（即围绕x轴的角度）也可以被设定为例如9度的预期值。这可以同样是特定的配适指南的一部分。
[0098]
然后，在步骤55中将镜架配适于头部的解剖学条件。在此，进一步配适在步骤54中尚未配适的参数、即仍然是自由参数的参数。
[0099]
在步骤56中进行虚拟配戴和渲染，并且在步骤57中进行手动配适。在此，如参考图3中的附图标记33至310已经描述的那样实现虚拟配戴和手动配适。
[0100]
在步骤58中，对应于图3中的步骤311，转移到镜架制造商的订购系统。
[0101]
现在参考图6至图10更详细地说明镜架特定的配适指南的使用和相应的配适。
[0102]
图6示出了面部的各种特征，这些特征适合作为面部中的特征和点以用于这种特定的配适指南。换句话说，在这种示例性实施例中，在配适指南中提供了眼镜架的特征关于这种面部点的目标位置或目标范围。面部的这种特征还在以下文章中进行了说明：johannes eber，“anatomische brillenanpassung”，verlag optische fachver
ö
ffentlichung gmbh，1987，第17ff页。
[0103]
示例包括：1. 眼睛、特别是瞳孔中心（图6中的线l2与线lb的交点）的位置。此外，线l2表示瞳孔轴线。
[0104]
2. 眼睛的方框尺寸、即放置在眼睛周围的矩形的尺寸
ꢀ‑ꢀ
每个矩形的位置、矩形的宽度和高度。
[0105]
3. 根据图6中的线la和l3的鼻子位置。
[0106]
4. 与图6中的线ld相对应的面部宽度和颞部位置。
[0107]
5. 在图6中的线l1与l5之间的面部高度、以及图6中的下巴线（l5）。
[0108]
6. 下巴区域的曲率半径，即下巴的接触线l5的部分的曲率半径。
[0109]
7. 眉毛的位置，其中，图6中的线l1代表眉毛的中心轴线，并且线lc代表眉毛的外界限。
[0110]
8. 根据图6中的线l4的嘴的位置。
[0111]
前述特征可以通过如稍后描述的过程通过参数化头部模型或通过图像分析方法（图像识别）和/或通过在由图2的相机装置所记录的图像中的机器学习来进行识别，并且因此可以在头部的3d模型上确定所述特征的位置。一种用于自动识别这种特征的可能性还在以下文章中进行了描述：v.kazemi，j.sullivan，“one millisecond face alignment with an ensemble of regression trees [与回归树集合的一毫秒面部对齐]”，电气与电子工程师学会计算机视觉与模式识别会议（ieee conference on computer vision and pattern recognition），2014年。
[0112]
在随后的描述中，应从配适这副眼镜的人的角度理解诸如左眼、右眼、面部的左半部或面部的右半部等名称。
[0113]
图7示出了一种用于基于配适指南以及提供的数据来配适眼镜架的详细方法，配适指南即图4中的步骤40或图5中的步骤54的详细示例。
[0114]
在图7中的步骤70处提供用于参数化镜架模型的配适指南，在步骤73中将所述配适指南被读入计算装置中以便能够在所介绍的方法中使用这些。在此，将配适指南存储为文本文件，例如，诸如xml文件或json文件。
[0115]
在步骤71中提供参数化镜架模型，将步骤70处的配适指南分配给该参数化镜架模型。例如，可以将表示镜架模型的某些区域或点的元数据分配给参数化镜架模型。在欧洲专利申请17 173 929.5中也描述了镜架模型的这种元数据。在步骤74中读入这个参数化镜架模型。在步骤77中，提供在步骤74中读入的参数化镜架模型的参数及其值范围以用于随后
的优化。最后，在步骤72处，为要配适眼镜架的人的头部的3d模型提供相关的元数据，在步骤75中读入所述模型。
[0116]
在步骤76中解析配适指南。解析被理解为是指将输入数据分解和转换成更适合于进一步处理的格式。解析器是实施这种解析的相应装置（通常由计算机程序实现）。关于这方面的更多详细信息在截至2017年5月19日的德语维基百科文章“parser”找到。
[0117]
在此，将配适指南特别地转化成适合于随后的优化处理的格式。在此，如所说明的，配适指南可以包含目标量和/或允许范围，特别是针对眼镜架的特征与头部上的特征之间的距离，例如镜架上镜圈与眉毛之间的距离、镜架的镜架上镜圈与眼睛的上边缘之间的距离、镜架下镜圈到眼睛的下边缘的距离、或瞳孔相对于镜架镜圈的相对位置。而且，还可以使用到计算的导出特征（即从头部和/或镜架的多个特征导出的点或区域）的距离。这种导出特征又被称为辅助特征。
[0118]
图8图示了这样的辅助特征的示例。图8示出了具有眼镜架81的头部80。用80表示假想圆，其半径为面部的宽度的一半并且中心在鼻子的下边缘处。在图8中，yun表示鼻子的下边缘，yuk表示下巴的下边缘以及yuod表示眼睛的下边缘。面部的宽度、即图6中的线d之间的距离由yg表示。借助于在步骤76中的解析期间检测到的配适指南70中的项来限定的导出辅助特征yh的示例为：yh = (yuk
ꢀ‑ꢀ
(yun
ꢀ‑ꢀ
0.5
ꢀ∙ꢀ
xg))/0.5
ꢀ∙ꢀ
xg这个yh值代表理想面部的计算的下巴下边缘与真实的下巴下边缘的偏差与面部的一半宽度之比，并且所述值是面部在鼻子下方的竖直长度的量度。这种辅助特征可以用于设定眼镜架的镜架下镜圈的比例。结果，可以考虑以下事实：面部在竖直方向上的长度还可能对由眼镜架引起的美观印象有影响，因此特定的配适指南可以预先确定眼镜架的大小和/或形式与参数yh的关系。
[0119]
配适指南的另一个示例是瞳孔在镜架外接方框内的位置。这在图10d中被图示。图10d示出了在这种情况下用于右眼的具有镜架外接方框102的眼镜架81。
[0120]
瞳孔的配适点高度（瞳孔在镜架下镜圈上方的高度）用y表示；瞳孔的水平位置用x表示。方框102的宽度是δa，并且方框的高度是δb。举例来说，然后配适指南可以提供，在水平方向上，瞳孔应位于方框中心与鼻部黄金分割之间，即δa
ꢀ∙ꢀ
3.82 ＜ x ＜ δa
ꢀ∙ꢀ
0.5。在此，黄金分割是指x与δa-x之比等于δa-x与δa之比，如x = δa
ꢀ∙ꢀ
3.82的情况。与这个黄金分割相比，更靠近镜架镜圈的内侧的眼睛位置通常被发现不太美观。
[0121]
类似的指南可以在竖直方向上设定眼睛位置，具体是瞳孔在竖直方向上精确地位于方框102的方框中心与中心上方的黄金分割值之间，即δb
ꢀ∙ꢀ
0.5 ＜ y ＜ δb
ꢀ∙ꢀ
0.618。
[0122]
配适指南还可以直接作为计算公式被提供，其中，计算公式的变量则是上述特征。换句话说，可以将特定配适指南中的镜架参数直接指定为项，或者它们还可以通过优化循环来迭代地确定。在后一种情况下，对借助于这些项限定的配适质量进行优化；这些项设定了目标
ꢀ‑ꢀ
然而，这些目标通常不会达到；因此，例如，“目标量 = 项”形式的表达式仅会有助于在优化的意义内（例如，在最小二乘法的意义内）的配适质量，但不会直接满足这一点。
[0123]
为此，特别是针对所提到的辅助特征、针对目标量和计算处方、以及可选地针对作为标量的质量值来实现步骤76中的解析，质量值例如可以以与目标量之间的偏差的加权平
方和的形式获得，并且可以可选地具有附加惩罚项，如上已经所述的。
[0124]
然后，在步骤79中创建用于步骤76的这些项的句法树的清单。
[0125]
相应地，针对头部模型在步骤78中确定诸如以下的值的位置、取向和尺寸：瞳孔中心的位置、眼睛的位置和尺寸（例如，外接眼睛的矩形）、鼻子的位置、取向和尺寸、眉毛的位置、取向和位置和/或下巴的位置。
[0126]
在步骤710中针对辅助特征评估树的这些项，即确定存在的辅助特征，并且在步骤711中确定这些辅助特征（例如以上说明的yh值）的值。然后，在步骤712中有优化步骤。在此，参数化镜架模型的镜架参数是变化的，并且在步骤713中评估这些项，直到达到目标量为止。由此，在714出现了针对一部分镜架参数的参数集，这些镜架参数是基于配适指南配适的。特别是，这些是具有美观效果的参数，例如眼镜架的缩放、眼镜架的配戴前倾角、和/或在可变镜架镜圈的情况下的镜架镜圈的形式。进一步参数（例如鼻托的角度或眼镜镜腿的长度或鼻梁宽度）首先保留在由制造商预定的标准值。然后在解剖学配适期间对这些进行调整（例如，图4中的步骤41）。
[0127]
该优化循环还可以包括虚拟配戴，例如如欧洲专利申请17 173 929.5中所述。前述步骤包括对参数化镜架模型的参数进行配适，确保了将优化收敛到一副眼镜的最优配适。
[0128]
结果，在虚拟配戴期间出现的首先是可以表示为例如旋转矩阵和平移向量的几何运动参数（6个自由度，参见截至2017年5月22日的德语维基百科的文章“bewegung（mathematik）”[“运动（数学）”]），其次是镜架的弯曲参数。通常，镜架的弯曲参数是在弯曲期间在耳朵搁靠点处所经过角度的单个参数。如欧洲专利申请17 173 929.5中所述，这对应于虚拟配戴。所述的虚拟配戴的结果包括镜架的旋转和平移以及镜腿变形参数。
[0129]
在配戴之后，所有镜架特定的特征在头部的坐标系中都是可用的。为此，将几何运动应用于这些特征。举例来说，计算个性化镜架（即，与具有配适参数的参数化镜架模型相对应的镜架）的右鼻托和左鼻托的位置和取向。在理想情况下，这个位置和取向应与对镜架特定参数进行配适的步骤中先前计算出的位置相对应，因为鼻翼的相应特征在其范围内与镜架上的特征相对应，如稍后还将具体说明的。然而，由于鼻子区域的个体化限制，在确定镜架位置时，虚拟配戴的过程可能不会产生与配适过程相同的结果。举例来说，这可能是由于真实鼻子的不对称结合镜架鼻托的对称所引起。然而，通常这些位置之间应该仅有很小的差异。在差异很小的情况下（例如，小于1 mm的鼻托中心距离），这可以忽略不计。在差异相对较大的情况下，在虚拟配戴之后的新位置可能触发针对要基于镜架特定的配适指南来确定的参数的新的配适过程。关于镜架模型的可能不相容性，以通知形式的反馈给操作者是可能的。
[0130]
图10a至图10c阐明了针对头部80中不同的瞳孔间距pd1（图10a）、pd2（图10b）和pd3（图10c）眼睛在方框102内的这种定位，其中，pd1是相对小的瞳孔间距、pd2是中间的瞳孔间距以及pd3是相对大的瞳孔间距。为了美观的配适，在图10a的情况下镜架形式100的外镜圈被加厚并且设置有主桩头，例如以便保持黄金分割的状态。桩头是眼镜架的中央部分的外部部分；内部部分被称为鼻梁。因此，在这种情况下，修改后的参数是镜架形式。在图10c的情况下，选择主区域或主鼻梁，可能结合更大的鼻梁宽度，以便获得期望的美观印象。
[0131]
图9示出了基于配适指南来配适参数以用于获得期望的美观效果的示例。在此，图
9a至图9c示出了眼镜架81的缩放效果。在图9a中，将非常小的镜架虚拟地放置在人上；从美观和时尚角度来看，它太小了。图9c中的镜架太大。在图9b中，镜架具有中等大小。为了确保这副眼镜在美观上合适的大小，在这种情况下，配适指南可以规定镜架镜圈与面部边缘和/或眉毛之间的距离。
[0132]
图9d至图9f示出了鼻梁宽度的影响。在此描述的示例性实施例中，在解剖学配适期间设定鼻梁宽度，以便确保眼镜架在鼻子上的解剖上正确配适，这将在下面进一步详细地进行说明。然而，它还可能改变美观印象，在解剖学配适期间可以此外考虑这一点。在图9d中选择小鼻梁宽度b1。在此，由于与鼻梁碰撞，因此镜架坐得非常高。在图9e中，将鼻梁宽度稍微加宽到鼻梁宽度b2。结果，使眼镜架坐得稍微更低并且更加和谐。在图9f的情况下，鼻梁宽度甚至进一步被降低到值b3。在此，可以在解剖学配适的范围内注意：例如基于黄金分割，瞳孔相对于镜架镜圈位于预定的范围内。
[0133]
因此，借助于配适指南和借助于划分成基于配适指南的配适、随后与头部解剖学的配适，可以确保可以满足眼镜制造商的处方、特别是具有美观性质的处方。
[0134]
在前述方法中以及还有在其他用于配适一副眼镜的方法中，例如在欧洲专利申请17 173 929.5中所描述的方法中或者在作为现有技术在开头所说明的一些方法中，需要某些点在头部的3d模型上的位置和/或需要元数据，这些元数据表征某些用于配适眼镜的区域，诸如搁靠点或耳朵搁靠区域。一个选项在于：手动地或通过模式识别方法来确定这种点或区域。现在将参考图11至图15来描述进一步的选项。
[0135]
图11示出了根据一个示例性实施例的用于将测量点设定到人的头部的3d模型的方法。在此，测量点应理解为是指可以用于上述方法的点，例如描述诸如耳朵、眼睛、眉毛等面部特征的点。
[0136]
在步骤110中，提供具有测量点的参数化头部模型。在此，参数化头部模型是描述头部的参数化模型。改变参数化模型的参数会改变由头部模型描述的头部形式。在此所使用的术语“参数化头部模型”还包括仅描述头部的一部分的模型，例如仅描述用于配适眼镜所需的部分（特别是眼睛、鼻子和耳朵的区域）。稍后将参考图13a和图13c来说明参数化头部模型的示例。例如，通过手动选择在这个参数化头部模型上设定测量点。稍后同样将参考图13a和图13c来说明这种测量点的示例。
[0137]
然后，在步骤111中，将参数化头部模型配适于人的头部的3d模型。为此，可以使用任何常规的以如下方式对参数化头部模型的参数进行配适的优化方法：参数化头部模型与人的头部的3d模型之间的偏差可能最小（例如，通过最小二乘法或以上所引用的j.booth等人的文章中的方法）。然后，在步骤112中，基于配适将测量点转移到人的头部的3d模型。换句话说，测量点在配适的参数化头部模型上的位置用于在头部的3d模型上设定相应的测量点。这可以通过将参数化头部模型投影到头部的3d模型上来实现，例如通过使用法向量（即在参数化头部模型上的测量点处垂直的向量）与头部的3d模型的交点。在准确模型中，还可以将测量点在参数化头部模型上的位置直接用作头部的3d模型上的位置。
[0138]
以这种方式，可以确定用于任何头部的基本上任何3d模型的测量点，而仅需在参数化头部模型上一次设定测量点。
[0139]
图12示出了更详细的方法，该方法使用参数化头部模型来用于在人的头部的3d模型上设定测量点，并嵌入到用于虚拟配适一副眼镜的方法中。代替与图12中用于虚拟配适
这副眼镜的方法，以上参考图1至图10所说明的方法还可以用作用于图11的方法的可能应用。
[0140]
在图12中，在步骤120中提供了具有自由参数的参数化镜架模型。在图12的示例性实施例中，自由参数用于解剖学配适。在其他示例性实施例中，如上所述，可以通过镜架特定的配适指南进行附加配适。
[0141]
在步骤121中，提供参数化头部模型。参数化头部模型可以是基于主成分分析（pca）确定的面部模型或头部模型，如在例如以下文章中所述：a.brunton，a.salazar，t.bolkart，s.wuhrer，“review of statistical shape spaces for 3d data with comparative analysis for human faces [使用人脸的比较分析的3d数据的统计形状空间的综述]”，计算机视觉与图像理解（computer vision and image understanding），128:1-17, 2014；或者如以下文章中所描述的头部模型：j.booth，a.roussos，s.zafeiriou，a. ponniah和d.dunaway，“a 3d morphable model learnt from 10,000 faces [从10,000个面部中学习的3d形变模型]”，2016年电气与电子工程师学会计算机视觉与专利识别（cvpr）会议），内华达州拉斯维加斯，第5543-5552页，2016年，doi:10.1109/cvpr.2016.598。在步骤122中，提供人的头部的3d模型，该模型可以由例如图2的相机装置创建。
[0142]
在步骤123中，在参数化头部模型上确定测量点。在图14中呈现了面部的至少一部分的这种3d模型的示例以及坐标轴。
[0143]
在步骤123中，在参数化头部模型上确定测量点。为此，提供了参数化头部模型的所谓标准头部。标准头部是参数化头部模型的参数采用预定标准值的头部。在基于主成分分析的头部模型的情况下，这例如可以是平均头部，其对应于主成分分析的第一成分。
[0144]
在步骤123，在参数化头部模型上设定测量点。这可以通过设定点来手动实现。在图13a中示出了这种规定的示例。在此，已经在参数化头部模型的标准头部130上设定了多个点，例如嘴角、鼻尖、沿着前额皱纹的点、眼睛点、鼻梁、以及鼻翼上的点。图13c示出了进一步的示例。在此，在头部模型130的鼻翼上标记了三角形132，即三个点。
[0145]
然后，在步骤124中，使用配适过程将参数化头部模型配适于人的头部的3d模型。配适过程是以如下方式确定参数化头部模型的参数的过程：将参数化头部模型尽可能精确地配适于人的头部的3d模型，例如根据最小二乘标准。可以以任何顺序实施步骤123和步骤124。在实施该方法之前只需要实施步骤123一次，因此每次针对不同人的头部的不同3d模型以及针对不同的参数化镜架模型来实施该方法时都可以使用确定的测量点。
[0146]
然后，在步骤125中，将测量点转移到配适的参数化头部模型。换句话说，在配适的头部模型上确定测量点的位置。为此，例如如在上述j.booth等人的文章中所述，将从标准头部模型中获得配适的参数化头部模型所使用的基本上相同的变换应用于测量点，在步骤123中在该参数化头部模型上确定测量点。可选地，在步骤126中，将测量点转移到头部的3d模型。是否使用步骤126取决于所采用模型的准确度，即取决于配适的参数化头部模型与人的头部的3d模型对应的准确度。举例来说，如果均方差位于阈值以下，则可以省略步骤126。可以通过投影来实现将测量点从配适的参数化头部模型到人的头部的3d模型的转移，其中通过配适的头部模型上的相应测量点来确定法向量，然后将这个法向量与人的头部的3d模型的交点用作人的头部的3d模型上的相应测量点。在图13b和图13d中示出了示例。在图13b中，图13a的点被投影到人的头部的3d模型131上，并且在图13d中，图13c的三角形132被投
影到3d模型131上作为三角形132’。
[0147]
这种投影在许多面部模型的情况下可靠地运行，因为参数化模型通常具有很高的平滑度，特别是比图14所示的典型头部3d模型具有更高的平滑度。在此，可以将表面的平滑度限定为法向量的局部偏差的度量。替代地，头部的3d模型的点云与近似的多项式曲面的局部偏差还可以被限定为度量，例如在每种情况下在直径为5 mm的局部区域中。多项式曲面是无穷多次可微的，因此在微分几何学中被称为“平滑的”。在截至2017年6月8日的http://pointclouds.org/documentation/tutorials/resampling.php描述了通过可以在示例性实施例中应用的“移动最小二乘法”（mls）的局部平滑。
[0148]
而且，可以使用手动步骤（图12中未图示）在头部的3d模型上标记进一步的测量点。特别地，这些可能是3d模型无法轻易检测到的点，例如人的被头发遮盖的部分。特别地，耳朵可能就是这种情况。因此，然后在人的头部的3d模型中不能准确识别这些点，并且可以手动添加所述点。这种测量点的示例是眼镜镜腿在耳根上的搁靠点。
[0149]
然后，在步骤127中，基于测量点（如果省略了步骤126则是配适的头部模型处的测量点或在实施步骤126时则是转移后的测量点）来计算特征。例如，这些特征（还被称为测量特征）基于测量点的组并且限定了头部的区域。
[0150]
可以通过直接计算（例如，空间中的3个非共线点唯一地限定平面，可以通过归一化差分向量的交叉乘积来计算该平面的法向量；4个非共面点限定一个球体，5个非共面点限定一个圆柱体）或通过诸如平面或球体或圆柱体等几何图元（点、线或面）的近似来确定这些特征。然后，通过配适的几何图元的参数来确定特征，例如在平面情况下通过平面的法向量和参考点或在球体情况下通过球体的中心和半径等。在下面指定了步骤127中计算的这种特征的示例：
‑ꢀ
左鼻翼或右鼻翼对于鼻子的左鼻翼或右鼻翼，可以使用平面（例如，对应于图13d中的三角形132'）作为特征，该平面是通过近似于在鼻支撑区域或鼻托区域中对模型的较小区域（例如，具有6 mm的直径）来限定的。水平和竖直的鼻翼角产生于平面的位置和取向。在此，该平面在鼻支撑区域的中心点处与坐标轴相交，并且在每种情况下测量上升角。举例来说，如果在图13c的每个鼻翼中标记了对应于三角形132的三个点，则可以从这三个点计算平面。在多于三个点的情况下，该平面可以通过配适过程来计算，例如通过对一组点进行主成分分解、或者通过借助于最小二乘法的配适。如上所述，单个平面由该平面中的点（x，y和z）和穿过这个点的法向量（nx，ny，nz）表示，其中x、y和z是笛卡尔坐标。因此，可以将两个鼻翼一起表示为12元组，即由12个值（2个点和2个法向量）表示，例如作为(x
[n,od]
,y
[n,od]
,z
[n,od]
,nx
[n,od]
,ny
[n,od]
,nz
[n,od]
,x
[n,os]
,y
[n,os]
,z
[p,os]
,nx
[n,os]
,ny
[n,os]
,nz
[n,os]
)在此，索引n表示鼻子、索引od表示右眼（oculus dexter）以及索引os表示左眼（oculus sinister）。
[0151]
‑ꢀ
前额的曲率在此，如图13a和图13c所示，可以将空间上的圆形曲线的一部分配适于到前额上的测量点。这个配适的参数是圆所在平面的中心、半径和法向量。这个配适可以分两步执行。首先，如上所述，为鼻翼配适平面，然后在这个平面内还配适圆。这种圆的配适可以例如
通过最小二乘法或任何其他常规的配适方法来实现。
[0152]
‑ꢀ
眉毛和/或颧骨在此，样条曲面s（参见截至2017年5月23日的德语维基百科文章“spline”）或双变量多项式（参见例如截至2017年6月8日的https://en.wikipedia.org/wiki/polynomial#definition“双变量多项式”）在眉毛周围的区域和/或在颧骨周围的区域中被配适于在眉毛区域和/或在颧骨区域中的测量点。在样条表示中s
(c1,..,cn)
: (x, z)
ꢀꢀ
y以如下方式确定样条函数s的系数（c1,
ꢀ…
, cn）：针对相应区域（眉毛或颧骨）中的一组测量点{ (x1,y1,z1),
…
,(xm,ym,zm) }，均方根误差f最小，即误差f具有以下形式：f(c1,
…
,cn) = ∑
i=1
…
m (yi-s
(c1,..,cn) (xi,zi))
²
在这个表示中，假设稍后配戴镜架的过程是通过与xy平面平行的移动来实现的，在每种情况下图14的坐标系中具有固定的y值。如果打算通过配适过程来实现镜架后镜圈与头部的3d模型之间的最小距离，则可以提前提供这个距离值作为相对于样条曲面的偏移量。然后，由于y值中的对应关系，可以检测到接触（因为y值被提前存储为偏移量）。为此，可以在稍后的配适眼镜架期间检查镜架后镜圈的每个顶点，并且由坐标（x，y，z）给出的各个顶点就差值δy = y
ꢀ‑ꢀs(c1,
…
cn)
: (x, z)进行检查。一旦检测到顶点在模型中的接触或浸入，则可以调整眼镜架的位置或可以修改眼镜架的镜架镜圈。
[0153]
‑ꢀ
耳根处的点用作眼镜镜腿的搁靠点为此，可以使用头部模型上的单个点；即，在这种情况下，无需组合任何测量点。在其他实施例中，可以如欧洲专利申请17 173 929.5中所描述的那样来确定耳朵搁靠曲线。如果使用的是没有对耳朵进行建模的模型（参见上文）、例如纯面部模型，或者如果在创建人的头部3d模型时已经遮住了耳朵，则可以以不同的方式来生成耳根处的这个点，例如通过从用于创建头部3d模型的图像中的机器学习，其中为此可以使用受过训练的特征检测器来检测图像中耳根处的点。在进一步的步骤中，将在2d图像中所检测到的这些点投影到头部的3d模型上。关于这种投影的信息可在关于投影几何学和相机校准的背景文献中（例如hartley和zisserman的“multiple view geometry in computer vision [计算机视觉中的多视图几何学]”，第7页，2000年）找到以用于将图像像素表示为空间中的直线；投影到空间中的3d模型中作为三角形网格与直线的最前部的相交点的计算，这还被称为“光线投射”；还参见例如软件库“vtk”，函数“vtkmodifiedbsptree::intersectwithline”。替代地，如上所述，还可以手动确定这种点。
[0154]
在一些示例性实施例中，还可以通过单独的方法来确定诸如眼睛位置或瞳孔位置等某些点，例如通过使用由图2的相机记录的图像的瞳孔检测和角膜检测。在欧洲专利申请17 153 558.3和17 153 559.4中描述了这种确定。
[0155]
基于在步骤127中由此计算的特征，然后在步骤128中计算参数化镜架模型的镜架参数。下面提供这个计算的示例。然而，如欧洲专利申请17 173 929.5中所述，这些特征还可以用于基于特定的配适指南的上述镜架配适或用于虚拟配戴。
[0156]
通常，为了配适的目的，特征是在相对位置和/或其他特性（诸如角度或曲率）方面被组合评估的。下面描述了步骤128中的镜架参数计算的一些示例。这些还可以用作图4中的步骤41的解剖学配适的示例。
[0157]
‑ꢀ
鼻梁宽度鼻梁宽度在din en iso 8624：2015-12的附录a中进行了限定，并且产生于鼻托的相对位置，因为在鼻梁宽度较大的情况下，鼻托离得更远，而在鼻梁宽度较窄的情况下，鼻托离得更近。在没有鼻托的眼镜架的情况下，广义鼻托被限定为鼻子搁靠部的特定区域，其被提供作为与鼻子的接触区域。鼻梁宽度随这些广义鼻托的中心点的间距而增加。因此，鼻梁宽度可以对应于两个鼻翼上对应于图13d中的三角形132’的三角形的中心点的间隔。在此，几何质心、即角平分线的交点可以作为三角形的中心点。
[0158]
为了阐明目的，图16示出了具有鼻托160（在这个意义上）和鼻梁宽度161的参数化镜架模型的立体图。
[0159]
‑ꢀ
鼻托的相对位置和角度这种配适在图15中进行了说明。在此，鼻翼被呈现为截面。这由曲线150表示，并且配适了鼻托151。
[0160]
两个鼻托中的每一个鼻托都可以通过一个与相应鼻托接触的平面（切面）进行配适。如上文针对其他平面所述，鼻托的这个平面可以由参考点（x
p
，y
p
，z
p
）和法向量（nx，ny，nz）近似。特别地，参考点可以是鼻托的中心。在常规意义上的鼻托的情况下、即在金属镜架的情况下，这个中心点例如通过鼻托的质心在外侧（即垫托与鼻子的接触面）的投影来限定
ꢀ‑ꢀ
其中垫托中心还可以作为预定点成为参数化镜架模型的一部分
ꢀ‑ꢀ
即这个点与模型一起提供。在没有单独的垫托的塑料镜架的情况下，镜架的被设想为用于鼻子的接触区域的部分（图16中的160）被称为鼻子搁靠部，或者在此以广义的方式被称为鼻托。因此，两个鼻托可以同样被表示为12元组，在本示例性实施例中，该表示是在镜架的局部坐标系中实现的：(x
[p,od]
,y
[p,od]
,z
[p,od]
,nx
[p,od]
,ny
[p,od]
,nz
[p,od]
,x
[p,os]
,y
[p,os]
,z
[p,os]
,nx
[p,os]
,ny
[p,os]
,nz
[p,os]
)其中，索引p代表鼻托。
[0161]
如上所述，鼻托的位置和取向还意味着鼻梁宽度。
[0162]
在鼻托的这种表示中，由于12元组可以通过到参考点的公共平移映射和到参考点和法向量的公共旋转映射而转移到任何期望的坐标系中，因此可以自由选择坐标系的坐标原点和取向。前提条件是前述12元组的所有参数实际上都可以在参数化镜架模型中自由选择。实际上，这些参数在参数化镜架模型中受到限制，并且参数化镜架模型的各个参数都有最大值和最小值（举例来说，镜架不能被制造得具有任意大的大小或任意大或任意小的鼻梁宽度）。在任何情况下，鼻托和如上所述的鼻翼都可以表示为12元组。
[0163]
与在以上的笛卡尔坐标中不同，法向量在每种情况下都可以由空间中的两个角度θ和表示（基本上是极坐标表示，其中选择1作为法向量的长度（半径）：(nx,ny,nz) = (sin()*sin(θ), cos()*sin(θ), cos(θ))。
[0164]
因此，针对这些鼻托（以及因此针对鼻梁），总共一起产生了10个自由度；获得了一个10元组的表示：(x
[p,od]
,y
[p,od]
,z
[p,od]
,θ
od
,
od
, x
[p,os]
,y
[p,os]
,z
[p,os]
,θ
os
,
os
) = z
[p,os]
从图15中可以明显看出鼻梁宽度与鼻托位置之间的关系：如果对鼻梁进行加宽，则左右鼻托平面的参考点之间的距离会相应增加，反之亦然。
[0165]
如果假设鼻梁是对称的并且鼻托关于彼此是对称的，则参数的数量减少。将图14
的yz平面作为对称平面，则以下条件适用：i. x
[p,os] =
ꢀ‑
x
[p,od]
ii. y
[p,od] = y
[p,os]
且z
[p,od] = z
[p,os]
iii. θ
[p,od] = θ
[p,os]
且
[p,od] =
ꢀ‑
[p,os]
然后，（w, y
p
, z
p
, θ, ）作为自由参数出现，其中θ = θ
[p,od] = θ
[p,os]
以及 = [p,od] =
ꢀ‑
[p,os]
。在此，w是鼻梁宽度，其中x
[p,od] = w/2且x
[p,os] =
ꢀ‑
w/2适用。因此，在对称情况下存在5个自由参数，这些自由参数可以用于配适参数化镜架模型。如上所说明的，取决于镜架，可能存在较少的自由度或可能通过特定的配适指南来限制自由度。
[0166]
为了将参数化镜架模型配适于头部的3d模型，可以以如下方式选择鼻托的平面：它们与鼻翼的平面相对应；即，通常用于鼻托的12元组对应于用于鼻翼的12元组。
[0167]
举例来说，作为限制，鼻梁或鼻托的位置可以被固定在镜架的局部坐标系中（即，值y
p
、z
p
是固定的），或者可以在θ和之间选择固定的且例如线性的关系，使得θ和不能彼此独立地进行选择。
[0168]
在一组减少的镜架参数的情况下，例如在前述对称情况下，可以使用平均数。举例来说，如果针对鼻翼的相应角度θ
[p,od]
和θ
[p,os]
不同，则可以使用平均值。如果角度之间的差大于阈值，则可以输出对在这种情况下产生不利的配戴特性的对称镜架形式的效果的警告。表示解剖学配适质量的质量度量可以用于评估配戴特性的不利程度。可以基于眼镜架距头部区域的前述距离来计算这种质量度量，其中，在具有不同权重的质量度量中可以包括不同的距离。
[0169]
取决于参数化镜架的类型，可以进一步减少自由参数的数量，例如减少到鼻子支撑部的区域中的两个参数，具体是鼻梁宽度和鼻梁角度参数。举例来说，关于鼻梁角度，在以下文章中说明了鼻梁角度：johannes eber，“anatomische brillenanpassung”，verlag optische fachver
ö
ffentlichung gmbh，1987年，第26页，图24。
[0170]
‑ꢀ
镜架的前倾角而且，镜架的前倾角（还被称为配戴前倾角）可以通过这些特征来计算或配适。在使用如上所说明的镜架特定的配适指南的示例性实施例中，已经可以在这种配适期间设置前倾角（图4中的步骤40）。然后可以在图12的步骤128中进一步调整前倾角。为此，计算镜架镜圈（例如，镜架镜圈下边界的后边缘、镜架的正面视图中的左下角或右下角）与前述脸颊表面之间的距离，脸颊表面可以由样条曲面表示。然后，以确保例如2 mm的预定最小距离的方式来修改前倾角。
[0171]
‑ꢀ
镜腿长度一旦已经设定了镜架在鼻子上的配适，例如通过上述鼻托，就在步骤128中计算镜腿的长度。为了设定镜架的镜腿长度（前提为这是参数化镜架模型的自由参数），使镜腿的前部搁靠点与耳根处的前述点一致。
[0172]
然后，在步骤129中，将在步骤128中计算的镜架参数应用于参数化镜架模型。在步骤1210中，然后是虚拟配戴和渲染，如参考图5中的步骤56所描述的。可选地，可以在步骤1211中进行进一步的优化，例如在开头提到的如us 2016/0327811 a1中所述的优化、或者如图5中的步骤57中所述的手动配适。然后，在步骤1212中转移到订购系统。还可以选择其他镜架参数，例如镜架中央部分的颜色、眼镜架的眼镜镜腿的颜色、眼镜架的铰链的材料和
颜色、眼镜架的眼镜镜腿上的雕刻物、设计元素、眼镜架的眼镜镜腿或中央部分的应用。然后，如开头所述，根据确定的参数，例如使用增材制造方法来制造订购的眼镜架。