用于表征样本中的颗粒的全息方法
1.本技术是分案申请，其原案申请是申请号为pct/fr2017/050672、申请日为2017年3月22日的pct申请并且于2018年9月21日进入中国国家阶段，国家申请号为201780019863.5，名称为“用于表征样本中的颗粒的全息方法”。
技术领域
2.本发明的技术领域涉及通过全息重建表征样本、特别是生物样本中存在的颗粒。


背景技术：

3.通过无透镜成像观察样本、特别是生物样本，在过去十年中得到了显著的进步。该技术允许在不将光学放大透镜设置在样本和图像传感器之间的情况下，通过将样本定位在光源和图像传感器之间来观察样本。因此，图像传感器收集由样本透射的光波的图像。
4.该图像、也称为全息图，是由光源发射并由样本透射的光波与样本对光源发射的光波衍射而产生的衍射波之间的干涉图案形成的。有时使用术语“衍射图案”来指代这些干涉图案。
5.文献wo2008090330描述了一种允许通过无透镜成像观察生物颗粒(在这种情况下为细胞)的装置。该装置使得可以将每个细胞与干涉图案相关联，该干涉图案的形态使得可以识别细胞的类型。因此，无透镜成像似乎是传统显微镜的简单且廉价的替代方案。而且，它的观察视野明显大于显微镜可能的观察视野。因此理解，与该技术相关的应用前景巨大。
6.专利申请wo2015011096描述了一种允许基于全息图估计细胞状态的方法。该申请使得例如可以将活细胞与死细胞辨别开。
7.出版物langehanenberg p.“autofocusing in digital holographic microscopy”，3d研究，第2卷，2011年3月1日，以及poher v.“lensfree in-line holographic detection of bacteria”，spie，第8086卷，2011年3月22，描述了用于基于数字聚焦算法的应用来定位颗粒的方法。出版物ning w.“three-dimensional identification of microorganisms using a digital holographic microscope”，医学中的计算与数学方法”，第220卷，第4598号，2013年1月1日，描述了一种允许基于应用于重建颗粒图像的三维滤波器识别颗粒的方法。
8.通常，可以通过全息重建算法处理由图像传感器获取的全息图，以便估计样本的光学性能，例如透射因子或相位。这种算法在全息重建领域中是众所周知的。为此，在已知样本和图像传感器之间的距离的情况下，考虑该距离以及由光源发射的光波的波长，应用传播算法。然后可以重建样本的光学性能的图像。特别地，重建图像可以是由样本透射的光波的复数图像，包括关于样本的光学吸收或相位变化性能的信息。全息重建算法的示例在出版物ryle等人的“digital in-line holography of biological specimens”，proc.of spie vol.6311(2006)中描述。
9.然而，全息重建算法可能导致重建图像中的重建噪声，(称为术语“孪生像”)。这主要是由于在图像传感器上形成的图像不包括与到达该传感器的光波的相位有关的信息。因
此，唯一基于在图像传感器上收集的光波的强度，基于部分光学信息生成全息重建。提高全息重建的质量是大量研究的目标，实施所谓的“相位复原”算法，使得可以估计图像传感器暴露于其的光波的相位。
10.申请us2012/0218379描述了例如允许重建样本的复数图像的方法，所述复数图像包括幅度和相位信息。这样的图像使得可以获得允许识别细胞的信息的某些类型。申请us2012/0148141应用申请us2012/0218379中描述的方法，来重建精子的复数图像并表征它们的移动性、它们的取向或某些几何参数，例如它们的鞭毛的大小。申请wo2014/012031还描述了用于重建细胞(在这种情况下细胞是精子)的复数图像的方法的应用。该文献还描述了对连续全息图的获取，每个全息图经受全息重建，以便获得对精子的轨迹的三维跟踪。
11.发明人已经认为使用通过基于全息图的全息重建获得的复数图像不允许充分表征样本，特别是当样本包括分散在培养基中的颗粒时。本发明允许解决该问题并且允许精确地表征颗粒，并且可以基于单个获取的图像来实施。


技术实现要素：

12.本发明的一个主题是一种用于表征样本中包含的颗粒的方法，包括以下步骤：
13.a)使用光源照射样本，光源发射沿着传播轴朝向样本传播的入射光波；
14.b)使用图像传感器获取在检测平面中形成的样本的图像，样本位于光源和图像传感器之间，每个图像表示在所述照射的作用下由样本透射的光波；
15.该方法的特征在于，它还包括以下步骤：
16.c)将传播算子应用于步骤b)中获取的图像，以便计算复数图像，称为参考图像，表示重建平面中的样本；
17.d)选择所述颗粒在平行于检测平面的平面中的径向位置；
18.e)根据步骤c)中计算的复数图像，在距检测平面或重建平面的多个距离处，确定由样本透射的光波的至少一个特征量；
19.f)形成表示在步骤e)中确定的特征量沿平行于传播轴的轴的变化并穿过步骤d)中选择的径向位置的分布图；
20.g)根据步骤f)中形成的分布图表征颗粒。
21.优选的，布置e)包括：
22.■
将传播算子应用于参考复数图像，以便计算距重建平面或检测平面的多个距离的所谓的二次复数图像；
23.■
根据二次复数图像，确定图像传感器暴露于其的光波的特征量、即在所述距离的每个距离处由样本透射的光波的特征量。
24.可以通过确定在步骤e)中计算的二次复数图像的模数或幅角来确定每个特征量。
25.词语“一个”或“一种”理解为意味着“至少一个”。
26.根据一个实施例，通过将步骤f)中形成的分布图与在学习阶段中确定的标准分布图进行比较来执行表征。该学习阶段包括通过使用标准样本代替待表征的样本来实施步骤a)至f)。
27.在步骤d)中，能够使用在步骤b)中获取的图像或使用在步骤c)中计算的参考复数图像来选择每个颗粒的径向位置。
28.根据一个实施例，在样本和图像传感器之间没有设置放大镜。
29.优选地，其中计算参考图像的重建平面是样本沿其延伸的平面，称为样本的平面。
30.光源可以是激光二极管或发光二极管。
31.根据一个实施例，在步骤c)中，计算参考复数图像包括以下子步骤：
32.i)根据图像传感器获取的图像，定义检测平面中的样本的初始图像；
33.ii)通过将传播算子应用于子步骤i)中定义的样本的初始图像或者由前一次迭代产生的检测平面中的样本的图像，确定样本在重建平面中的复数图像；
34.iii)根据子步骤ii)中确定的复数图像计算噪声指示符，优选地根据增函数或减函数噪声指示符，该噪声指示符取决于影响所述复数图像的重建噪声；
35.iv)通过调整所述图像的像素的相位值，更新样本在检测平面中的图像，根据子步骤iii)中根据所述相位值计算的指示符的变化进行调整；
36.v)重复子步骤ii)至iv)，直到达到收敛标准，使得获得样本在检测平面中或在重建平面中的复数参考图像。
37.根据一个实施例，子步骤iii)包括：
[0038]-对于各个像素，根据在子步骤ii)中针对所述像素确定的复数图像的值，或者针对所述像素确定的所述复数图像的维度导数的值，计算与每个像素相关联的量；
[0039]-组合利用各个像素计算的量，以获得噪声指示符。
[0040]
噪声指示符可以是根据与每个像素相关联的量计算的阶数小于或等于1的范数。噪声指示符对影响复数图像的重建噪声进行量化。
[0041]
与每个像素相关联的量可以根据子步骤ii)中针对所述像素确定的复数图像的维度导数的模数来计算。
[0042]
它可以根据复数图像的维度导数来获得，在图像的多个像素处，或者甚至在图像的每个像素处计算该导数。它还可以根据在图像的多个像素处或者甚至在图像的每个像素处的复数图像的值来获得。
[0043]
根据一个实施例，
[0044]-在子步骤i)中，通过由表示光源发射的光波的图像对图像传感器获取的图像进行归一化，来定义样本的初始图像；
[0045]-在子步骤iii)中，针对每个像素，根据从严格正数，例如数字1中减去在子步骤ii)中确定的复数图像的值，来计算与所述像素相关联的量。
[0046]
该方法可以包括单独或组合使用采用的以下特征中的任何一个：
[0047]-在子步骤iii)中，指示符是与子步骤ii)中确定的复数图像的每个像素相关联的量的和，可选地是加权和；
[0048]-在子步骤iv)中，通过形成称为相位矢量的矢量来调整每个像素的相位的值，矢量中的每一项对应于样本在检测平面中图像的像素的相位的值，在每次迭代中更新该矢量，以便基于根据所述相位矢量的每一项的噪声指示符的梯度，使子步骤iii)中计算的噪声指示符最小化或最大化。
[0049]
根据一个实施例，在步骤d)中，选择表示同一个颗粒的多个径向坐标，并且在步骤f)中，形成与所选择的坐标的数量相等的多个分布图。然后，步骤f)可以包括这些分布图的组合，例如这些分布图的平均值。
[0050]
颗粒可以是细胞、微生物、微珠、外泌体或乳液的液滴。它还可以是细胞核、细胞碎片或细胞器。术语“表征”理解为特别意味着：
[0051]-根据一个或更多个预定类别确定颗粒的性质，即对该颗粒分类；
[0052]-根据一个或更多个预定状态确定颗粒的状态；
[0053]-估计颗粒大小或其形状、其体积或任何其他几何参数；
[0054]-估计一种或更多种颗粒的光学性能，例如折射率或光学透射性能；
[0055]-根据它们的表征对所述颗粒计数。
[0056]
本发明的另一主题是一种用于观察样本的装置，包括：
[0057]-能够发射朝向样本传播的入射光波的光源；
[0058]-保持器，配置成将样本保持在所述光源和图像传感器之间；
[0059]-处理器，配置成接收由图像传感器获取的样本的图像，以及实施本技术中描述的方法，以及更特别的是上述步骤c)至f)或者c)至g)。
[0060]
从以下对本发明特定实施例的描述中，其它优点和特征将变得更加明显，这些描述通过非限制性示例给出并且在下面列出的附图中示出。
附图说明
[0061]
图1示出了根据本发明的示例性装置。
[0062]
图2a示出了允许计算样本在重建平面中的复数图像的方法的主要步骤。
[0063]
图2b、2c、2d、2e和2f分别示出：
[0064]-由图像传感器获取的全息图；
[0065]-在图2a中所示方法的第一次迭代中，在重建平面中重建的图像；
[0066]-示出与图2c中所示图像的每个像素相关联的量的图像；
[0067]-对图2a中所示方法的多次迭代之后重建的图像、称为参考复数图像的表示；
[0068]-基于由参考复数图像形成的二次复数图像获得的分布图。
[0069]
图3a和3b示意性地示出了分别在具有和不具有重建噪声的情况下，通过全息重建获得的复数图像的模数或相位的径向分布图。
[0070]
图4概括了实施本发明的方法的操作。
[0071]
图5a是由图像传感器获得的全息图，该样本包括分散在水溶液中的细胞。图5b和5c分别示出了形成在重建平面中的复数图像(称为参考图像)的模数和相位。图5d和5e是分别示出了沿着穿过第一细胞的传播轴，图像传感器暴露于其的光波的模数和相位的变化的分布图。图5f和5g是分别示出了沿着穿过第二细胞的传播轴，图像传感器暴露于其的光波的模数和相位的变化的分布图。图5h是观察的样本的显微镜图像。
[0072]
图6a是由图像传感器获得的全息图，该样本包括分散在水溶液中的红细胞。图6b和6c分别示出了形成在重建平面中的复数图像(称为参考图像)的模数和相位。图6d和6e是分别示出了沿着穿过红细胞的传播轴，图像传感器暴露于其的光波的模数和相位的变化的分布图。
[0073]
图7a是由图像传感器获得的全息图，该样本包括分散在水溶液中的红细胞。图7b和7c分别示出了形成在重建平面中的复数图像(称为参考图像)的模数和相位。图7d和7e是分别示出了沿着穿过红细胞的传播轴，图像传感器暴露于其的光波的模数和相位的变化的
分布图。
[0074]
图8a是由图像传感器获得的全息图，该样本是包括分散在水溶液中的油滴的乳液。图8b和8c分别示出了形成在重建平面中的复数图像(称为参考图像)的模数和相位。图8d和8f是分别示出了沿着穿过液滴的传播轴，图像传感器暴露于其的光波的模数和相位的变化的分布图，这些分布图直接根据通过将传播算子应用于图8a的全息图而计算的二次复数图像获得。图8e和8g是分别示出了沿着穿过液滴的传播轴，图像传感器暴露于其的光波的模数和相位的变化的分布图，这些分布图是根据通过将传播算子应用于参考复数图像而计算的二次复数图像获得的，二次复数图像模数和相位如图8b和8c中所示。
[0075]
图9a示出了悬浮在液体中的各种体积的乳胶珠的复数图像。图9b和9c分别示出了通过图9a中所示的珠的复数幅度的模数和相位的分布图。图9d示出了悬浮在液体中的各种体积的乳胶珠的复数图像。图9e和9f分别示出了通过图9d中所示的珠的复数幅度的模数和相位的分布图。
具体实施方式
[0076]
图1示出了根据本发明的示例性装置。光源11能够发射称为入射光波的光波12，光波12沿着传播轴z在样本10的方向上传播。以包括波长λ的光谱带δλ发射光波。该波长可以是所述光谱带的中心波长。
[0077]
样本10是期望表征的样本。它尤其可以是包括颗粒10b的培养基10a。颗粒10b可以是血液颗粒，例如红细胞。它们还可以是细胞、寄生虫、微生物，例如细菌或酵母菌、微藻、微珠，或液体培养基中的不溶性液滴，例如脂质纳米颗粒。它们还可以是细胞核、细胞器或细胞碎片。优选地，颗粒10b具有小于1mm且优选小于100μm的直径，或，内切在小于1mm且优选小于100μm的直径内。它们是微米颗粒(直径小于1mm)或纳米颗粒(直径小于1μm)。其中颗粒悬浮的培养基10a可以是液体培养基，例如体液，培养物培养基或取自环境或工业过程的液体。它可以是固体培养基或在稠度上是凝胶状，例如适于细菌菌落的生长的琼脂状基物。它也可以是脱水的、凝固的或冷冻的样本。
[0078]
在该示例中，样本10包含在流体室15内。流体室15例如是通常用于护理点装置中的微量吸收池，样本20例如通过毛细作用渗入流体室15中。沿着传播轴，样本10的厚度e通常在10μm和1cm之间变化，并且优选地在20μm和500μm之间，例如150μm。
[0079]
样本沿着垂直于传播轴的平面p
10
(称为样本平面)延伸。它保持在保持器10s上。
[0080]
光源11和样本10之间的距离d优选大于1cm。它优选地在2到30cm之间。优选地，由样本看到的光源可以被认为是点状的。这意味着其直径(或其对角线)优选小于样本和光源之间距离的十分之一，且更好是百分之一。因此，光优选地以平面波或可以被认为是平面波的形式到达样本。
[0081]
光源11可以是激光二极管或发光二极管。它可以与隔膜18或空间滤波器相关联。隔膜的孔通常在5μm和1mm之间，并且优选在50μm和500μm之间。在该示例中，隔膜由thorlabs提供，参考号为p150s，并且其直径为150μm。隔膜可以由光纤代替，光纤的第一端部面向光源11设置，并且光纤的第二端部面向样本10设置。
[0082]
该装置可以包括设置在光源11和隔膜18之间的散射体17。使用这样的散射体使得可以避免使光源11相对于隔膜18的孔居中的限制。这种散射体的功能是以锥角α来分布由
基本光源11i(1≤i≤3)产生的光束。优选地，散射角α在10
°
和80
°
之间变化。
[0083]
优选地，入射光波12的光谱发射带δλ的宽度小于100nm。术语“光谱带宽”应理解为指所述光谱带的半峰全宽。
[0084]
样本10设置在光源11和图像传感器16之间。图像传感器16优选平行于或基本上平行于样本沿着其延伸的平面延伸。术语“基本上平行”意味着两个元件可能不是严格平行的，几度的角度公差，小于20
°
或10
°
是可接受的。
[0085]
图像传感器16能够在检测平面p0中形成图像。在所示的示例中，这是包括ccd类型或cmos的像素的矩阵阵列的图像传感器。cmos传感器是优选的，因为像素的尺寸较小，这允许获取其空间分辨率更有利的图像。检测平面p0优选地垂直于入射光波12的传播轴z延伸。
[0086]
样本10与图像传感器16的像素的矩阵阵列之间的距离d优选地在50μm和2cm之间，优选地在100μm和2mm之间。
[0087]
将注意到图像传感器16和样本10之间不存在放大镜。这并不排除在图像传感器16的每个像素处可能存在聚焦微透镜，这些微透镜不具有用于放大由图像传感器获取的图像的功能。
[0088]
在入射光波12的作用下，样本10可以产生衍射波，该衍射波在检测平面p0中易于产生干涉，特别是与样本透射的入射光波12的一部分的干涉。此外，样本可以吸收入射光波12的一部分。因此，由样本透射的并且图像传感器20暴露于其的光波22可以包括：
[0089]-由样本对入射光波12的衍射产生的分量；
[0090]-由样本对入射光波12的吸收产生的分量。该分量对应于入射光波12未被样本吸收的一部分。
[0091]
光波22也可以称为术语“曝光光波”。处理器20(例如微处理器)能够处理由图像传感器16获取的每个图像。特别地，处理器是链接到可编程存储器22的微处理器，可编程存储器22中存储有用于执行本说明书中描述的图像处理和计算操作的指令序列。处理器可以耦接到屏幕24，以允许显示由图像传感器16获取的或由处理器20计算的图像。
[0092]
在图像传感器16上获取的图像、也称为全息图不允许获得足够精确的对观察的样本的表示。如结合现有技术所描述的，可以对由图像传感器获取的每个图像应用传播算子h，以便计算表示由样本10透射的并且图像传感器16暴露于其的光波22的量。这种称为术语“全息重建”的方法使得尤其可以在平行于检测平面p0的重建平面中，且特别是在样本沿着其延伸的平面p
10
中，重建该光波22的模数或相位的图像。为了实现此，确定通过传播算子h由图像传感器16获取的图像i0的卷积。然后可以在任何空间坐标点(x，y，z)处，且特别是在位于距图像传感器16的距离|z|处的重建平面pz中，重建用于光波22的复数表达式a，该重建平面可能是样本的平面p
10
。复数表达式a是复数量，其辐角和模数分别表示图像传感器16暴露于其的光波22的相位和强度。通过传播算子h对图像i0的卷积使得可以获得表示复数表达式a在平面(称为重建平面pz)中的空间分布的复数图像az，该平面延伸到检测平面p0的坐标z。在该示例中，对于检测平面p0的等式是z＝0。该复数图像对应于样本在重建平面pz中的复数图像。它还表示图像传感器16暴露于其的波22的光学性能的二维空间分布。
[0093]
传播算子h的作用是描述光在图像传感器16和位于距图像传感器16的距离|z|处的坐标点(x，y，z)之间的传播。然后可以确定在该距离|z|(称为重建距离)处的光波22的模数m(x，y，z)和/或相位其中：
[0094]-m(x，y，z)＝abs[a(x，y，z)](1)
[0095][0096]
算子abs和arg分别表示模数和辐角。
[0097]
换句话说，对于空间中的任何坐标点(x，y，z)处的光波22的复数表达式a使得：
[0098]
通过将传播算子应用于全息图来获得样本的复数图像az的实践在现有技术中是已知的，特别是为了如结合现有技术提供的参考文献所证明的颗粒表征的目的。
[0099]
然而，发明人已经认为样本、包括颗粒的复数图像不允许进行对所述颗粒足够可靠的表征。本发明的重点是，颗粒不由复数图像表征，而由光波22沿其传播轴z的光学特征的分布图表征。术语“分布图”理解为指量沿轴且特别是沿传播轴的变化，在这种情况下，是所谈到的沿轴z的分布图。光学特征可以是相位、幅度或相位和幅度的组合。通常，从如上定义的复数表达式a获得光学特征。
[0100]
然而，由于基于不包括与相位有关的信息的全息图i0进行传播这一事实，因此这种重建可能伴随着重建噪声，这可能是重要的。因此，在建立分布图之前，优选地获得与图像传感器16暴露于其的光波22的相位有关的信息。该相位相关信息可以通过使用现有技术中描述的方法重建样本10的复数图像az来获得，以便获得对图像传感器的平面p0中或位于距该平面的距离|z|处的重建平面pz中的光波22的幅度和相位的估计。然而，发明人已经开发了一种基于对参考复数图像计算的方法，参考图2a描述该方法。该方法包括以下阶段：
[0101]-利用图像传感器16获取图像i0，该图像形成全息图(步骤100)。
[0102]-计算样本10在重建平面pz中或检测平面p0中称为参考图像a
ref
的复数图像，该参考复数图像包括关于图像传感器16暴露于其的光波22的相位和幅度的信息；通过将上述传播算子h应用于所获取的图像i0来执行该步骤(步骤110至170)。之所以该图像称为参考图像，是因为分布图的形成是基于此的，基于分布图的形成表征颗粒。
[0103]-使用参考复数图像或全息图选择颗粒在检测平面中的径向位置(x，y)(步骤180)。
[0104]-将传播算子h应用于参考复数图像a
ref
，以便计算沿传播轴z称为二次图像的复数图像a
ref，z
(步骤185)。
[0105]-在预先选择的颗粒的径向位置(x，y)处，并且在距重建平面(或距检测平面)的多个距离处，基于每个二次复数图像a
ref，z
，估计光波22的特征量，并且然后，形成表示所述特征量沿着传播轴z的变化的分布图(步骤190)。
[0106]-根据此分布图表征颗粒。可以将获得的分布图与在校准阶段中通过使用标准样本获得的标准分布图进行比较来实现该表征。表征可以基于允许在获得的分布图和标准分布图之间进行比较的度量，或者根据与标准分布图相关联的类别对所获得的分布图进行分类(步骤200)。
[0107]
下面详述图2a中呈现的算法，在图2b至2f中示出了在某些步骤中获得的结果。步骤110至170是获得由a
ref
表示的参考复数图像的优选方式，该图像表示重建平面pz中波22的复数表达式的空间分布。本领域技术人员将理解，也能够设想允许重建这种复数图像的其他算法，例如参考现有技术提到的算法，例如us2012/0218379第10至12页中描述的算法。
[0108]
步骤100：图像获取
[0109]
在该步骤中，图像传感器16获取样本16的且更准确地由后者透射的光波22的图像i0，图像传感器暴露于该光波。在图2b中示出这种图像或全息图。
[0110]
使用包括浸没在生理盐水缓冲液中的中国仓鼠卵巢(cho)细胞的样本10生成该图像，该样本包含在100μm厚的流体室中，该流体室设置在距cmos传感器1500μm的距离d处。用发光二极管11照射样本，发光二极管11的光谱发射带以450nm的波长为中心，并且位于距样本d＝8cm的距离处。
[0111]
步骤110：初始化
[0112]
在该步骤中，从由图像传感器16获取的图像i0定义样本的初始图像该步骤是下面参考步骤120到180描述的迭代算法的初始化，指数k指每次迭代的等级。在这种情况下可以通过将平方根算子应用于由图像传感器获取的图像i0来获得初始图像的模数还可以通过用表示入射在样本16上的光波12的强度的项对图像i0归一化来获得。后者可以是：
[0113]-图像i0的均值的平方根，在这种情况下，所获取图像的每个像素i0(x，y)除以所述均值，使得
[0114]-在光源11和图像传感器之间没有样本时，由图像传感器16获取的无样本图像i
12
，在这种情况下，所获取的样本的图像的每个像素i0(x，y)的值除以无样本图像的每个像素i
12
(x，y)的值：
[0115]-所述无样本图像的均值在这种情况下，所获取的图像的每个像素i0(x，y)除以所述均值：
[0116]
初始图像的相位在每个像素(x，y)中认为是零，或者预设为任意值。特别地，初始图像结果直接来自由图像传感器16获取的图像i0。然而，后者不包括与样本10透射的光波22的相位有关的信息，图像传感器16仅对该光波的强度敏感。
[0117]
步骤120：传播
[0118]
在该步骤中，通过应用如上所述的传播算子，将在样本的平面中获得的图像传播到重建平面pz，以便在重建平面pz中获得表示样本的复数图像术语“复数图像”指针对该图像的每一项是复数量的事实。通过使用传播算子h-z
对图像进行卷积来执行传播，使得：
[0119][0120]
符号*表示卷积。指数-z表示传播是在与传播轴z的方向相对的方向上进行的，就是所谓的反向传播。
[0121]
传播算子例如是菲涅耳-亥姆霍兹函数，使得：
[0122][0123]
卷积通常在频域中执行，或者简化为乘积，在这种情况下使用该算子的傅立叶变换，后者为：
[0124][0125]
其中，λ表示光源11的光谱发射带的中心波长。
[0126]
因此，
[0127]
其中，r和r’分别表示径向坐标，即在重建平面pz中和在检测平面p0中的径向坐标。
[0128]
在第一次迭代(k＝1)中，是在步骤110中确定的初始图像。在接下来的迭代中，是在前一次迭代中更新的检测平面p0中的复数图像。
[0129]
重建平面pz是远离检测平面p0的平面，并且优选地与检测平面平行。优选地，重建平面pz是样本10所在的平面p
10
。特别地，在该平面中重建的图像允许获得通常高的空间分辨率。它也可以是位于距检测平面非零距离处的另一个平面，并且优选地平行于检测平面，例如位于图像传感器16和样本10之间的平面。
[0130]
图2c示出了通过将上面定义的传播算子应用于图2b的全息图，而在距检测平面p01440μm的距离处重建的图像的模数。该图像是在第一次迭代中建立的、重建平面中的复数图像。
[0131]
步骤130：计算复数图像的多个像素中的量
[0132]
在该步骤中，优选地在这些像素中的每一个中，计算与复数图像的多个像素(x，y)中的每个像素相关联的量∈k(x，y)。该量取决于图像的值或其模数，在计算该值的像素(x，y)处。它还可以取决于图像在该像素处的维度导数，例如该图像的维度导数的模数。
[0133]
在该示例中，与每个像素(x，y)相关联的量基于维度导数的模数，使得：
[0134][0135]
由于图像被离散成像素，因此导数算子可以由sobel算子替换，例如：
[0136][0137]
其中：
[0138]-()
*
是复共轭算子；
[0139]-s
x
和sy是沿着重建平面pz的两个正交轴x和y的sobel算子。
[0140]
在该例子中，且sy是s
x
的转置矩阵。
[0141]
图2d以图像的形式示出了图2c中所示的图像的每个像素中的量εk(x，y)的值。
[0142]
步骤140：建立与图像相关联的噪声指示符。
[0143]
在步骤130中，在复数图像的多个像素中计算量εk(x，y)。这些量可以形成矢量ek，矢量ek的项是与每个像素(x，y)相关联的量εk(x，y)。
[0144]
在该步骤中，根据矢量ek的范数计算称为噪声指示符的指示符。通常，阶与范数相关联，使得坐标为(x1，x2，
…
xn，)的n维矢量x的p阶范数||x||
p
使得：
[0145]
其中p≥0。(12)
[0146]
在本情况中，使用1阶范数，换句话说，p＝1。特别地，发明人已经估计，1阶或者阶数小于或等于1的范数特别适合于该算法，原因在下面结合图3a和3b解释。
[0147]
在该步骤中，对在复数图像的每个像素(x，y)处根据复数图像计算的量εk(x，y)求和，以便形成与复数图像相关联的噪声指示符εk。
[0148]
因此，εk＝∑
(x，y)
εk(x，y)(15)
[0149]
该噪声指示符εk对应于复数图像中的总变化的范数。
[0150]
参考图2d的示例，在第一次迭代中，通过对该图像的像素的值求和来获得噪声指示符ε
k＝1
。
[0151]
作为1阶范数的替代方案，也可以设想量εk(x，y)的加权求和或另一算法组合。
[0152]
因为使用1阶或者阶数小于或等于1的范数，所以随着复数图像变得越来越表示样本，则噪声指示符εk的值减小。特别地，在第一次迭代中，很难估计图像的每个像素(x，y)中的相位的值。然后，如关于现有技术所提到的，样本的图像从检测平面p0到重建平面pz的传播伴随有实质的重建噪声。该重建噪声采用重建图像中的波动的形式。由于这些波动，随着重建图像中重建噪声的贡献增加，如以上定义的噪声指示符εk的值增加。特别地，由于重建噪声引起的波动倾向于增加该指示符的值。
[0153]
图3a和3b示意性地示出了重建图像的模数(或相位)的径向分布图，分别受到大量和少量的重建噪声的影响。这里考虑在透明均匀培养基10a中的包括颗粒10b的分散体的样本。示意性分布图包括两个实质波动，每个波动表示颗粒10b。图3a的分布图还包括较小幅度和高频率的波动，它们表示重建噪声。如上所定义地，图3a中的噪声指示符εk比图3b中的大。使用基于大于1阶的范数的指示符εk也可以是合适的，但是这种范数倾向于使表示重建噪声的低幅度波动相对于表示样本的大波动衰减。相反，1阶或者小于1阶的范数不会使小波动相对于大波动衰减。为了这个原因，发明人更喜欢基于1阶或小于1阶的范数重建噪声指示符εk。
[0154]
该步骤的重要方面在于在检测平面p0中确定样本的图像的每个像素的相位值
这允许在接下来的迭代中获得其指示符ε
k+1
低于指示符εk的重建图像
[0155]
在第一次迭代中，如上所解释地，仅具有用于光波22的强度的相关信息，而没有其相位的相关信息。因为缺少关于检测平面p0中的光波22的相位的相关信息，因此，在重建平面pz中重建的第一图像受到大量重建噪声的影响。因此，指示符ε
k＝1
是高的。在接下来的迭代中，算法对检测平面p0中的相位进行逐渐调整，以逐渐最小化指示符εk。
[0156]
从光波22的强度和光波22相位的角度看，检测平面中的图像表示检测平向p0中的光波22。步骤120至160旨在迭代地为图像的每个像素建立使指示符εk最小化的相位的值，该指示符是通过将图像传播到重建平面pz而从获得的图像获得的。
[0157]
最小化算法可以是梯度下降算法，或者是共轭梯度下降算法，在下面描述共轭梯度下降算法。
[0158]
步骤150：调整检测平面中的相位的值。
[0159]
步骤150旨在确定复数图像的每个像素的相位的值，以便在接下来的迭代k+1中最小化由复数图像传播到重建平面pz而产生的指示符ε
k+1
。
[0160]
为此，建立相位矢量该相位矢量的每一项是复数图像的像素(x，y)的相位该矢量的维度是(n
pix
，1)，其中，n
pix
是所讨论的像素的数量。使用以下更新表达式在每次迭代中更新该矢量：
[0161]
其中：
[0162]-αk是标量值，称为“步长”，表示距离；
[0163]-pk是维度(n
pix
，1)的方向矢量，其中的每一项p(x，y)形成指示符εk的梯度的方向。
[0164]
该等式可以以矢量形式如下表示：
[0165][0166]
可以示出：
[0167][0168]
其中：
[0169]
是维度(n
pix
，1)的梯度矢量，其中的每一项表示指示符εk随自由度中的每个的变化，自由度形成问题的未知数，即矢量的项；
[0170]-p
k-1
是在前一次迭代中建立的方向矢量；
[0171]-βk是应用于方向矢量p
k-1
的比例因子。
[0172]
梯度矢量的每一项使得
[0173][0174]
其中，im是返回操作数的虚部的操作符，并且r’是检测平面中的坐标(x，y)。
[0175]
比例因子βk是标量值，可以表示为使得：
[0176]
其中.表示标量积。
[0177]
步长αk可以根据迭代而变化，例如从第一次迭代中的0.03到最后一次迭代中的0.0005。
[0178]
更新方程允许对待获得的矢量进行调整，这导致复数图像的每个像素中的相位的迭代更新。然后，利用与每个像素相关联的相位的这些新值来更新检测平面中的该复数图像应注意，不修改复数图像的模数，根据由图像传感器获取的图像确定该复数图像，使得
[0179]
步骤160：重复或退出算法。
[0180]
如果尚未达到收敛标准，则步骤160包括基于步骤150中更新的复数图像利用步骤120至160的新迭代重复该算法。
[0181]
收敛标准可以是预设的迭代次数k，或指示符的梯度的最小值，或在两个连续的相位矢量之间被认为可忽略的差异。当达到收敛标准时，该估计被认为是在检测平面p0或在重建平面pz中样本的复数图像的正确估计。
[0182]
步骤170：获得参考复数图像。
[0183]
在最后一次迭代结束时，该方法可以包括将从最后一次迭代得到的复数图像传播到重建平面pz，以便获得参考复数图像可替代地，参考复数图像a
ref
是由检测平面p0中的最后一次迭代产生的复数图像然而当颗粒的密度高时，该替代方案不太有利，因为检测平面p0中的空间分辨率低于重建平面pz中的空间分辨率，特别是当重建平面pz对应于样本所在的平面p
10
时。
[0184]
图2e示出了在30次迭代之后在重建平面pz中获得的参考复数图像的每个像素的模数的图像。可以将该图像与图2c比较，示出在第一次迭代中获得的类似图像观察到重建噪声的明显降低，特别是在每个颗粒之间。此外，该图像的空间分辨率允许改进每个颗粒的径向坐标(x，y)的识别。这些结论还涉及参考图像的每个像素的相位图像
[0185]
步骤180：选择颗粒径向坐标。
[0186]
在该步骤中，颗粒的径向坐标(x，y)选自参考图像例如选自其模数的图像或选自其相位的图像。如上所述，表达式径向坐标指定检测平面或重建平面中的坐标。还可设想基于全息图i0或基于在最后一次迭代之后在检测平面中获得的复数图像来执行该选择。然而，当颗粒的数量增加时，优选对在重建平面中形成的图像进行该选择，是因为特别是当重建平面pz对应于样本p
10
的平面时，其更好的空间分辨率。
[0187]
在图2e中，已经示出了对由点线框环绕的颗粒的选择。
[0188]
步骤185：应用传播算子
[0189]
在该步骤185中，使用如上定义的传播算子h，将参考复数图像a
ref
传播到多个重建距离，以便获得在距检测平面p0或者距重建平面pz的各个距离处重建的多个所谓的二次复数图像a
ref，z
。因此，该步骤包括确定多个复数图像a
ref，z
，使得：
[0190]aref，z
＝a
ref
*hz(20)，其中，z
min
≤z≤z
max
。
[0191]
值z
min
和z
max
是参考复数图像被传播到、沿着轴z的最小和最大坐标。优选地，在样本10和图像传感器16之间的多个坐标z处重建复数图像。复数图像可以形成在样本10的任一侧。
[0192]
通过简单地将全息重建算子h应用于参考图像a
ref
来建立这些二次复数图像。该参考图像是在步骤120到160的迭代之后，正确描述图像传感器暴露于其的光波22、且特别是其相位的复数图像。因此，二次图像a
ref，z
形成了光波22沿传播轴z的传播的良好描述符。它们非常简单地从参考复数图像获得。因此，可以容易地从参考复数图像获得多个重建的图像，并且这能够快速完成，因为传播算子直接应用于参考复数图像是需要很少花费时间的操作。
[0193]
步骤190：形成分布图
[0194]
在该步骤中，从每个二次复数图像a
ref，z
中，确定光波22的特征量，以便定义表示沿着传播轴z的所述特征量的变化的分布图。特征量可以是：
[0195]-模数，在这种情况下，分布图由在先前选择的径向位置(x，y)处的每个二次复数图像a
ref，z
(x，y)的模数m
ref，z
(x，y)形成。然后获得分布图m(z)；
[0196]-相位，在这种情况下，分布图由在先前选择的径向位置(x，y)处的每个二次复数图像a
ref，z
(x，y)的相位形成。然后获得分布图
[0197]-每个图像的模数和相位的组合，例如以比率的形式。然后获得分布图k(z)。
[0198]
图2f示出了光波22沿传播轴z的相位变化。
[0199]
步骤200：表征
[0200]
然后可以根据前一步骤中形成的分布图表征颗粒。优选地，存在使用已知标准样本在学习阶段形成的标准分布图的可用的数据库。然后通过比较或分类基于标准分布图形成的分布图来进行表征。
[0201]
在已经给出的示例中，在步骤130中实施的与每个像素相关联的量εk(x，y)基于图像的每个像素(x，y)中的维度导数。根据一个变型，如上所述，通过标量值或表示入射波12的图像对初始图像进行归一化。以这种方式，在每个像素中，样本的图像在检测平面中或在重建平面中的模数小于或等于1。在步骤130中，与每个像素相关联的量εk(x，y)是图像在每个像素处与值1的差异的模数。可以使用以下表达式获得这样的量：
[0202][0203]
并且，在步骤140中，εk＝∑
(x，y)
εk(x，y)(21)，其以非离散形式对应于
r表示重建平面中的径向坐标。
[0204]
噪声指示符再次是矢量ek的1阶范数，其中每一项是在每个像素中计算的模数εk(x，y)。
[0205]
可以示出，该噪声指示符εk关于相位矢量的梯度使得：
[0206][0207]r′
表示检测平面中的径向坐标。
[0208]
与上面结合表达式(15)描述的总变化类型的范数类似，这种指示符的使用适合于包括分散在均匀培养基10a中的颗粒10b的样本。在梯度下降算法中，该指示符倾向于将具有不等于1的模数的像素的数量减少到样本的图像中的离散分布区域，这些区域对应于样本的颗粒10b。
[0209]
根据另一变型，在步骤130中，范数使得：
[0210][0211]
并且，在步骤140中，εk＝1/2∑
(x，y)
(εk(x，y))2(26)，其以非离散形式，对应于
[0212]
与前述实施例类似，步骤130包括基于复数图像的模数计算与每个像素相关联的量εk(x，y)，然后基于范数计算与复数图像相关联的噪声指示符。根据该变型，范数是2阶的。
[0213]
可以示出，该指示符关于相位矢量的梯度使得：
[0214][0215]
根据另一变型，在步骤130中，与每个像素相关联的量使得：
[0216][0217]
并且，在步骤140中，εk＝∑
(x，y)
εk(x，y)(31)，其以非离散形式对应于与每个像素相关联的量与先前的变型相同(参考等式(25))，但是与图像相关联的噪声指示符是根据1阶范数计算的。
[0218]
根据另一变型，在步骤130中，与每个像素相关联的量使得：
[0219][0220]
并且，在步骤140中，εk＝∑
(x，y)
εk(x，y)(36)，其以非离散形式对应于
[0221]
因此，不管实施例如何，可以通过以下获得与复数图像相关联的噪声指示符εk：
[0222]-基于复数图像的值、复数图像的模数或者复数图像的维度导数计算图像的多个像素中的量；
[0223]-以范数且优选地阶数小于1的范数的形式组合所述量。
[0224]
图4概括了上述算法的主要步骤：根据由图像传感器16获取的图像i0中，形成初始图像在每次迭代k中，通过对表示检测平面p0中的光波22的图像数字传播来建立表示重建平面pz中的光波22的复数图像噪声指示符εk与图像相关联。根据光波22的相位计算其在检测平面p0中梯度基于此更新检测平面中的光波22的所述相位。该更新使得可以在检测平面p0中形成新的复数图像基于该新的复数图像可以执行新的迭代。在达到收敛标准之后，获得参考图像a
ref
，在该示例中，该参考图像是通过对在样本p
10
的平面中、在最后一次迭代中获得的图像传播而得到的图像(步骤170)。该参考图像使得可以选择待检查的颗粒的径向位置(x，y)(步骤180)。对其应用传播算子h，以便沿着传播轴z在多个坐标处形成多个二次复数图像a
ref，z
(步骤185)。基于所选择的径向位置处的各个二次图像a
ref，z
的值，获得光波22沿着传播轴的特征量的分布图(步骤190)。
[0225]
在上述实施例中，指示符εk描述了随重建噪声而增加的函数。换句话说，重建噪声量越大，指示符εk越大。因此，优化算法倾向于使该指示符最小化，特别是基于其梯度当然，可以使用描述随着重建噪声而减小的函数的指示符来应用本发明，随着重建噪声增加，指示符变得更小。然后，优化算法倾向于使该指示符最大化，特别是基于其梯度。通常，噪声指示符优选地遵循复数图像中的重建噪声的累积幅度的单调函数。
[0226]
使用总变化的范数，对浸入cd cho培养基(thermo fisher)中的cho(中国仓鼠卵巢)细胞实施本发明。样本设置在100μm厚的流体室中并定位在距发光二极管8cm的距离处，其光谱带以450nm为中心。将样本放置在距2748
×
3840像素的cmos图像传感器1500μm的距离处。空间滤波器18的孔具有150μm的直径。
[0227]
图5a示出了由图像传感器16获取的图像i0。在样本的平面p
10
中，参考复数图像a
ref
的模量和相位的图像分别在图5b和5c中示出。这些图像是在100次迭代中获得的。每个细胞的灰度表示的均匀性证明了重建的量。将如上所述的传播算子h应用于该参考图像，以便获得沿传播轴z的多个二次复数图像a
ref，z
。此外，在参考图像的模数的图像或相位的图像中，识别出两个细胞，在图5b和5c中分别由黑色虚线轮廓(细胞10b-1)和黑色点线轮廓围绕(细胞10b-2)。提取这两个细胞的径向坐标(x，y)。对于每个细胞，形成表示到达图像传感器16的光波22的模数的分布图m(z)和表示到达图像传感器16的光波22的相位的分布图通过确定相应二次复数图像a
ref，z
在所述径向坐标(x，y)处的模数和相位来获得分布图的每个点的值。
[0228]
图5d和5e分别示出了细胞10b-1的模数和相位的分布图。图5f和5g分别示出了细胞10b-2的模数和相位的分布图。在坐标z
min
＝552μm和z
max
＝2152μm之间确定每个分布图，其中，在z方向上的步长为40μm。重建平面位于距检测平面1352μm处。
[0229]
此外，在这些重建之后，用台盼蓝(trypan blue)处理细胞，然后使用显微镜在10x放大倍数下观察细胞。台盼蓝是通常用于确定细胞活力的染料。在图5h中示出获得的图像。细胞10b-1是活细胞，而细胞10b-2似乎是死细胞。
[0230]
图5d和5e的模数或相位的分布图可以被认为表示活cho细胞，而图5f和5g可以被认为表示死cho细胞。可以基于这样的分布图来表征cho细胞。
[0231]
在图6a至6e中呈现另一个示例。在这些实施例中，样本包括在水溶液中稀释的红细胞，水溶液包括稀释至1/400的磷酸盐缓冲生理盐水(pbs)缓冲液。将样本10设置在100μm厚的流体室15中，该室设置在距上述发光二极管8cm的距离处，该发光二极管的光谱带以450nm为中心。将样本放置在距上述cmos图像传感器1.5mm的距离处。空间滤波器18的孔的尺寸为150μm。
[0232]
图6a示出了由图像传感器获取的图像i0。在图6b和6c中分别示出了在样本的平面p
10
中、重建复数图像的模数和相位的图像。这些图像是在8次迭代中获得的。
[0233]
该图像形成了参考图像a
ref
，对参考图像a
ref
应用如上所述的传播算子h，以便获得沿着传播轴z的多个二次复数图像a
ref，z
。此外，在参考图像的模数的图像或相位的图像中，识别出红细胞，这些图像的每一个中，红细胞被点线包围。提取该红细胞的径向坐标(x，y)。根据二次图像a
ref，z
，形成表示到达图像传感器16的光波22的模数的分布图m(z)和表示到达图像传感器16的光波22的相位的分布图通过确定相应二次图像在所述径向坐标处的模数和相位来获得分布图的每个点的值。图6d和6e分别示出了如此选择的红细胞的模数和相位的分布图。在坐标z
min
＝1000μm和z
max
＝2000μm之间确定分布图，其中，在z方向上的步长为5μm。重建平面位于距检测平面1380μm处，这对应于图6d和6e中的横坐标76。
[0234]
基于图7a中所示的另一全息图i0重复该测试。图7b和7c分别示出了在八次迭代之后在样本的平面p
10
中重建的复数图像的模数和相位的图像。从这些图像中复原红细胞的径向坐标(x，y)。复数图像沿着传播轴z在各个坐标处传播，以便获得相同数量的二次图像a
ref，z
，从这些二次图像中，形成表示到达图像传感器16的光波22的模数(图7d)的分布图m(z)和表示到达图像传感器16的光波22的相位(图7e)的分布图
[0235]
图8a示出了由图像传感器获取的图像i0，观察到的样本是由折射率匹配的油的液滴形成的、悬浮在pbs(磷酸盐缓冲生理盐水)缓冲液中的乳液，其折射率等于1.38(由cargille实验室生产的参考系列aaa n＝1.3800
±
0.0002)。这些图像中所示的液滴的大小在5至9μm之间。将样本置于具有100μm的厚度的流体室15中，距直径为150μm的空间滤光器8cm，空间滤光器设置在发光二极管的下游，该发光二极管以450nm为中心的光谱带发光。样本和检测器之间的距离为1.5mm。基于样本的平面p
10
中的全息图i0，重建的复数图像的模数和相位的图像分别在图8b和8c中示出。这些图像是在八次迭代中获得的。在这些图像中的每一个中，识别出由点线轮廓围绕的液滴。复原此液滴的径向坐标(x，y)。形成表示穿过液滴到达图像传感器16的光波22的模数的分布图m(z)和表示穿过液滴到达图像传感器16的光波22的相位的分布图通过确定相应二次图像在所述径向坐标处的模数和
相位来获得分布图的每个点的值。图8e和8g分别示出了到达图像传感器16的光波22的模数和相位的分布图。
[0236]
此外，由图像传感器获取的图像i0，即全息图，用作参考复数图像。该图像沿多个坐标z经历数字传播，以获得二次复数图像，从该二次复数图中获得每个二次复数图像的模数和相位的分布图。图8d和8f分别显示了由此获得的模数和相位的分布图。
[0237]
在坐标z
min
＝1000μm和z
max
＝2000μm之间确定分布图，其中，在z方向上的步长为5μm。重建平面位于距检测平面1380μm处，这对应于图8d到8g中的横坐标76。
[0238]
因此，图8d和8f是通过将传播算子h直接应用于由检测器16获取的全息图i0而获得的分布图，而图8e和8g是通过将传播算子应用于基于所述全息图i0实施上述方法的参考复数图像a
ref
而获得的分布图。可以看出，基于参考图像的传播形成的分布图(图8e和8g)表现出比基于全息图的传播所获得的分布图更大的动态范围(图8d和8f)，基于全息图的传播所获得的分布图不存在与相位相关的信息。
[0239]
颗粒的表征还可以允许估计其体积，这对于球形颗粒尤其如此。图9a示出了从包括悬浮在磷酸盐缓冲生理盐水(pbs)中的直径为3μm和5μm的乳胶珠的样本获得的参考复数图像的模数。乳胶珠是duke在参考号4205a(直径为5μm)和4203a(直径为3μm)下供应的珠。样本包括19个3μm珠和55个5μm珠。样本是为100微米厚。在如上定义的、以450nm为中心的蓝色光谱带中照射样本。对于每个颗粒，将传播算子应用于参考复数图像，以便获得多个重建图像。接下来，确定每个复数图像的模数和相位的分布图，如图9a中所示，该分布图通过每个颗粒的中心。图9b和9c分别示出了对于各个颗粒获得的模数和相位的分布图。以黑色和灰色框起来的分布图分别对应于直径为5μm和3μm的珠。可以看出，分布图形成每个珠的体积的特征。特别地，对应于相同体积的颗粒的分布图描述了沿轴z的同一个变化。然后可以根据应用于分布图的辨别标准来表征每个分布图，以便根据它们的体积来辨别珠，这也使得可以对相同体积的珠进行计数。该辨别标准可以是分布图的最大值与其最小值之间的差异、半峰全宽的标准，或分布图的最大值与其最小值之间的高度的标准。
[0240]
为了评估该方法的再现性，使用其他乳胶珠进行另一个测试，在这种情况下为15个3μm珠和30个5μm珠。以540nm为中心的绿色光谱带照射样本。图9d示出了参考复数图像的模数。图9e和9f分别示出了使用同一颜色代码获得的各个颗粒的模数和相位的分布图。可以再次看出，可以基于幅度或相位分布图，根据珠的体积对珠进行分类。
[0241]
无论实施例如何，该方法包括选择表示同一个颗粒的多个径向坐标，例如对应于同一个颗粒的相邻径向坐标。基于二次复数图像，该方法包括确定在所选择的径向坐标中的每个处的特征量。以这种方式，沿着轴z形成的分布图的数量与所选择的坐标的数量相同。这些分布图(称为基本分布图)可以例如以均值的形式组合，以便形成表示颗粒的分布图。
[0242]
无论实施例如何，可能需要估计检测平面p0和样本的平面p
10
之间的距离，特别是当参考复数图像形成在样本的平面中时。该距离可以是几何学上已知的，或者可以通过在全息重建的领域中常见的自动聚焦算法来估计。
[0243]
本发明可以应用于通过全息重建观察样本，全息图通过无透镜成像或通过散焦成像获得。在这种情况下，全息图是由图像传感器在耦合到图像传感器的光学系统的焦平面以外的平面中获取的图像。
[0244]
它可以应用于对生物技术或诊断领域的样本的表征、以及食品和农业领域的样本的表征，或者对从环境或工业过程中采取的样本的分析表征。