Deep-Z使用深度学习对荧光显微镜图像进行三维虚拟重建

代表Deep-Z的插图，图片来源：Ozcan Lab / UCLA

显微镜技术有望有益于生命科学和生物学的研究

加利福尼亚大学洛杉矶分校的一个研究小组设计了一种扩展荧光显微镜功能的技术，该技术使科学家能够使用在特殊照明下发光的染料精确标记活细胞和组织的各个部分。研究人员利用人工智能将二维图像转换成虚拟三维切片，这些三维切片显示了生物体内的活动。

近日发表于《自然方法》上的一项研究中 ，科学家们还报告说，他们的名为“ Deep-Z”的框架能够修复图像中的错误或像差，例如当样品倾斜或弯曲时。此外，他们证明了该系统可以从一种类型的显微镜拍摄2D图像并虚拟地创建样品的3D图像，就好像它们是由另一台更高级的显微镜获得的一样。

加州大学洛杉矶分校校长电气和计算机学教授Aydogan Ozcan说“这是一种非常强大的新方法，通过深度学习，可以对活体标本进行3D成像，同时使对样品的毒性最小的光暴露最少”。

除了使标本免受潜在的有害剂量照射外，该系统还可以为生物学家和生命科学研究人员提供一种新的3D成像工具，该工具比当前方法更简单，更快，更便宜。校正像差的机会可能使研究活生物体的科学家能够从图像中收集本来无法使用的数据。研究人员还可以虚拟访问昂贵且复杂的设备。

这项研究建立在Ozcan及其同事开发的较早技术的基础上，该技术使他们能够以超分辨率渲染2D荧光显微镜图像。两种技术都依靠深度学习来提高显微镜技术的水平-使用数据来“训练”神经网络，即受人脑启发的计算机系统。

Deep-Z是使用来自扫描荧光显微镜的实验图像教授的，该图像可以在多个深度聚焦，以实现样品的3D成像。在成千上万的训练运行中，神经网络学习了如何拍摄2D图像并推断出样品中不同深度的准确3D切片。然后，对框架进行了盲目测试-向其提供了并非其训练内容的图像，并且将虚拟图像与从扫描显微镜获得的实际3D切片进行了比较，从而提供了出色的匹配度。

Ozcan和他的同事将Deep-Z应用于秀丽隐杆线虫的图像，秀丽隐杆线虫由于其简单易懂的神经系统而成为神经科学中的常见模型。研究人员将蠕虫的2D电影逐帧转换为3D，从而能够跟踪蠕虫体内单个神经元的活动。从以不同深度拍摄的秀丽隐杆线虫的一或两个2D图像开始，Deep-Z产生了虚拟3D图像，使团队可以识别蠕虫中的单个神经元，与扫描显微镜的3D输出相匹配，但对活生物体。

研究人员还发现，即使仅使用与样品表面完全平行的3D切片训练神经网络，Deep-Z仍可以从样品倾斜或弯曲的2D表面生成3D图像。

UCLA研究生，该出版物的第一作者，作者Yiyi Wu表示：“这一功能实际上非常令人惊讶。” “有了它，您就可以看透曲率或其他复杂的拓扑结构，这对成像非常困难。”

在其他实验中，使用来自两种荧光显微镜的图像对Deep-Z进行了训练：宽视场，它将整个样本暴露在光源下；共聚焦，它使用激光逐部分扫描样品。Ozcan和他的团队表明，他们的框架随后可以使用样品的2D宽视场显微镜图像生成与用共聚焦显微镜拍摄的图像几乎相同的3D图像。

这种转换很有价值，因为与宽视野相比，共聚焦显微镜可以产生更清晰，对比度更高的图像。另一方面，宽视野显微镜以较少的费用和较少的技术要求捕获图像。

使用Deep-Z重新聚焦荧光图像

使用Deep-Z的秀丽隐杆线虫神经元核的3D成像

使用Deep-Z在3D中跟踪线虫神经元活动

方法

样品制备

荧光图像采集

作者通过使用奥林巴斯IX83倒置扫描显微镜，20×/ 0.75NA的物镜，130W荧光灯光源，两个带通滤光片，捕获纳米珠，秀丽隐杆线虫结构和BPAEC样品的荧光图像。

通过放置盖玻片捕获珠子样品，将珠子直接放在显微镜样品架上。倾斜的表面样品通过，将带有珠子的盖玻片放在3D打印的支架上，该支架相对于1.5°倾斜焦平面。将带有荧光珠的圆柱管表面直接放置在显微镜样品架。使用得克萨斯红滤光片对这些荧光珠样品进行成像组。秀丽隐杆线虫样品载玻片放在显微镜样品架上并用德州红过滤器组。将BPAEC载玻片放在显微镜样品架上并成像使用Texas Red和FITC过滤器集。对于所有样品，扫描显微镜都有一个电动平台（用于IX73 / 83的PROSCAN XY平台套件）将样品移至不同的FOV，并在每个位置执行基于图像对比度的自动对焦。电动使用MetaMorph®显微镜自动化软件（Molecular Devices，LLC）。在每个位置，控制软件都会根据标准自动聚焦样品然后，从-20 µm到20 µm的z堆栈中以0.5 µm的步长拍摄图像。

使用单色科学CMOS相机（ORCA-flash4.0 v2，Hamamatsu Photonics K.K），并以非压缩的tiff格式保存，成像大小大小为2048×2048 像素。

图像预处理和训练数据准备

使用ImageJ的插件生成了扩展景深（EDF）图像“扩展景深” 。

此EDF图像用作参考图像，以标准化整个图像堆栈，需要执行以下三个步骤：

（1）在图像上使用了三角形阈值47分离背景和前景像素；

（2）背景像素的平均强度确定EDF图像的图像的背景噪声为背景噪声并减去。

（3）EDF图像强度被缩放为0-1，其中比例因子的确定是背景上方的前景像素大于1（即饱和）；

（4）每个通过该背景水平减去的图像，并通过该强度进行归一化比例因子。对于没有图像堆栈的测试数据，将步骤（1）–（3）应用于输入图片而不是EDF图片。

为了准备训练和验证数据集，在每个视场上，使用固定的测地扩张48

将阈值应用于荧光EDF图像以生成代表在背景上方包含样本荧光信号的区域。

然后，定制算法用于确定具有256×256像素的最小区域集覆盖这个面具，这些训练区域之间有5％的区域重叠。横向位置这些区域中的一部分用于在图像堆栈的每个高度上裁剪图像，其中中间将每个区域的平面设置为具有最大标准偏差的平面。然后2将该中间平面的上方和下方的20个平面设置为堆栈的范围，并输入从这41个平面中的每一个生成图像平面。取决于数据的大小

在这41个平面中，大约有5-10个被随机选择为对应的目标平面，形成约150至300个图像对。对于这些图像对中的每一个，重新聚焦距离是根据平面的位置确定的（即与距离之差的0.5 µm倍）输入平面到目标平面）。通过重复此数字，生成了统一的DPM，附加到输入的荧光图像。最终数据集通常包含约100,000张图像对。

这被随机分为一个训练数据集和一个验证数据集，这花费了85％和数据的15％。

在训练过程中，每个数据点都在通过将图像翻转或旋转90的随机倍数来增强五倍。的验证数据集未增加。测试数据集是从单独的裁剪出来的样本视场不与训练和训练视场重叠的测量验证数据集。

Deep-Z网络架构

Deep-Z网络由最小二乘GAN（LS-GAN）框架组成，由两部分组成：生成器和鉴别器。的生成器是受U-Net 50启发的卷积神经网络（CNN），它遵循与参考文献中类似的结构。

另外作者还做下面工作

Deep-Z网络的培训和测试

荧光珠样品的横向和轴向FWHM值的测量。

图像质量评估

秀丽隐杆线虫神经元活性的跟踪和量化

宽场和共焦荧光图像的跨模态比对

结论

作者说Deep-Z是一个通常适用于各种成对显微镜的平台，而不仅仅是宽视野到共焦的转换，每个显微镜都有自己的优点和缺点。有了这个框架，您可以使用AI以数字方式连接不同类型的显微镜，从而实现两全其美。

相关论文数据集下载地址：关注“图像算法”微信公众号 回复“DEEPZ"