智能超分辨显微：深度学习驱动的生物医学成像突破

   在生物医学研究领域，对细胞和分子水平的深入探究需求日益增长，传统光学显微镜受限于光学衍射极限，难以满足纳米尺度下的观测需求，超分辨显微成像技术应运而生，成为推动生物学研究的关键工具。南京理工大学电子工程与光电技术学院智能计算成像实验（SCILab）左超教授课题组在《激光与光电子学进展》2024年第16期“光场智能成像”特色专题中的封面文章“深度学习在超分辨显微成像中的研究进展”，为我们详细阐述了这一前沿领域的发展现状与未来展望。

    一、超分辨显微成像技术的发展背景
    近年来，生物医学研究的快速进步促使对细胞和分子层面的观测需求不断攀升。传统超分辨成像技术如受激发射损耗荧光显微术（STED）、随机光学重构显微（STORM）、光活化定位显微（PALM）、结构光照明显微（SIM）、多光子非线性超分辨率成像（MPUM）等，各自利用不同手段突破了衍射极限，但也存在着先天优势与固有缺陷。例如，STED具有高空间分辨率和实时成像优点，但强耗损光会导致光漂白、光毒性、光损伤等问题；SMLM空间分辨率极高且能实现多色成像，然而其图像重建过程需大量图像采集，时间分辨率低，无法实现活体动态成像；SIM具有高光子利用效率和成像速度快的优势，适用于活细胞成像，但图像重建算法对计算资源要求高且对噪声敏感，易产生伪影。
    与此同时，深度学习作为机器学习的一个分支，凭借多层人工神经网络对数据的强大计算处理能力迅速发展。神经网络具有自适应性，可通过反向传播算法优化自身以实现更好的数据拟合，还具备端到端的学习能力，能实现输入端到输出端的直接映射。基于这些优秀特性，将深度学习与超分辨显微成像技术相结合，为克服传统技术缺陷、进一步提升成像分辨率带来了新的契机。

    二、深度学习在超分辨显微成像技术中的应用
    （一）超分辨显微成像技术原理
    1.STED：使用高斯激发光照射样品，同时引入环形光束淬灭外围区域荧光分子，两束激光精准对齐产生未淬灭的发射轮廓，实现超分辨成像。其优点是空间分辨率高、可实时成像，但存在光漂白等问题。
    2.SMLM：通过多次循环随机激发稀疏分布的荧光分子并结合定位算法，对不重叠荧光分子定位后整合重建超分辨图像。该技术空间分辨率高、可多色成像，但图像重建时间长，不适用于活体动态成像。
    3.SIM：利用图案照明激发荧光，经横向相移和旋转获取原始图像，再通过图像重建算法生成超分辨图像。其光子利用效率高、成像速度快，适合活细胞成像，但对计算资源要求高且对噪声敏感，易产生伪影。
    （二）深度学习在不同技术中的应用实例
    1.在STED中的应用
    美国佛罗里达大学的Ebrahimi等人利用多阶段渐进图像恢复网络MPRNet，将STED的像素停留时间减少1到2个数量级，减少了对样品的光漂白与光损伤。该方法能精准重建低曝光图像，在保证原有分辨率的前提下，使像素停留时间减少至原本的3.125%，极大提升了成像速度，获得高信噪比超分辨图像。
    2.在SMLM中的应用
    研究人员利用深度学习建立原始图像到重建图像的直接映射，如2018年Nehme提出的Deep-STORM利用CNN网络实现了更快更精准的图像重建。
    基于pix2pix网络开发的ANNA-PALM，利用生物图像的结构冗余，从采样帧数不足的SMLM数据中重建高质量图像，减少了图像重建所需帧数，提升了图像采集效率。
    3.在SIM中的应用
    2020年Jin等人基于U-Net网络，使用堆叠U-Net将15张原始SIM图像作为输入，以传统SIM重建的超分辨图像为真值进行训练，得到U-Net-SIM15。使用该网络对陌生细胞结构成像可获得与传统SIM重建水平相当的结果。同时，通过skiplayer连接低曝光图像训练网络和U-Net-SIM15网络，所得的scU-Net-SIM减少了5倍原始图像使用量，光子数量降低了100倍，大幅简化了重建过程，减少了图像伪影并提升了重建速度。
    4.跨模态超分辨成像
    2018年Wang等人利用GAN网络实现了共聚焦图像与STED相匹配的分辨率，以及全内反射荧光显微镜（TIRF）图像获得与基于TIRF的结构光照明显微镜相匹配的分辨率，降低了超分辨成像的门槛，使超分辨显微成像在更多系统上得以普及。

    三、总结与展望
    目前，深度学习技术在超分辨显微成像领域展现出强大潜力，尤其在提升图像重建质量和解决逆问题方面取得显著进展。然而，其广泛应用仍面临诸多挑战，如对大量高分辨率图像数据的依赖、训练过程中的高计算成本以及模型可解释性不足等，这些因素在一定程度上限制了其在实际场景中的普及与应用。
    尽管如此，随着高质量公共数据集的逐步建立、神经网络模型的优化设计、无监督学习方法的深入研究以及迁移学习技术的应用，这些挑战有望得到有效克服。未来，深度学习技术在超分辨显微成像领域的应用前景十分广阔，它将不断成熟与突破，为生物医学研究和其他相关领域带来更加创新和高效的成像解决方案，推动科学研究向更深层次迈进。