组织病理学检查,作为研究组织结构病理变化的黄金标准,对疾病诊断有着无法取代的重要作用。通过光学显微镜对载玻片上染色的薄组织切片进行观察,病理专家能准确搜寻到组织病变的关键特征,并依此对疾病进行诊断和分级。然而,制备染色切片的繁复流程会极大限制医生的诊断效率,这导致术中的病理评估往往不能兼顾速度与质量。为解决此问题,研究者们发展了新兴的虚拟染色成像技术[1],旨在省略传统染色切片的制备流程,转而借助无标记显微技术和深度学习来获取同样的染色切片图像,以满足术中实时病理诊断的需求。
虚拟染色技术初期以颜色映射方法为主,通过构建一个像素到像素的映射,将每个像素收集到的非线性信号强度值转化为对应染剂的RGB颜色值。这种方法简单快捷,但忽略了图像内部的纹理信息,构建的伪染色图像质量远远落后于真染色切片,对于H&E之外的染剂尤为如此。现今,得益于计算机硬件的发展,深度神经网络等人工智能概念被广泛应用到虚拟染色技术中。不同于颜色映射方法,深度的卷积神经网络能感知到图像整体的结构和脉络,常用于处理各种困难的机器视觉任务。
基于深度学习的虚拟染色技术需要事先获取用以训练网络的样本。组织样品的无标记自荧光图像作为输入,随后制备的染色切片的明场图像作为期望的输出。此神经网络的具体训练流程如图1所示,首先,为了准确匹配输入和输出,大量的图像配准工作是必不可少的。通过对明场图像平移,旋转和放缩,可以得到粗略的刚性配准图像。然后,使用刚性配准图像初步训练出粗略的虚拟染色图像,并将其用于更精确的弹性配准。最后,将弹性配准图像用于最终神经网络或对抗网络的训练,便可确保网络生成清晰且准确匹配组织化学染色分布的图像,如图2所示。
图1 用于虚拟染色的深度学习网络训练流程图
图2 虚拟H&E染色图像与对应的传统组织病理学H&E图像
除了实时而精确的病理诊断,基于深度学习的虚拟染色技术还会带来许多额外的优势。比如,这种技术允许从同一切片生成多种虚拟染色剂,以便更好地突出相关诊断的不同特征。如图3所示,无标记组织的同一部分被H&E、马森三色、琼斯三种染剂虚拟染色,病理学家从中能很方便地整合肾小管间质的信息:H&E染色能显示肾小管间质炎症,马森三色可揭示间质的纤维化,而琼斯染剂更善于显现肾小管萎缩。除非反复清洗原有染剂并重新染色相同的样本,传统的组织病理学完全不能实现类似的功能。此外,如图4所示,相较于技术人员参差不齐的人工染色技术,深度神经网络始终会执行风格完全一致的染色,这将方便病理学家对染色图像进行标准化。
图3 同一组织切片的不同虚拟染色图像:H&E,马森三色,琼斯染色。
图4 基于技术人员的传统染色图像和基于神经网络的虚拟染色图像的风格变化
综上所述,虚拟染色技术不仅能显著减少病理评估的工作流程和实验室运营成本,还支持少量组织材料的多染色并行处理,使病理专家和临床医生得以更快速地制订治疗方案并大幅缩短治疗时间。伴随着大规模的临床试验,该技术势必将作为组织病理学诊断的新途径,不断推动着病理学的数字化进程。
参考文献:
[1] Y. Rivenson, K. de Haan, W. D. Wallace, A. Ozcan. Emerging Advances to Transform Histopathology Using Virtual Staining. BME Frontiers 2020, 1–11 (2020).
原文标题 : 多光子显微镜成像技术之十八 虚拟染色成像技术