引用本文： 邓健志, 郭永平, 周越菡, 熊彬. 基于深度学习的视网膜眼底图像的渗出分割方法研究. 中华眼底病杂志, 2024, 40(7): 518-525. doi: 10.3760/cma.j.cn511434-20231221-00500 复制
版权信息： ©四川大学华西医院华西期刊社《中华眼底病杂志》版权所有，未经授权不得转载、改编
眼底渗出通常是指在视网膜出现的异常物质，其产生与眼部血管病变、炎症反应等因素密切相关。通过对眼底渗出的观察和分析，可以揭示眼部疾病的本质和表现形式，为诊断和治疗提供有力支持[1]。而在全球范围内，糖尿病视网膜病变（DR）是导致视力下降和失明的主要原因之一，在疾病早期及时发现并进行治疗，就可以避免90%以上患者的视力丧失[2-4]。因此，如果能借助计算机准确检测到DR并及时采取治疗措施，能有效延缓患者病情的恶化，并最大程度地减少视力损失和其他并发症的风险[5-6]。DR主要病灶包括硬性渗出、软性渗出、微动脉瘤、出血等，其中硬性渗出主要由扩张的毛细血管和微动脉瘤渗漏的脂质和蛋白质组成，是沉积于视网膜不同部位下的边缘明确的斑块。计算机技术在视网膜眼底渗出研究中的应用为眼科领域带来了巨大的进步。图像处理和分析技术的广泛应用，为医生和研究者提供了更全面、精准的眼底渗出信息。然而，尽管现有方法取得了进步，但仍存在局限性，如对于复杂渗出病灶的精细分割仍面临挑战，同时模型的泛化能力和计算效率也需进一步提升。因此，我们需要探索新的研究方向，开发更高效的特征提取和融合方法，设计轻量级模型以减少计算资源需求，从而推动视网膜眼底图像渗出分割技术的进一步发展。为此，我们设计并训练了一个基于印度DR图像数据集（IDRID）模型，初步探究提升计算机辅助检测并分割视网膜渗出特征的可行性。现将结果报道如下。
1 资料和方法
应用研究。本研究遵循《赫尔辛基宣言》原则，回顾性收集身份信息脱敏后的临床数据，准予免除签署知情同意书。
参考数据集与数据准备。采用IDRID数据集作为参考数据集进行实验[7]。IDRID数据集中的图像以JPEG格式存储，分辨率为4 288 pixel×2 848 pixel，视场为50°。所有彩色眼底像由不同年资的眼底病专业医师进行标记和注释，包括DR的分级、分割和定位。其中，视网膜病变的分割病灶有：微动脉瘤、软性渗出、硬性渗出和出血点。IDRID数据集中用于分割的数据集包含81张JPEG格式的原始彩色眼底图像，同时含有相对应的TIFF格式的专家手动标注的标签图像。这81张图像被划分为训练集和测试集，其中54张图像为训练集，27张图像为测试集。通过旋转、裁剪、对比度受限自适应直方图均衡处理等操作对输入图像进行预处理[7-8]。
网络构成及优化。选取多尺度交叉协同注意力网络（MCA-UNet）作为主干网络，由特征编码、解码模块和上下文提取模块三个部分组成[9]（图1）。使用改进后的残差卷积模块替换编码和解码部分的普通卷积和原始残差卷积，并且将残差卷积次数控制在2次以内，将改进后的上下文提取模块嵌入到编码器与解码器之间，同时通过在上下文提取模块两端加入卷积三重注意力机制（CTAM），引导模型集中地关注对特定任务上下文信息，最后将提取出的特征输入到特征解码器模块中。深度可分离卷积（DSC）替换残差卷积中的普通卷积，在两个卷积之间加入轻量级通道注意力机制（ECA）[10-13]，形成改进的深度残差卷积（DEResblock）（图2）。参考CE-Net中由稠密空洞卷积（DAC）和残差多核池化（RMP）组成的上下文提取模块，针对其中的DAC模块进行改进[14]。通过引入3个感受野为13、15、23的分支来使模型能够同时提取不同层次的特征，每个分支可以专注于不同尺度和语义层次的特征提取，并且捕捉视网膜病灶与周围区域之间的关联和上下文信息。改进后的模块命名为新DAC，感受野分别为3、7、9、13、15、19、23（图3）。CTAM通过三个平行分支结构来捕捉跨维度交互信息，从而对注意力权重进行计算[15-19]（图4）。
图1
改进后的网络整体结构图 Input：输入；Output：输出；DEResblock：深度残差卷积模块；MaxPool：最大池化；Upsampling：上采样；Deconvolution：反卷积；Concat：连接函数；CCABlock：交叉协同注意力模块；CTAM：三重注意力机制；NDAC：新稠密空洞卷积；RMP：残差多核池化；Conv：卷积；Sigmoid：S型生长曲线激活函数；w：权重；Loss：损失
图2
深度残差卷积模块结构图 DSC：深度可分离卷积；BN：批量归一化；ReLu：线性整流激活函数；ECA：轻量级通道注意力机制；x：输入特征；F(x)：残差函数；x identity：输入特征恒等映射
图3
新稠密空洞卷积模块结构图 Feature map：特征图；Conv：卷积；rate：扩张率；channel：通道数
图4
卷积CTAM模块体系结构图 Input Tensor：输入张量；axis：坐标轴；Z-Pool：Z池化；Conv：卷积；Sigmoid：S型生长曲线激活函数；Avg：平均；Output Tensor：输出张量；x：输入张量；y：输出张量；W：宽度维度；H：高度维度；axis：坐标轴
模型评估。IDRID模型测试集的医学图像自动分割算法主要评价指标分别为查准率、查全率、相似系数、准确率和灵敏度。查准率以精准率召回率曲线下面积表示，可预测渗出的保证性；查全率以受试者工作特征曲线下面积表示，可预测出渗出的正确率；相似系数为度量预测渗出结果与真实渗出标签相似度的函数；准确率定义为分类为渗出样本中实际为渗出样本所占的比例；灵敏度是正确分类为渗出的样本占实际所有为渗出的样本的比例（表1）。
表1
评价指标的公式
2 结果
本文分割模型训练阶段在MCA-UNet基础上加入DEResBlock、改进上下文提取模块、CTAM后，本模型在IDRID数据集上的查准率、查全率、相似系数、准确率、灵敏度、分别达到81.56%、99.54%、69.32%、65.36%、78.33%，相似系数、准确率及灵敏度均有所提升（图5）；查全率虽然相比原始模型下降0.04%，但是在模块引入过程中有一定的提升（表2）。
表2
不同模块的消融实验
图5
不同模块消融实验的折线图 M：原始多尺度交叉协同注意力网络模型；M1：上下文提取模块；M2：改进上下文提取模块；M3：深度残差卷积；M4：三重注意力机制；Final：改进后的网络模型
不同网络模型（MCA-UNet、多模态残差网络和本研究方法）对4个具有代表性的例子的定性分割结果显示，相比其他算法，本模型在微小渗出的分割上展现出了、更好的性能。本模型能更准确地识别和定位微小的病灶点（图6）。通过对原始图像和不同模型的分割结果进行局部细节裁剪并放大，可以更直观地展示本模型对DR渗出特征的分割能力（图7）。
图6
印度糖尿病视网膜病变图像数据集渗出分割结果 MCA-UNet：多尺度交叉协同注意力网络；MultiResUNet：多模态残差网络
图7
模型局部细节图 MCA-UNet：多尺度交叉协同注意力网络；MultiResUNet：多模态残差网络
与其他先进模型相比，本模型在整体上表现出优越的性能。在查准率和相似系数，本模型均达到了最优水平，相比MCA-UNet分别提升了2.35%和3.35%（表3）。这表明该模型在糖尿病视网膜渗出分割方面具有更高的精确性和可靠性。在查全率和相似系数，本模型略高于MCA-UNet。这可能是因为本模型在处理复杂背景和微小渗出方面具有更好的适应性。
表3
与不同方法的分割性能对比
3 讨论
研究DR的渗出特征对深入研究眼底渗出的意义非常重大，有助于深入理解眼底疾病的病理生理过程，探索新的治疗策略和评估治疗效果，为保护患者的视力健康提供支持。常用于医学图像处理的方法有传统算法与深度学习算法，其中传统的DR辅助诊断方法对病变特征的提取过程比较复杂，不能满足当前庞大且多元化的数据需求，而深度学习算法则可以从大量数据中获得高效的学习，能够避免出现特征不足、特征偏差等问题[20-24]。
本文在从特定尺度的眼底图像中提取渗出病灶特征方面，深度分割模型具有明显的优势[25]。Liu等[26]提出了一种具有双采样调制相似系数损失的双分支网络，分别处理大型硬渗出和小型硬渗出，通过使用一种双采样调制相似系数损失的训练方法[27]，解决极端类别不平衡和巨大大小变化的问题。Shujaat等[28]提出了一个包含图像预处理、图像分割和图像分类三个阶段的智能框架，旨在突出眼底图像中渗出的特征，并利用增强的特征训练Alexnet模型进行渗出检测[29]。目前，Ronneberger等[30]提出的U-Net网络在医学图像分析中应用最为广泛。这主要得益于其独特的编码器和解码器结构，该结构通过跳跃连接实现了有效的信息流传递，并且在数据量相对不足的情况下仍能展现出良好的性能。杨知桥等[31]对UNet网络进行了优化，通过采取丰富感受野和平均池化的方法改进了上下文提取编码模块，将混合注意力机制引入到特征编码阶段，使模型可以进一步关注细微血管和病灶区域的特征。Fu等[32]提出了一种新型RMCA U-net网络，将U形框架与残余结构相结合，以此来获得硬性渗出的微小特征，同时设计了一种多尺度特征融合模块，并改进了通道注意力模块，能够提高网络模型对稀疏的小病变的分割效果。Wang等[9]提出了一个MCA-UNet模型，通过引入交叉协同注意力机制和密集跳跃连接，来解决自动医学图像分割中的语义差距问题，并通过双上采样和深度监督技术来提高性能。
基于此，本研究提出了一种改进的MCA-UNet网络结构与算法，能够提高计算机辅助检测分割视网膜渗出的效果。首先，使用改进后的残差模块代替编码解码部分的普通卷积块，通过将深度可分离卷积和轻量级通道注意力机制结合到残差模块中，能够提升模型的特征表达能力和轻量化性能，充分地挖掘和调整特征通道之间的相关性，从而提高模型的训练稳定性和性能。其次，在网络中加入改进后的上下文提取模块，通过增加稠密空洞卷积、模块的分支数和增大感受野来获取更大的上下文范围，有助于捕捉视网膜病灶的微小细节、模糊边缘等特征，提高病灶定位和分析的准确性。最后，在底层中加入三重注意力机制来平衡整个网络模型中注意力的分布，引导模型聚焦于更有效的上下文特征，提升模型在特征交互和整合时的权重调控能力。实验结果表明，改进后的分割模型各项指标相比原始模型，相似系数提升3.35%，准确率提升4.17%，灵敏度提升7.29%。本研究方法在视网膜渗出分割任务中表现较好，优于原始模型，并且对微小病灶的定位分割能力较强。而针对视网膜眼底图像渗出的研究，在一定程度上可以帮助医生克服检眼镜检查的主观性，提供更客观、准确的诊断结果。
本研究设计的模型与其他模型相比，在分割效果上具有显著的优势。首先，对于大量渗出的分割，能够更准确地识别和定位病灶区域，避免了过多的假阳性像素值的产生。相比其他模型，分割结果更加平滑，边界清晰，没有出现明显的过度分割现象。其次，对于微小分散点状渗出的分割，也表现出了较强的识别能力，可以更清楚地分割微小病灶点。而其他模型由于受到噪声和伪影的影响，微小的渗出往往难以与背景区分，导致模型会产生大量的假阳性像素值，从而出现漏检或误检的情况。这些结果表明，分割微小渗出是一项具有挑战性的任务。为了提高模型的性能，需要在未来的工作中进一步探索和研究如何更有效地提取微小渗出的特征，以及如何提高模型对微小病灶点的识别能力。这将有助于更好地理解和分析眼底渗出的病理特征，为临床诊断和治疗提供更精确的辅助工具。
本研究的局限性为医学眼底图像分割中普遍存在的问题，即训练数据较少、模型易过度分割等。对于复杂的病变形态和微小病灶，由于边界模糊且存在噪声，模型的性能会受到影响。期待模型在未来不断的完善，协助医生完成临床诊断和治疗，缓解负担过重的医疗系统问题。
眼底渗出通常是指在视网膜出现的异常物质，其产生与眼部血管病变、炎症反应等因素密切相关。通过对眼底渗出的观察和分析，可以揭示眼部疾病的本质和表现形式，为诊断和治疗提供有力支持[1]。而在全球范围内，糖尿病视网膜病变（DR）是导致视力下降和失明的主要原因之一，在疾病早期及时发现并进行治疗，就可以避免90%以上患者的视力丧失[2-4]。因此，如果能借助计算机准确检测到DR并及时采取治疗措施，能有效延缓患者病情的恶化，并最大程度地减少视力损失和其他并发症的风险[5-6]。DR主要病灶包括硬性渗出、软性渗出、微动脉瘤、出血等，其中硬性渗出主要由扩张的毛细血管和微动脉瘤渗漏的脂质和蛋白质组成，是沉积于视网膜不同部位下的边缘明确的斑块。计算机技术在视网膜眼底渗出研究中的应用为眼科领域带来了巨大的进步。图像处理和分析技术的广泛应用，为医生和研究者提供了更全面、精准的眼底渗出信息。然而，尽管现有方法取得了进步，但仍存在局限性，如对于复杂渗出病灶的精细分割仍面临挑战，同时模型的泛化能力和计算效率也需进一步提升。因此，我们需要探索新的研究方向，开发更高效的特征提取和融合方法，设计轻量级模型以减少计算资源需求，从而推动视网膜眼底图像渗出分割技术的进一步发展。为此，我们设计并训练了一个基于印度DR图像数据集（IDRID）模型，初步探究提升计算机辅助检测并分割视网膜渗出特征的可行性。现将结果报道如下。
1 资料和方法
应用研究。本研究遵循《赫尔辛基宣言》原则，回顾性收集身份信息脱敏后的临床数据，准予免除签署知情同意书。
参考数据集与数据准备。采用IDRID数据集作为参考数据集进行实验[7]。IDRID数据集中的图像以JPEG格式存储，分辨率为4 288 pixel×2 848 pixel，视场为50°。所有彩色眼底像由不同年资的眼底病专业医师进行标记和注释，包括DR的分级、分割和定位。其中，视网膜病变的分割病灶有：微动脉瘤、软性渗出、硬性渗出和出血点。IDRID数据集中用于分割的数据集包含81张JPEG格式的原始彩色眼底图像，同时含有相对应的TIFF格式的专家手动标注的标签图像。这81张图像被划分为训练集和测试集，其中54张图像为训练集，27张图像为测试集。通过旋转、裁剪、对比度受限自适应直方图均衡处理等操作对输入图像进行预处理[7-8]。
网络构成及优化。选取多尺度交叉协同注意力网络（MCA-UNet）作为主干网络，由特征编码、解码模块和上下文提取模块三个部分组成[9]（图1）。使用改进后的残差卷积模块替换编码和解码部分的普通卷积和原始残差卷积，并且将残差卷积次数控制在2次以内，将改进后的上下文提取模块嵌入到编码器与解码器之间，同时通过在上下文提取模块两端加入卷积三重注意力机制（CTAM），引导模型集中地关注对特定任务上下文信息，最后将提取出的特征输入到特征解码器模块中。深度可分离卷积（DSC）替换残差卷积中的普通卷积，在两个卷积之间加入轻量级通道注意力机制（ECA）[10-13]，形成改进的深度残差卷积（DEResblock）（图2）。参考CE-Net中由稠密空洞卷积（DAC）和残差多核池化（RMP）组成的上下文提取模块，针对其中的DAC模块进行改进[14]。通过引入3个感受野为13、15、23的分支来使模型能够同时提取不同层次的特征，每个分支可以专注于不同尺度和语义层次的特征提取，并且捕捉视网膜病灶与周围区域之间的关联和上下文信息。改进后的模块命名为新DAC，感受野分别为3、7、9、13、15、19、23（图3）。CTAM通过三个平行分支结构来捕捉跨维度交互信息，从而对注意力权重进行计算[15-19]（图4）。
图1
改进后的网络整体结构图 Input：输入；Output：输出；DEResblock：深度残差卷积模块；MaxPool：最大池化；Upsampling：上采样；Deconvolution：反卷积；Concat：连接函数；CCABlock：交叉协同注意力模块；CTAM：三重注意力机制；NDAC：新稠密空洞卷积；RMP：残差多核池化；Conv：卷积；Sigmoid：S型生长曲线激活函数；w：权重；Loss：损失
图2
深度残差卷积模块结构图 DSC：深度可分离卷积；BN：批量归一化；ReLu：线性整流激活函数；ECA：轻量级通道注意力机制；x：输入特征；F(x)：残差函数；x identity：输入特征恒等映射
图3
新稠密空洞卷积模块结构图 Feature map：特征图；Conv：卷积；rate：扩张率；channel：通道数
图4
卷积CTAM模块体系结构图 Input Tensor：输入张量；axis：坐标轴；Z-Pool：Z池化；Conv：卷积；Sigmoid：S型生长曲线激活函数；Avg：平均；Output Tensor：输出张量；x：输入张量；y：输出张量；W：宽度维度；H：高度维度；axis：坐标轴
模型评估。IDRID模型测试集的医学图像自动分割算法主要评价指标分别为查准率、查全率、相似系数、准确率和灵敏度。查准率以精准率召回率曲线下面积表示，可预测渗出的保证性；查全率以受试者工作特征曲线下面积表示，可预测出渗出的正确率；相似系数为度量预测渗出结果与真实渗出标签相似度的函数；准确率定义为分类为渗出样本中实际为渗出样本所占的比例；灵敏度是正确分类为渗出的样本占实际所有为渗出的样本的比例（表1）。
表1
评价指标的公式
2 结果
本文分割模型训练阶段在MCA-UNet基础上加入DEResBlock、改进上下文提取模块、CTAM后，本模型在IDRID数据集上的查准率、查全率、相似系数、准确率、灵敏度、分别达到81.56%、99.54%、69.32%、65.36%、78.33%，相似系数、准确率及灵敏度均有所提升（图5）；查全率虽然相比原始模型下降0.04%，但是在模块引入过程中有一定的提升（表2）。
表2
不同模块的消融实验
图5
不同模块消融实验的折线图 M：原始多尺度交叉协同注意力网络模型；M1：上下文提取模块；M2：改进上下文提取模块；M3：深度残差卷积；M4：三重注意力机制；Final：改进后的网络模型
不同网络模型（MCA-UNet、多模态残差网络和本研究方法）对4个具有代表性的例子的定性分割结果显示，相比其他算法，本模型在微小渗出的分割上展现出了、更好的性能。本模型能更准确地识别和定位微小的病灶点（图6）。通过对原始图像和不同模型的分割结果进行局部细节裁剪并放大，可以更直观地展示本模型对DR渗出特征的分割能力（图7）。
图6
印度糖尿病视网膜病变图像数据集渗出分割结果 MCA-UNet：多尺度交叉协同注意力网络；MultiResUNet：多模态残差网络
图7
模型局部细节图 MCA-UNet：多尺度交叉协同注意力网络；MultiResUNet：多模态残差网络
与其他先进模型相比，本模型在整体上表现出优越的性能。在查准率和相似系数，本模型均达到了最优水平，相比MCA-UNet分别提升了2.35%和3.35%（表3）。这表明该模型在糖尿病视网膜渗出分割方面具有更高的精确性和可靠性。在查全率和相似系数，本模型略高于MCA-UNet。这可能是因为本模型在处理复杂背景和微小渗出方面具有更好的适应性。
表3
与不同方法的分割性能对比
3 讨论
研究DR的渗出特征对深入研究眼底渗出的意义非常重大，有助于深入理解眼底疾病的病理生理过程，探索新的治疗策略和评估治疗效果，为保护患者的视力健康提供支持。常用于医学图像处理的方法有传统算法与深度学习算法，其中传统的DR辅助诊断方法对病变特征的提取过程比较复杂，不能满足当前庞大且多元化的数据需求，而深度学习算法则可以从大量数据中获得高效的学习，能够避免出现特征不足、特征偏差等问题[20-24]。
本文在从特定尺度的眼底图像中提取渗出病灶特征方面，深度分割模型具有明显的优势[25]。Liu等[26]提出了一种具有双采样调制相似系数损失的双分支网络，分别处理大型硬渗出和小型硬渗出，通过使用一种双采样调制相似系数损失的训练方法[27]，解决极端类别不平衡和巨大大小变化的问题。Shujaat等[28]提出了一个包含图像预处理、图像分割和图像分类三个阶段的智能框架，旨在突出眼底图像中渗出的特征，并利用增强的特征训练Alexnet模型进行渗出检测[29]。目前，Ronneberger等[30]提出的U-Net网络在医学图像分析中应用最为广泛。这主要得益于其独特的编码器和解码器结构，该结构通过跳跃连接实现了有效的信息流传递，并且在数据量相对不足的情况下仍能展现出良好的性能。杨知桥等[31]对UNet网络进行了优化，通过采取丰富感受野和平均池化的方法改进了上下文提取编码模块，将混合注意力机制引入到特征编码阶段，使模型可以进一步关注细微血管和病灶区域的特征。Fu等[32]提出了一种新型RMCA U-net网络，将U形框架与残余结构相结合，以此来获得硬性渗出的微小特征，同时设计了一种多尺度特征融合模块，并改进了通道注意力模块，能够提高网络模型对稀疏的小病变的分割效果。Wang等[9]提出了一个MCA-UNet模型，通过引入交叉协同注意力机制和密集跳跃连接，来解决自动医学图像分割中的语义差距问题，并通过双上采样和深度监督技术来提高性能。
基于此，本研究提出了一种改进的MCA-UNet网络结构与算法，能够提高计算机辅助检测分割视网膜渗出的效果。首先，使用改进后的残差模块代替编码解码部分的普通卷积块，通过将深度可分离卷积和轻量级通道注意力机制结合到残差模块中，能够提升模型的特征表达能力和轻量化性能，充分地挖掘和调整特征通道之间的相关性，从而提高模型的训练稳定性和性能。其次，在网络中加入改进后的上下文提取模块，通过增加稠密空洞卷积、模块的分支数和增大感受野来获取更大的上下文范围，有助于捕捉视网膜病灶的微小细节、模糊边缘等特征，提高病灶定位和分析的准确性。最后，在底层中加入三重注意力机制来平衡整个网络模型中注意力的分布，引导模型聚焦于更有效的上下文特征，提升模型在特征交互和整合时的权重调控能力。实验结果表明，改进后的分割模型各项指标相比原始模型，相似系数提升3.35%，准确率提升4.17%，灵敏度提升7.29%。本研究方法在视网膜渗出分割任务中表现较好，优于原始模型，并且对微小病灶的定位分割能力较强。而针对视网膜眼底图像渗出的研究，在一定程度上可以帮助医生克服检眼镜检查的主观性，提供更客观、准确的诊断结果。
本研究设计的模型与其他模型相比，在分割效果上具有显著的优势。首先，对于大量渗出的分割，能够更准确地识别和定位病灶区域，避免了过多的假阳性像素值的产生。相比其他模型，分割结果更加平滑，边界清晰，没有出现明显的过度分割现象。其次，对于微小分散点状渗出的分割，也表现出了较强的识别能力，可以更清楚地分割微小病灶点。而其他模型由于受到噪声和伪影的影响，微小的渗出往往难以与背景区分，导致模型会产生大量的假阳性像素值，从而出现漏检或误检的情况。这些结果表明，分割微小渗出是一项具有挑战性的任务。为了提高模型的性能，需要在未来的工作中进一步探索和研究如何更有效地提取微小渗出的特征，以及如何提高模型对微小病灶点的识别能力。这将有助于更好地理解和分析眼底渗出的病理特征，为临床诊断和治疗提供更精确的辅助工具。
本研究的局限性为医学眼底图像分割中普遍存在的问题，即训练数据较少、模型易过度分割等。对于复杂的病变形态和微小病灶，由于边界模糊且存在噪声，模型的性能会受到影响。期待模型在未来不断的完善，协助医生完成临床诊断和治疗，缓解负担过重的医疗系统问题。
