邹北骥 易博松 刘晴
摘 要：糖尿病性视网膜病变（简称糖网病）是主要的致盲眼疾病之一，视网膜新生血管的出现是糖网病恶化的重要标志. 为了更准确地检测出视网膜新生血管，本文提出了一种基于彩色眼底图的视网膜新生血管检测方法. 首先通过一种改进的U形卷积神经网络对血管进行分割;然后利用滑动窗口提取特定区域内血管的形态特征，通过支持向量机将窗口内的血管分为普通血管和新生血管. 使用来自MESSIDOR数据集和Kaggle数据集的含有视网膜新生血管的彩色眼底图对实验进行训练和测试，结果表明该方法对视网膜新生血管检测的准确率为95.96%;该方法在糖网病计算机辅助诊断方面有潜在的应用前景.
关键词：视网膜新生血管检测;血管分割;U形网络;深度学习
中图分类号：TP391.41 文献标志码：A
A Method of Retinal Neovascularization Detection on
Retinal Image Based on Improved U-net
ZOU Beiji2，3，YI Bosong1，3，LIU Qing2，3
（1. School of Automation，Central South University，Changsha 410083，China;
2. School of Computing，Central South University，Changsha 410083，China;
3. Hunan Machine Vision and Intelligent Medical Research Center，Changsha 410083，China）
Abstract：Diabetic retinopathy （DR） is one of the major causes of blindness， and the appearance of retinal neovascularization （RN） is an important sign of DR deterioration. In order to detect RN more accurately， a method based on color fundus photograph for retinal neovascularization detection is proposed. First， an improved U-shaped convolutional neural network is used to segment the blood vessels. Then， a sliding window is used to extract the morphological characteristics of blood vessels in the specific area. A support vector machine （SVM） is used to classify the blood vessels into normal vessels and retinal neovascularization in the window. The experiments use color fundus photographs with retinal neovascularization from the MESSIDOR dataset and the Kaggle dataset for training and testing. The result shows that the accuracy of this method for the RN detection is 95.96%; This method has potential application prospects in the computer-aided diagnosis of diabetic retinopathy.
Key words：retinal neovascularization detection;segmentation of blood vessels;U-shaped neural network;deep learning
糖尿病性视网膜病变是糖尿病的微血管主要并发症之一，也是主要的致盲疾病之一[1].据估计，到2030年全世界将有约3.6 亿人罹患糖尿病. 我国目前的糖尿病患病率为 9.7%，约有 9 400 万人罹患糖尿病[1]. 临床上视网膜新生血管的出现是非增殖期糖尿病性视网膜病变恶化至增殖期糖尿病性视网膜病变的主要标志，也是医生是否需要对患者立刻进行积极治疗的关键判断依据[1-2].
目前已有的对于视网膜新生血管的检测方法主要是通过传统图像处理方法对彩色眼底图中的新生血管进行分割，去除背景和大部分图像噪声，只提取血管图像，再使用机器学习方法训练分类器并对眼底图像全局或者特定区域的血管进行分类以达到新生血管检测的目的.
Agurto等[3]将AM-FM算法用于检测正常和非正常的血管，以此筛查糖尿病性視网膜病. Goatman等[4] 直接提取血管的形状、位置、方向、密度等特征，并使用支持向量机（Support Vector Machine，SVM） 分类器来区分正常和非正常血管. Hassan等[5]选择固定大小区域里的血管数目和血管所占面积作为特征来检测新生血管. Maryam[6]证明了在各种描述新生血管的特征中，Gabor滤波器方法能实现最好的特异性和较好的敏感性. Welikala等[7]分别从标准线性算子和修正线性算子生成的二值化的血管图中提取两组不同的特征集，并提出了一个基于SVM 的双重分类系统用于正常血管和新生血管的分类. Gupta等[8]提出将视网膜图像拆分成小块来检测，提取小块的纹理特征和灰度特征等525个特征，使用随机森林分类器来训练并进行血管的分类. Pujitha等[9]提出了一种半监督方法来解决训练数据量不够的问题. 对于含有新生血管的小片段，使用Gabor滤波器来提取特征，通过在特征空间中使用领域信息，将特征融合在基于共同训练的半监督的框架中来分类. Yu等[10]提出通过对新生血管候选区域进行再次筛选并使用SVM分类新生血管和普通血管.
近年来，U形网络[11]在医学图像分割任务上获得了巨大的成功. 在彩色眼底图像普通血管分割任务上，相比于传统方法，U形网络能够实现更好的分割性能[12]. 但与常规血管不同的是，视网膜新生血管在形态上更加细小[1]，分割和检测的难度均比常规血管大.
针对新生血管较难检测的问题，为了提升检测的准确率，本文提出一种改进U形网络的眼底图像血管分割算法，使之能更好地分割出常规血管和新生血管，方便后续新生血管的检测. 具体地，本文首先设计了一种改进型的U形网络用于新生血管和常规血管分割. 然后使用一个滑动窗口对分割后的新生血管图像进行完整遍历，使用SVM对每一个窗口生成的子图像内的血管图像按照特征信息进行分类，分类成普通血管或新生血管以完成检测. 使用MESSIDOR数据集和Kaggle数据集进行方法的训练和测试. 实验证明，改进型U形网络对新生血管的分割精度高于原始U形网络，本文提出的新生血管检测方法可以准确地对新生血管进行检测.
1 方 法
本文提出的新生血管检测方法流程如图1所示. 首先对眼底图像的绿色通道图像进行预处理，预处理操作包括对比度受限的自适应直方图均衡化和伽马变换，接着使用改进的U形网络进行血管分割. 然后使用滑动窗口对分割出来的血管图像进行遍历，使用SVM对每个窗口中的血管图像提取特征并分类，最后统计分类结果，根据分类结果确定该图是否检测到新生血管.
1.1 预处理
彩色眼底图像在绿色通道中整体对比度最高，细节损失最少，相较原图可以更好地表现整体血管结构[10]，因此，本文后续实验操作都将在彩色眼底图的绿色通道上完成.
在针对彩色眼底图的视网膜新生血管处理中，新生血管像素所占整张眼底图像素的比例非常低，使用形态学方法进行预处理会导致大量新生血管像素丢失，严重影响实验结果. 为了保证眼底图中新生血管结构的信息完整，本文采用对比度受限的自适应直方图均衡化方法[10]和伽马变换方法[10]来对眼底图进行增强，改善图像低对比度的情况，同时将对新生血管像素的影响降到最小.
1.2 血管分割
为了提高对新生血管分割的准确率，本文设计了一种改进型U形网络并使用该网络分割新生血管. 本文设计的改进型U形网络在原始U形网络的基础上，引入了改进的残差模块（Improved ResBlock）[13]和金字塔场景解析（Pyramid Scene Parsing，PSP）池化模块[14]，可以实现对新生血管图像的语义分割，即将视觉输入分为不同的语义可解释类别，把同类的像素用同一种颜色进行标记，每一种分类类别都具有对应的现实意义. 在本文中，白色像素对应血管，黑色像素对应着除血管外的所有背景信息. 同时本文在所有卷积层之后执行批归一化操作，将每个批次的输入进行归一化处理，使模型在训练过程中更易于优化，同时降低模型过拟合的风险. 本文设计的改进U形网络结构如图2所示.
该网络由下采样路径和上采样路径组成，其下采样路径通过下采样操作逐渐减少图像的空间维度，而上采样路径通过上采样操作逐步修复图像的细节和空间维度. 对于下采样路径和上采样路径中的每一个卷积层级，使用融合模块实现对应层级的图像输出特征的拼接，使网络可以利用不同层级的图像特征信息.
为了缓解网络层数加深而引发的梯度消失问题[13]，在原始U形网络每个卷积层之间，引入一系列的残差模块. 为了提高网络的感受野，使网络更好地捕捉上下文信息，在每一个残差模块中，除了已经存在的两个普通卷积的分支，本文设计的残差模块将额外引入一组空洞卷积分支[15]. 改进的残差模块结构图如图3所示.
为了在网络中引入更多的上下文信息，进一步融合网络多尺度特征，本文在上采样路径和下采样路径之间引入了PSP 池化模块. 该模块将输入从通道维度平均划分为4个层级，针对划分后的4个层级，分别对其使用1×1、2×2、3×3、6×6尺寸的池化核进行池化操作. 在每组池化的结果之后，采用原始特征数量1/4的1×1卷积实现特征维度的缩减，最终在4组池化后的特征上采样到与输入特征相同的尺寸，并进行特征的拼接，融合多尺度特征. 本文采用的PSP 池化模块的结构图如图4所示.
本网络使用ReLU函数作为网络激活函数. 输入的彩色眼底图经过改进型U形网络的分割会输出血管的二值图，这些输出图像将用于新生血管的分类.
1.3 血管分类
在Yu等[10]的研究中证明了，面对两类样本数量不均衡的情况下的新生血管二分类任务时，SVM比卷积神经网络有着更强的分类能力，可以极大地提高分类的效率和准确性. 故本文使用SVM对经过分割的新生血管图像进行血管的分类.
在训练SVM的过程中，本文设置了一个滑动窗口，每个滑动窗口大小為50×50像素，按照从左至右，从上至下，步长为20像素的顺序对新生血管图像进行遍历. 计算每个窗口内的血管特征信息，比对专家的标定结果附上属于新生血管或不属于新生血管的标签，形成一个训练样本.
结合本文的应用场景和新生血管的形态特征，采用血管段弯曲度平均值、血管段弯曲度方差、血管宽度平均值、血管宽度方差、血管段长度平均值、血管段长度方差、血管面积、血管分支点个数和血管段个数等9个参数作为样本特征.
使用AngioTool软件可以批量地从窗口中提取以上特征值. AngioTool是一款专业的血管分析工具，它可以快速并且准确地测量一系列的血管形态学指标和空间参数. 本文所选取的9个特征值均可通过使用AngioTool获取. AngioTool对血管图像测量参数的效果如图5所示.
在分类过程中，窗口每滑动一次都会对当前窗口区域内的图像进行血管特征信息的计算，由训练好的SVM给出分类结果，判断该窗口图像内是否包含新生血管.
2 实验设置与实验结果
2.1 实验数据与实验设置
本文分别从MESSIDOR数据集和Kaggle数据集中各挑选了29张和90张共119张包含新生血管的彩色眼底图作为实验材料，并将图片分辨率统一调整至1 024×1 024像素. 这119张新生血管图均由专家进行了新生血管区域的标定.
此外，本文还从Kaggle数据集中随机选取80张正常的彩色眼底图像，统一分辨率1 024×1 024像素，作为负样本参与检验本方法中新生血管分类器的性能.
本文的改进型U形网络和SVM的训练和测试均使用Nvidia Titan Xp GPU，在Keras深度学习框架上进行.
对于改进型U形网络的训练，为了避免训练数据过少而导致网络训练过程中出现过拟合现象，本文从每一个训练集图像中随机提取等大小的10 000个图像块，38张图像，共380 000个图像块参与训练，每一个图像块大小为48×48像素. 这38张图像均配有专家标定的金标准图像.
本文采用随机梯度下降的优化函数来对网络参数进行优化，采用对数交叉熵代价函数作为损失函数来衡量网络的分类误差. 学习率初始化为0.01，每次训练38个图像块，共训练200轮.
对于SVM的训练，本文选取46张新生血管图像，共9 026个带标签的样本（有效的窗口子图像）参与训练. 测试集数据由80张正常眼底图像和另外73张新生血管图像组成.
在本文中，SVM的C参数值设为0.55. 使用K折交叉验证方法，将训练数据随机分为k个较小的子集，并在每次迭代中对数据的k-1部分训练模型. 数据的其余部分用作验证和性能评估. 该过程重复k次，平均性能报告为总体性能. 在本文中，k=10.
2.2 实验指标
对于新生血管分割网络的分割结果评估，其分割结果将会与专家标注的金标准血管图进行比对，计算4种统计指标：真阴性（true negative，TN）、真阳性（true positive，TP）、假阴性（false negative，FN）和假阳性（false positive，FP）. TN表示被正确地分为背景像素的像素点;TP表示被正确地分为血管像素的像素点;FN表示被错误地分为血管像素的像素点;FP表示被错误地分为背景像素的像素点.
对于分类器的分类结果评估，其分类结果将会与专家标注的诊断结果进行比对，同样计算4种统计指标：TN、TP、FN和FP. 如果存在一个窗口将当前的图像区域正确地分类为新生血管区域，则该图像正确地检测到了新生血管，计入TP;如果所有窗口都将当前的圖像区域正确地分类为非新生血管，则该图像正确地被分类为不含新生血管图像，计入TN;如果一张不包含新生血管的图像存在一个窗口将当前区域的图像错误地分类为新生血管，则该图像被错误地分类为新生血管图像，计入FN;如果一张包含新生血管的图像的所有窗口都将当前图像区域错误地分类为非新生血管，则该图像被错误地分类为不含新生血管的图像，计入FP.
对于血管分割和血管分类两个任务，通过这4种统计指标，进一步计算出3个评估指标：特异性（Specificity，Sp）、灵敏度（Sensitivity，Sn）、准确率（Accuracy，Acc），这3个评估指标的计算方法为：
2.3 实验结果
改进型U形网络对21张含新生血管的眼底图像进行了分割测试，这21张图像均带有专家标注的血管金标准图像. 同样地，使用原始U形网络对这21张图像进行分割测试. 两个模型的分割结果对比见表1. 两种模型对新生血管分割的结果对比见图6.
由图6可以看出，改进型U形网络和原始U型网络对于普通血管的分割效果相近. 但对于低对比度血管和细小血管的分割，改进型U形网络效果明显优于原始U形网络.
由表1可知，本文提出的改进型U形网络对新生血管的分割准确率优于原始U形网络，达到87.60%. 改进型U形网络对血管全局分割的效果见图7.
分类器对153张眼底图像进行了分类测试，这153张图像中有73张图像被专家标注为含新生血管图像，80张正常眼底图像. 分类结果与其他新生血管检测研究的对比见表2.
从表2可见，本文提出的方法最终取得了对新生血管分类准确率95.96%、灵敏度91.10%、特异性97.16%的结果，对比其他已有研究结果，本文提出的方法在新生血管分类的准确率和特异性上获得了最优的水平.
分类准确率代表着分类器在进行分类任务时，对多个标签的样本分类的总体正确率. 考虑到本文的实际情况是非新生血管标签数量远大于新生血管标签数量，说明本文提出的方法对非新生血管区域可以更好地分类. 灵敏度在本文中代表着对新生血管区域分类的正确率，灵敏度越高，说明有更多的新生血管区域被正确地分类，有更少的非新生血管区域被错误地分类成新生血管区域. 特异性在本文中代表着对非新生血管区域分类的正确率，特异性越高，说明有更多的非新生血管区域被正确地分类，有更少的新生血管区域被错误地分类成非新生血管区域.
本文提出的方法对非新生血管区域分类的效果极佳，有很高的特异性. 这样可以最大程度地避免在实际操作中将非新生血管区域误诊为新生血管. 本文的方法在整体的准确率上也取得了最优的水平. 综合来看，本文提出的方法可以作为计算机辅助诊断方法辅助医生进行新生血管的检测.
3 结 论
本文提出的改进型U形网络对新生血管分割的效果优于原始U形网络，可以较好地分割新生血管. 本文提出的新生血管检测方法相比目前文献，在MESSIDOR数据集和Kaggle数据集上可以较好地检测新生血管，且准确率最高.
少量的新生血管图像被本方法错误分类，这是因为新生血管并不是糖网病在眼底图上会出现的唯一病症，其他病症如出血、渗出等会覆盖新生血管，干扰检测.
本文提出的方法可以用于计算机辅助诊断，帮助医生做出决策. 今后将构建专门的新生血管图像数据库，进一步优化分割神经网络和新生血管分类器，寻找有效的噪声消除方法，提高本方法对新生血管检测的准确率和鲁棒性.
参考文献
[1] 张承芬. 眼底病学[M]. 北京：人民卫生出版社，2010：261-281.
ZHANG C F. Diseases of ocular fundus [M]. Beijing：Peoples Medical Publishing House，2010：261—281.（In Chinese）
[2] 中華医学会眼科学会眼底病学组. 我国糖尿病视网膜病变临床诊疗指南[J]. 中华眼科杂志，2014，50（11）：854—861.
Ophthalmology Group of Ophthalmology Society of Chinese Medical Association. Guidelines for clinical diagnosis and treatment of diabetic retinopathy in China[J]. Chinese Journal of Ophthalmology，2014，50（11）：854—861. （In Chinese）
[3] AGURTO C，YU H，MURRAY V. Detection of neovascularization in the optic disc using an AM-FM representation granulometry and vessel segmentation[C]//Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway，United States：IEEE Press，2012：4946—4949.
[4] GOATMAN K A，FLEMING A D，PHILIP S. Detection of new vessels on the optic disc using retinal photographs[J]. IEEE Transactions on Medical Imaging，2011，30（4）：972—979.
[5] HASSAN S S A，BONG D B L，PREMSENTHIL M. Detection of neovascularization in diabetic retinopathy[J]. Journal of Digital Imaging，2012，25（3）：437—444.
[6] MARYAM V. A feasibility study on detection of neovascularization in retinal color images using texture [J]. IEEE Journal of Biomedical and Health Informatics，2014，21（1）：184—192.
[7] WELIKALA R A，DEHMESHKI J，HOPPE A，et al. Automated detection of proliferative diabetic retinopathy using a modified line operator and dual classification[J]. Compute Methods Programs Biomed，2014，114（3）：247—261.
[8] GUPTA G，KULASEKARAN S，RAM K，et al. Local characterization of neovascularization and identification of proliferative diabetic retinopathy in retinal fundus images[J]. Computerized Medical Imaging and Graphics，2017，55（S C）：124—132.
[9] PUJITHA A K，JAHNAVI G S，SIVASWAMY J. Detection of neovascularization in retinal images using semi-supervised learning[C]//International Symposium on Biomedical Imaging. Beijing，China：ISBI，2017：688—691.
[10] YU S，XIAO D，KANAGASINGAM Y. Machine learning based automatic neovascularization detection on optic disc region[J]. IEEE Journal of Biomedical and Health Informatics，2018，22（3），886—894.
[11] RONNEBERGER O，FISCHER P，BROX T. U-net：Convolutional networks for biomedical image segmentation[C]//International Conference on Medical image computing and computer-assisted intervention.Berlin，Germany：Springer，Cham，2015：234—241.
[12] SONG J，LEE B. Development of automatic retinal vessel segmentation method in fundus images via convolutional neural networks[C]//2017 Annual International Conference of the IEEE Engineering in Medicine and Biology Society.Piscataway，United States：IEEE Press，2017：681—684.
[13] HE K，ZHANG X，REN S，et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，United States：IEEE Press，2016：770—778.
[14] ZHAO H，SHI J，QI X，et al. Pyramid scene parsing network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，United States：IEEE Press，2017：2881—2890.
[15] CHEN L C，PAPANDREOU G，KOKKINOS I，et al. Deeplab：Semantic image segmentation with deep convolutional nets，atrous convolution，and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，40（4）：834—848.
收稿日期：2020-04-10
基金項目：国家自然科学基金资助项目（61573380，61702559），National Natural Science Foundation of China（61573380，61702559）;国家重大科技专项（2018AAA0102100），National Science and Technology Major Project of the Ministry of Science and Technology of China（2018AAA0102100）
作者简介：邹北骥（1961—），男，江西南昌人，中南大学教授
通信联系人，E-mail：446253846@qq.com
猜你喜欢 深度学习 分析物理实验异常现象促进学生深度学习中学物理·初中(2020年3期)2020-04-07深度学习在小学美术教学中的运用探讨新教育时代·教师版(2020年2期)2020-03-30基于深度学习的小学数学概念教学小学教学参考(数学)(2020年2期)2020-03-12STEM构建初中化学深度学习的策略探究文理导航·教育研究与实践(2020年1期)2020-02-28浅谈在高中化学课堂教学中基于核心素养培育的深度学习化学教与学(2020年1期)2020-02-14深度学习理念引领下的小学数学概念理解教学探析教学研究与管理(2019年11期)2019-03-18“绘”声“绘”色 进入绘本深度学习小学教学研究(2019年12期)2019-03-07基于深度学习的光场加密图像恢复技术光学仪器(2019年4期)2019-02-21体验式学习：让数学学习真正发生江苏教育研究(2019年35期)2019-02-10引导高年级学生深度学习培养良好的数学思维品质考试周刊(2019年94期)2019-02-04
