摘要
针对茶园复杂背景下茶叶叶部病害识别较为困难的问题,提出一种基于改进Faster RCNN算法的茶叶叶部病害识别方法。通过对优化区域建议框的特征提取网络VGG-16、MobileNetV2和ResNet50进行比较,选择识别效果较好的ResNet50作为骨干网络,增加模型在茶园复杂背景下对茶叶叶部病害特征的提取能力;融入特征金字塔网络(feature pyramid network,FPN)改善小目标漏检问题和病斑的多尺度问题;采用Rank & Sort (RS) Loss 函数代替原 Faster RCNN 中的损失函数,缓解样本分布不均给模型带来的性能影响,进一步提高检测精度。结果显示:改进模型平均精度均值PmA为88.06%,检测速度为19.1帧/s,对藻斑病、白星病、炭疽病、煤烟病识别平均精度分别为75.54%、86.84%、90.42%、99.45%,比Faster RCNN算法分别提高40.98、44.16、13.9和2.43百分点。以上结果表明,基于改进Faster RCNN算法的茶叶叶部病害识别方法能够弱化茶园复杂背景的干扰,准确识别茶园复杂背景下茶叶叶部病害目标。
我国是世界上茶叶种植面积最大的国家,然而,在茶叶生产过程中病害感染问题尤为严重,其中危害叶片的病害居多。这些病害会直接影响茶叶的产量和品质,给茶农带来严重的经济损失。传统检测茶叶病害的技术不仅费时、费力,而且效率低下、费用高昂。因此,研究实现茶叶病害准确高效的分类与识别方法至关重
近年来,利用深度学习技术对病害进行智能识别很好地弥补了传统图像处理方法和机器学习技术在病害识别方面的不
随着基于CNN的目标检测方法的兴起,传统分类网络方法的不足得以改善。目标检测方法对输入图像中的目标物体既可以分类也可以定位,其输出是一组边界框和相应的类别标签,每个边界框描述了图像中一个检测到的物体的位置,允许在一张图像中检测和定位多个物体,每个物体都有相应的类别标签和边界框。目标检测网络分为2类:第一类是以YOLO(you only look once
目前对于茶园复杂背景下的茶叶叶部病害检测研究较少,且茶叶叶部病害的病斑尺度差异较大。为解决茶园复杂背景下茶叶叶部病害识别较为困难的问题,实现复杂背景下茶叶叶部病害的精准识别,本研究选择结构复杂但精准度较好的Faster RCNN算法作为基础网络,融合FPN网络、优化损失函数,旨在进一步提高网络对茶叶叶部病害的识别精度,弱化茶园复杂环境对病害识别的干扰,为茶园茶叶叶部病害的快速诊断提供精确信息。
本研究所用的茶叶病害图片均采集自广东省农业技术推广中心茶园,拍摄于2021年10月至2023年9月茶叶病害高发季节。在数据采集过程中,使用Redmi K30 Pro手机(6 400万像素),图像以JPG格式保存。为保证图像样本的多样性与丰富程度,模拟实际茶园复杂环境中可能遇到的各种情况,在不同天气(晴天、阴天和雨后)、不同角度(背阳和向阳等)条件下进行拍摄,拍摄距离为15~25 cm。
采集的病害类别包括白星病、藻斑病、炭疽病和煤烟病。藻斑病和白星病病斑小且密集,炭疽病和煤烟病病斑大且稀疏。各目标所在环境均为茶园自然生态环境,采集到的数据中含有茶树枝干、杂草以及土壤等干扰因子,这些病害数据能够反映茶树病害真实的生存环境,很好地表述了茶树生长环境的多样性和复杂性,适用于复杂背景下茶树病害目标检测任务。采集的茶叶叶部病害样例如

图1 茶叶叶部病害示例
Fig. 1 Leaf diseases’ samples of tea
茶园采集的茶病害数据经过茶病害专家的对比确认,人工筛选和裁剪后得到分辨率为3 472像素×3 472像素的2 694张茶病害样本,其中白星病、藻斑病、炭疽病、煤烟病的数量分别是537、684、672和801张。采用LabelImg图像标注工具对图像中的病斑进行标注,LabelImg可直接将人工标注的信息转化为 Faster RCNN模型训练所需要的包含病害类型、位置坐标等信息的xml文件;选择PASCAL VOC格式进行类别标注。数据集以8∶1∶1的比例随机划分为训练集、验证集和测试集。训练集用于训练模型及确定模型权重,验证集用于确定网络结构以及调整模型的超参数,测试集用于评估训练结束后模型的性能。数据集的划分情况如
数据集类别 Data set class | 白星病数量 Number of white scab | 藻斑病数量 Number of algal spot | 炭疽病数量 Number of anthracnose | 煤烟病数量 Number of sooty mold |
---|---|---|---|---|
训练集 Training set | 430 | 547 | 537 | 641 |
验证集 Validation set | 53 | 68 | 67 | 80 |
测试集 Test set | 54 | 69 | 68 | 80 |
Faster RCNN算法是在 RCNN 算法和 Fast RCNN算法基础上进行一系列改进得到的二阶段模型,是目标检测算法典型代表之一。
Faster RCNN算法包含4个模块:特征提取网络(feature extraction network,FEN)、区域生成网络(region proposal network,RPN)、ROI (region of interest) pooling和RCNN模块(region convolutional neural network)。输入模型中的图像首先经过特征提取网络得到一系列特征图;然后将特征图传入区域建议网络即RPN中进行训练,通过分类层和边框回归生成区域建议框,获取目标对象的大致位置;接着将RPN中生成的区域建议框和特征图池转化成固定长度的数据传入全连接层。最后利用Softmax分类器计算出具体类别,同时再做1次边框回归获得检测框最终的精确位置。Faster RCNN算法整体网络结构如

图2 Faster RCNN基本结构
Fig. 2 Basic structure of Faster RCNN
1)区域建议框优化。锚框机制是RPN网络的核心,锚框是一个矩形区域,合适的锚框可以更多地检测出待测目标。在 Faster RCNN 的默认配置中,使用3个不同的面积尺度(128像素×128像素、256像素×256像素和512像素×512像素)和3个长宽比组合(1∶1、1∶2和2∶1)生成9个锚框。原始面积尺度和长宽比被设计用于PASCAL VOC数据集中的20种不同物体的检测,发现并不适合茶叶病斑的检测,因此,本研究针对茶叶病斑的特点优化面积尺度和长宽比。
本研究对象中的藻斑病和白星病病斑直径大多不超过5 mm,且多采集于尺寸较小的铁观音叶片,区域建议框的尺度相对于病斑较大,在检测过程中,小病斑将会无法被检测到。因此,本研究对原始Faster RCNN区域建议框进行优化,剔除[256,512]这2个边框尺度,增加[4,8,16,32,64]5个边框尺度,最终生成如

图3 改进后的锚框
Fig. 3 Improved anchor boxes
2)融合FPN网络。在传统的卷积神经网络中,通常通过堆叠多个卷积层来提取图像特征。然而,在物体检测任务中,不同尺度的目标可能需要不同层次的特征进行检测。本研究中藻斑病和白星病的病斑非常小,而炭疽病和煤烟病病斑相对较大(大多超过叶片的1/4),多尺度问题明显。Lin
特征金字塔结构简图如

图4 特征金字塔结构简图
Fig. 4 Schematic diagram of characteristic pyramid structure
⊕表示上面特征图与下面特征图逐元素相加。⊕ represents the addition of the upper feature graph and the lower feature graph element by element.
为了提高 Faster RCNN 对藻斑病和白星病2种小病斑的检测精度以及解决病斑的多尺度问题,本研究在特征提取网络ResNet50的基础上,融合FPN网络结构(

图5 融合FPN网络后的 Faster RCNN结构图
Fig. 5 Structure diagram of Faster RCNN after fusing FPN network
Conv1、Conv2-x、Conv3-x、Conv4-x、Conv5-x 表示ResNet50的5个子网络结构;1×1表示卷积核大小;s1表示步长为1;Upsample表示上采样;⊕表示上一个特征图与下一个特征图逐元素相加;Maxpool 表示最大池化操作;P2、P3、P4、P5、P6 表示经过特征融合后的接征图;Concat表示连接操作;Proposals表示候选框。Conv1, Conv2-x,Conv3-x、Conv4-x,Conv5-x represent the 5 sub-network structures of ResNet50; 1×1 represents the convolution kernel size; s1 represents the step size of 1; Upsample represents the upsampling; ⊕ represents the addition of the previous feature map and the next feature map element by element; Maxpool represents the maximum pooling operation; P2,P3,P4,P5,P6 indicate the interface map after feature fusion; Concat indicates the join operation; Proposals indicates the candidate frame.
3)损失函数优化。茶叶病害数据集中,白星病数据量相对其他3种病害较为有限,导致数据分布呈现不平衡情况,进而影响模型的检测性能。为了解决这一问题,本研究对损失函数部分进行优化改进,引入了Oksuz
Faster RCNN算法的损失主要包含RPN和Fast RCNN 2个部分。由于在多任务训练中,损失部分的超参数和任务数量成正比,因此模型训练过程中损失部分会产生较多的超参数,需要不断调整参数来获得较好的模型性能。采用RS Loss后,由于其内置免调优任务平衡系数,替代原有损失函数后无需进行任何超参数调优,可以有效减少调参过程中时间和资源的浪费。
RS Loss由Ranking和Sorting 2部分组成。Ranking阶段通过分类得分将正负样本区分开,确保所有正样本均排在负样本之上;Sorting阶段则基于预测框和真实框之间的交并比,将正样本进行排序分类,使得在训练时不同正样本具有不同的优先级。这种方法的好处有:通过在训练期间对正样本进行优先级排序,RS Loss训练的检测器不需要额外的辅助信号;由于RS Loss基于排序的性质,这一特性使得其在训练过程中可以有效处理不平衡的数据,无需加入样本均衡策略。
本试验所使用的硬件配置为8 GB RAM、Intel(R)Core(TM)i7-5500U和2块NVIDIA GeForce GTX 3090 Ti GPU的台式计算机;采用基于CUDA 10.1和CUDNN 8.0.5的PyTorch1.10.0深度学习框架,代码运行环境为Python3.7;采用Adam优化算法,基础学习率、衰减系数、动量、权值衰减、批量大小参数的设置分别为0.01、0.02、0.9、0.000 1、16。
采用不同特征提取网络VGG-16、MobileNetV2和ResNet50对病害进行目标检测识别,由
特征提取网络 Feature extraction network | 区域建议框尺寸 Size of region proposal box | PmA/% | 检测速度/(帧/s) Detection speed | 模型大小/MB Model size |
---|---|---|---|---|
VGG-16 | [128,256,512] | 62.70 | 13.2 | 522.0 |
MobileNetV2 | [128,256,512] | 67.72 | 15.6 | 17.0 |
ResNet50 | [128,256,512] | 70.19 | 17.9 | 108.0 |
VGG-16 |
[ | 69.40 | 13.1 | 518.0 |
MobileNetV2 |
[ | 68.08 | 15.6 | 16.9 |
ResNet50 |
[ | 73.59 | 17.8 | 107.6 |
ResNet50+FPN |
[ | 85.68 | 16.8 | 159.0 |
ResNet50+FPN+RS Loss |
[ | 87.95 | 19.1 | 116.0 |
特征提取网络 Feature extraction network | 区域建议框尺寸 Size of region proposal box | 藻斑病 Algal spot | 白星病 White scab | 炭疽病 Anthracnose | 煤烟病 Sooty mold |
---|---|---|---|---|---|
VGG-16 | [128,256,512] | 34.56 | 42.68 | 76.52 | 97.02 |
MobileNetV2 | [128,256,512] | 39.44 | 48.48 | 84.40 | 98.54 |
ResNet50 | [128,256,512] | 41.40 | 51.25 | 89.21 | 98.91 |
VGG-16 |
[ | 43.28 | 50.45 | 85.43 | 98.42 |
MobileNetV2 |
[ | 40.15 | 49.12 | 84.46 | 98.60 |
ResNet50 |
[ | 45.17 | 57.99 | 92.28 | 98.92 |
ResNet50+FPN |
[ | 71.29 | 83.23 | 98.56 | 98.98 |
ResNet50+FPN+RS Loss |
[ | 75.54 | 86.84 | 90.42 | 99.45 |
由于ResNet50的目标检测识别性能比VGG-16和MobileNetV2更好,所以在特征提取网络为ResNet50的基础上结合FPN网络。由
为验证提出的改进方法对藻斑病、白星病、炭疽病和煤烟病实际检测的有效性,本研究将改进后的Faster RCNN算法与Faster RCNN(VGG-16)算法基于相同测试集评估识别效果。由

图6 改进前后Faster RCNN算法检测识别效果
Fig. 6 Detection and recognition effect of Faster RCNN algorithm before and after improvement
白星病样本中含有雨后残留在叶片上的水珠,水珠在两叶片阴影处,与白星病边缘病斑颜色相近,且水珠轮廓与病斑轮廓相似,对模型检测造成影响而发生了误检现象。而改进Faster RCNN算法抑制了水珠对该病害的影响,实现对白星病的精准检测。
对于炭疽病和煤烟病,因大量枯枝落叶土壤等复杂背景影响,Faster RCNN模型对病斑识别定位不太准确,生成的预测框与真实病害区域存在一定偏差,改进Faster RCNN算法则生成更接近这2种病斑的矩形预测框。Faster RCNN和改进Faster RCNN算法对每种茶叶病害检测效果对比结果说明区域建议框尺寸改进、FPN网络和RS Loss共同作用下的有效性。
为验证提出的改进方法在茶园复杂背景下对茶叶病害识别的有效性,本研究将改进后的Faster RCNN算法与Faster RCNN(VGG16)、RetinaNet、SSD512和YOLOv5算法进行对比。由
算法 Algorithms | PmA/% | 检测速度/(帧/s) Detection speed | 模型大小/MB Model size |
---|---|---|---|
Faster RCNN (VGG-16) | 62.70 | 13.2 | 522.0 |
RetinaNet | 72.79 | 16.2 | 139.0 |
SSD512 | 85.08 | 16.9 | 100.0 |
YOLOv5 | 87.88 | 20.5 | 90.1 |
改进Faster RCNN Improved Faster RCNN | 88.06 | 19.1 | 116.0 |
由

图7 不同算法各病害PA值对比
Fig. 7 Comparison of PA values of different algorithms
为了更加清晰地比较出各类算法对病斑的实际检测效果,在测试集中选取4种病害样本进行评估。由

图8 不同算法检测识别对比
Fig. 8 Detection and recognition effect of different algorithms
本研究针对茶园复杂环境下茶叶叶部病害的检测识别难题,提出一种基于改进Faster RCNN算法的茶叶叶部病害识别方法。通过改进区域建议框的边框尺度,将融合FPN的ResNet50网络作为特征提取网络,采用Rank & Sort (RS) Loss 函数代替 Faster RCNN 中的损失函数,改善小目标漏检问题和病斑的多尺度问题,弱化茶园复杂环境的干扰,提高识别精度。为验证本研究改进方法的有效性,在同一实验平台使用相同数据集进行对比试验。结果显示,改进Faster RCNN算法的PmA、检测速度和模型大小等指标均优于Faster RCNN算法。与Faster RCNN相比,改进Faster RCNN算法对藻斑病、白星病、炭疽病和煤烟病的PA值分别提高40.98、44.16、13.9和2.43百分点,模型大小降低了77.7%,检测速度提高了44.7%,模型性能得到有效提升。与SSD和RetinaNet算法相比,改进Faster RCNN模型在识别精度和检测速度上具有一定的优势。
本研究基于改进的Faster RCNN算法实现了茶园复杂背景下4种茶叶叶部病害的精准高效识别,对茶园病害的防治具有一定意义。然而,本研究所使用的数据集中茶叶病害的种类相对较少,同时,有一些病害在颜色和特征上相近,甚至可能出现在同一叶片中,呈现出一种复杂的病害组合情况。在后续的研究中,将拓展茶叶病害的种类,深入研究茶叶的复杂多病害问题;将进一步提高模型的泛用性和鲁棒性,设计轻量化以嵌入到不同的移动式设备应用于茶园,为茶叶种植产业的智能化管理提供参考。
参考文献 References
杨小伟.基于卷积神经网络的自然场景下茶叶病害识别[D].合肥:安徽大学,2021.YANG X W.Identification of tea leaf’s diseases in natural scene based on convolutional neural network[D].Hefei:Anhui University,2021 (in Chinese with English abstract). [百度学术]
林彬彬, 邱新法, 何永健, 等. 茶树病害智能诊断识别算法研究[J]. 江苏农业科学,2019,47(6):85-91. LIN B B, QIU X F, HE Y J, et al. Research on intelligent diagnosis and recognition algorithm of tea tree diseases [J]. Jiangsu agricultural sciences, 2019,47(6):85-91 (in Chinese with English abstract). [百度学术]
ZOU X, REN Q, CAO H, et al. Identification of tea diseases based on spectral refle-ctance and machine learning[J]. Journal of information processing systems,2020, 16(2): 435-446. [百度学术]
HU G S,YANG X W,ZHANG Y,et al.Identification of tea leaf diseases by using an improved deep convolutional neural network[J/OL].Sustainable computing:informatics and systems,2019,24:100353[2024-01-04].https://doi.org/10.1016/j.suscom.2019.100353. [百度学术]
SURESH G,GNANAPRAKASH V,SANTHIYA R.Performance analysis of different CNN architecture with different optimisers for plant disease classification[C]//2019 5th International Conference on Advanced Computing & Communication Systems (ICACCS).Coimbatore,India:IEEE,2019:916-921. [百度学术]
孙云云,江朝晖,董伟,等.基于卷积神经网络和小样本的茶树病害图像识别[J].江苏农业学报,2019,35(1):48-55.SUN Y Y,JIANG Z H,DONG W,et al.Image recognition of tea plant disease based on convolutional neural network and small samples[J].Jiangsu journal of agricultural sciences,2019,35(1):48-55 (in Chinese with English abstract). [百度学术]
李子茂,徐杰,郑禄,等.基于改进DenseNet的茶叶病害小样本识别方法[J].农业工程学报,2022,38(10):182-190.LI Z M,XU J,ZHENG L,et al.Small sample recognition method of tea disease based on improved DenseNet[J].Transactions of the CSAE,2022,38(10):182-190 (in Chinese with English abstract). [百度学术]
REDMON J, DIVVALA S, GIRSHICK R, et al.You only look once: unified, real-time object detection[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Las Vegas, NV, USA: IEEE,2016, 779-788. [百度学术]
REDMON J,FARHADI A.YOLO9000:better,faster,stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Honolulu,HI,USA:IEEE,2017:6517-6525. [百度学术]
REDMON J,FARHADI A.YOLOv3:an incremental improvement[EB/OL].[2024-01-04].http://arxiv.org/abs/1804.02767v1. [百度学术]
LIU W,ANGUELOV D,ERHAN D,et al.SSD:single shot MultiBox detector[C]//European Conference on Computer Vision.Cham:Springer,2016:21-37. [百度学术]
WANG J,YU L Y,YANG J,et al.DBA_SSD:a novel end-to-end object detection algorithm applied to plant disease detection[J/OL].Information,2021,12(11):474[2024-01-04].https://doi.org/10.3390/info12110474. [百度学术]
顾伟,王巧华,李庆旭,等.基于改进SSD的棉种破损检测[J].华中农业大学学报,2021,40(3):278-285.GU W,WANG Q H,LI Q X,et al.Improved SSD based detection of damaged cottonseed[J].Journal of Huazhong Agricultural University,2021,40(3):278-285 (in Chinese with English abstract). [百度学术]
邸洁,曲建华.基于Tiny-YOLO的苹果叶部病害检测[J].山东师范大学学报(自然科学版),2020,35(1):78-83.DI J,QU J H.A detection method for apple leaf diseases based on tiny-yolo[J].Journal of Shandong Normal University (natural science edition),2020,35(1):78-83 (in Chinese with English abstract). [百度学术]
GIRSHICK R.Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision (ICCV).Santiago,Chile:IEEE,2015:1440-1448. [百度学术]
REN S Q,HE K M,GIRSHICK R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[J].IEEE transactions on pattern analysis and machine intelligence,2017,39(6):1137-1149. [百度学术]
ZHANG Y,SONG C L,ZHANG D W.Deep learning-based object detection improvement for tomato disease[J].IEEE access,2020,8:56607-56614. [百度学术]
ZHANG Y L,ZHANG L G,YU H W,et al.Research on the strawberry recognition algorithm based on deep learning[J/OL].Applied sciences,2023,13(20):11298[2024-01-04].https://doi.org/10.3390/app132011298. [百度学术]
LIN T Y,DOLLÁR P,GIRSHICK R,et al.Feature pyramid networks for object detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Honolulu,HI,USA:IEEE,2017:936-944. [百度学术]
陈柯屹,朱龙付,宋鹏,等.融合动态机制的改进型Faster R-CNN识别田间棉花顶芽[J].农业工程学报,2021,37(16):161-168.CHEN K Y,ZHU L F,SONG P,et al.Recognition of cotton terminal bud in field using improved Faster R-CNN by integrating dynamic mechanism[J].Transactions of the CSAE,2021,37(16):161-168 (in Chinese with English abstract). [百度学术]
李就好,林乐坚,田凯,等.改进Faster R-CNN的田间苦瓜叶部病害检测[J].农业工程学报,2020,36(12):179-185.LI J H,LIN L J,TIAN K,et al.Detection of leaf diseases of balsam pear in the field based on improved Faster R-CNN[J].Transactions of the CSAE,2020,36(12):179-185 (in Chinese with English abstract). [百度学术]
OKSUZ K,CAM B C,AKBAS E,et al.Rank & sort loss for object detection and instance segmentation[C]//2021 IEEE/CVF International Conference on Computer Vision (ICCV).Montreal,QC,Canada:IEEE,2021:2989-2998. [百度学术]