网刊加载中。。。

使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,

确定继续浏览么?

复制成功,请在其他浏览器进行阅读

基于改进Faster RCNN的茶叶叶部病害识别  PDF

  • 姜晟 1,2
  • 曹亚芃 1
  • 刘梓伊 1
  • 赵帅 1
  • 张振宇 1
  • 王卫星 1,2
1. 华南农业大学电子工程学院(人工智能学院), 广州 510642; 2. 广东省农情信息监测工程技术研究中心, 广州 510642

中图分类号: TP391.4S345.711

最近更新:2024-11-22

DOI:10.13300/j.cnki.hnlkxb.2024.05.005

  • 全文
  • 图表
  • 参考文献
  • 作者
  • 出版信息
EN
目录contents

摘要

针对茶园复杂背景下茶叶叶部病害识别较为困难的问题,提出一种基于改进Faster RCNN算法的茶叶叶部病害识别方法。通过对优化区域建议框的特征提取网络VGG-16、MobileNetV2和ResNet50进行比较,选择识别效果较好的ResNet50作为骨干网络,增加模型在茶园复杂背景下对茶叶叶部病害特征的提取能力;融入特征金字塔网络(feature pyramid network,FPN)改善小目标漏检问题和病斑的多尺度问题;采用Rank & Sort (RS) Loss 函数代替原 Faster RCNN 中的损失函数,缓解样本分布不均给模型带来的性能影响,进一步提高检测精度。结果显示:改进模型平均精度均值PmA为88.06%,检测速度为19.1帧/s,对藻斑病、白星病、炭疽病、煤烟病识别平均精度分别为75.54%、86.84%、90.42%、99.45%,比Faster RCNN算法分别提高40.98、44.16、13.9和2.43百分点。以上结果表明,基于改进Faster RCNN算法的茶叶叶部病害识别方法能够弱化茶园复杂背景的干扰,准确识别茶园复杂背景下茶叶叶部病害目标。

我国是世界上茶叶种植面积最大的国家,然而,在茶叶生产过程中病害感染问题尤为严重,其中危害叶片的病害居多。这些病害会直接影响茶叶的产量和品质,给茶农带来严重的经济损失。传统检测茶叶病害的技术不仅费时、费力,而且效率低下、费用高昂。因此,研究实现茶叶病害准确高效的分类与识别方法至关重

1

近年来,利用深度学习技术对病害进行智能识别很好地弥补了传统图像处理方法和机器学习技术在病害识别方面的不

2-3。深度学习方法分为基于卷积神经网络(convolutional neural networks,CNN)的传统分类网络方法和目标检测方法。CNN可以通过自动提取图像特征从而实现对植物病害的分类识别。Hu4利用改进后的CIFAR10-quick模型实现对茶叶健康叶片、叶枯病、芽枯病和圆赤星病的分类识别,平均识别准确率为92.5%。Suresh5使用3种不同的卷积神经网络模型对葡萄黑腐病、叶枯病和黑麻疹病进行识别。孙云云6采用经典分类网络模型AlexNet对茶轮斑病、炭疽病和云纹叶枯病的识别准确率分别达到90%、85%和90%。李子茂7将SENet模块融入DenseNet网络结构中,引入Focal Loss函数替换原DenseNet中的损失函数,对茶白星病、轮斑病、茶煤病、圆赤星病和叶枯病的识别准确率达到92.66%。以上均是基于传统分类网络的植物病害识别方法,传统分类网络主要用于对输入图像进行分类,确定图像属于预定义类别中的哪一类,通常仅输出一个类别标签,且不能对目标物体进行定位。

随着基于CNN的目标检测方法的兴起,传统分类网络方法的不足得以改善。目标检测方法对输入图像中的目标物体既可以分类也可以定位,其输出是一组边界框和相应的类别标签,每个边界框描述了图像中一个检测到的物体的位置,允许在一张图像中检测和定位多个物体,每个物体都有相应的类别标签和边界框。目标检测网络分为2类:第一类是以YOLO(you only look once

8-10系列和SSD(single shot multibox detector11为代表的单阶段检测算法,这类算法通常采用单一的神经网络直接输出图像中目标的类别和位置。Wang12基于SSD网络提出DBA SSD算法,融合了改进后的VGG网络和通道注意力机制,实现对PlantVillage数据集中14种植物叶片的病害识别和程度分类。顾伟13利用改进的SSD算法对破损棉籽和无损棉籽识别准确率达到96.1%。邸洁14采用Tiny-YOLO网络实现对苹果叶部病害快速有效的检测。第二类是以R-CNN系列(region-based convolutional neural network15-16为代表的二阶段检测算法。第一阶段是生成图像中可能包含物体的候选区域,第二阶段是生成的候选区域被送入一个分类器进行目标的精确分类。由于有2个明显的阶段,模型可以专注于不同的任务,使得整个系统更加灵活和可优化,有较为精确的目标定位和分类能力。Zhang17用深度残差网络作为Faster RCNN的特征提取网络,采用K-means聚类算法对边界框进行聚类,改进后的算法对番茄的健康叶片和4种病害的识别准确率比原来提高了2.71%。Zhang18提出了一种结合Mixup数据增强、ResNet50特征提取网络和Soft-NMS (non-maximum suppression)算法的Faster RCNN草莓识别方法,对成熟草莓和未成熟草莓的识别精度分别达到95.12%和88.79%。以上试验中对蔬菜水果和粮食作物的识别定位大多基于实验室背景,对复杂背景下病害的识别定位研究相对较少。复杂的茶园环境,包括杂草、树枝、土壤等干扰物,以及病害的不同规模和病斑的不同尺度等因素,对准确高效检测茶叶病害提出一定挑战。

目前对于茶园复杂背景下的茶叶叶部病害检测研究较少,且茶叶叶部病害的病斑尺度差异较大。为解决茶园复杂背景下茶叶叶部病害识别较为困难的问题,实现复杂背景下茶叶叶部病害的精准识别,本研究选择结构复杂但精准度较好的Faster RCNN算法作为基础网络,融合FPN网络、优化损失函数,旨在进一步提高网络对茶叶叶部病害的识别精度,弱化茶园复杂环境对病害识别的干扰,为茶园茶叶叶部病害的快速诊断提供精确信息。

1 材料与方法

1.1 数据采集

本研究所用的茶叶病害图片均采集自广东省农业技术推广中心茶园,拍摄于2021年10月至2023年9月茶叶病害高发季节。在数据采集过程中,使用Redmi K30 Pro手机(6 400万像素),图像以JPG格式保存。为保证图像样本的多样性与丰富程度,模拟实际茶园复杂环境中可能遇到的各种情况,在不同天气(晴天、阴天和雨后)、不同角度(背阳和向阳等)条件下进行拍摄,拍摄距离为15~25 cm。

采集的病害类别包括白星病、藻斑病、炭疽病和煤烟病。藻斑病和白星病病斑小且密集,炭疽病和煤烟病病斑大且稀疏。各目标所在环境均为茶园自然生态环境,采集到的数据中含有茶树枝干、杂草以及土壤等干扰因子,这些病害数据能够反映茶树病害真实的生存环境,很好地表述了茶树生长环境的多样性和复杂性,适用于复杂背景下茶树病害目标检测任务。采集的茶叶叶部病害样例如图1所示。

图1  茶叶叶部病害示例

Fig. 1  Leaf diseases’ samples of tea

1.2 数据集标注与分类

茶园采集的茶病害数据经过茶病害专家的对比确认,人工筛选和裁剪后得到分辨率为3 472像素×3 472像素的2 694张茶病害样本,其中白星病、藻斑病、炭疽病、煤烟病的数量分别是537、684、672和801张。采用LabelImg图像标注工具对图像中的病斑进行标注,LabelImg可直接将人工标注的信息转化为 Faster RCNN模型训练所需要的包含病害类型、位置坐标等信息的xml文件;选择PASCAL VOC格式进行类别标注。数据集以8∶1∶1的比例随机划分为训练集、验证集和测试集。训练集用于训练模型及确定模型权重,验证集用于确定网络结构以及调整模型的超参数,测试集用于评估训练结束后模型的性能。数据集的划分情况如表1所示。

表1  病害数据集种类和数量
Table 1  Category and number of disease data sets

数据集类别

Data set class

白星病数量

Number of white scab

藻斑病数量

Number of

algal spot

炭疽病数量

Number of anthracnose

煤烟病数量

Number of sooty mold

训练集

Training set

430 547 537 641

验证集

Validation set

53 68 67 80

测试集

Test set

54 69 68 80

1.3 Faster RCNN算法

Faster RCNN算法是在 RCNN 算法和 Fast RCNN算法基础上进行一系列改进得到的二阶段模型,是目标检测算法典型代表之一。

Faster RCNN算法包含4个模块:特征提取网络(feature extraction network,FEN)、区域生成网络(region proposal network,RPN)、ROI (region of interest) pooling和RCNN模块(region convolutional neural network)。输入模型中的图像首先经过特征提取网络得到一系列特征图;然后将特征图传入区域建议网络即RPN中进行训练,通过分类层和边框回归生成区域建议框,获取目标对象的大致位置;接着将RPN中生成的区域建议框和特征图池转化成固定长度的数据传入全连接层。最后利用Softmax分类器计算出具体类别,同时再做1次边框回归获得检测框最终的精确位置。Faster RCNN算法整体网络结构如图2所示。

图2  Faster RCNN基本结构

Fig. 2  Basic structure of Faster RCNN

1.4 Faster RCNN算法优化

1)区域建议框优化。锚框机制是RPN网络的核心,锚框是一个矩形区域,合适的锚框可以更多地检测出待测目标。在 Faster RCNN 的默认配置中,使用3个不同的面积尺度(128像素×128像素、256像素×256像素和512像素×512像素)和3个长宽比组合(1∶1、1∶2和2∶1)生成9个锚框。原始面积尺度和长宽比被设计用于PASCAL VOC数据集中的20种不同物体的检测,发现并不适合茶叶病斑的检测,因此,本研究针对茶叶病斑的特点优化面积尺度和长宽比。

本研究对象中的藻斑病和白星病病斑直径大多不超过5 mm,且多采集于尺寸较小的铁观音叶片,区域建议框的尺度相对于病斑较大,在检测过程中,小病斑将会无法被检测到。因此,本研究对原始Faster RCNN区域建议框进行优化,剔除[256,512]这2个边框尺度,增加[4,8,16,32,64]5个边框尺度,最终生成如图3所示的18个锚框。

图3  改进后的锚框

Fig. 3  Improved anchor boxes

2)融合FPN网络。在传统的卷积神经网络中,通常通过堆叠多个卷积层来提取图像特征。然而,在物体检测任务中,不同尺度的目标可能需要不同层次的特征进行检测。本研究中藻斑病和白星病的病斑非常小,而炭疽病和煤烟病病斑相对较大(大多超过叶片的1/4),多尺度问题明显。Lin

19提出特征金字塔网络(feature pyramid networks,FPN),FPN允许网络在不同尺度上同时利用语义信息,使得检测器更好地识别不同尺度的物体。陈柯屹20提出改进型Faster RCNN算法,将特征金字塔网络和导向锚框定位(guided anchoring,GA)机制相融合,实现对田间棉花顶芽的识别,解决了棉花顶芽因其小体积特性所带来识别困难问题。

特征金字塔结构简图如图4所示,由自下而上、自上而下和中间横向连接的3条线路组成。自下而上部分由一个主干网络构成,产生一系列具有不同尺度和分辨率的特征图。高层特征图语义信息丰富、分辨率低、含小目标的信息少,低层特征图语义信息比较少、分辨率高、含小目标的信息

21。自上而下部分从高层特征图开始,上面的特征图通过采用简单的最近邻插值的方法进行2倍上采样,和下面同样经过2倍上采样的特征图进行特征融合逐层向下传递,生成一系列可以在不同层级上检测不同尺寸物体的特征金字塔。预测是在每个融合后的特征层上单独进行的,保证了小目标的特征与信息,使网络检测效果大大提升。

图4  特征金字塔结构简图

Fig. 4  Schematic diagram of characteristic pyramid structure

⊕表示上面特征图与下面特征图逐元素相加。⊕ represents the addition of the upper feature graph and the lower feature graph element by element.

为了提高 Faster RCNN 对藻斑病和白星病2种小病斑的检测精度以及解决病斑的多尺度问题,本研究在特征提取网络ResNet50的基础上,融合FPN网络结构(图5),将ResNet50中高低层的特征结构图进行叠加融合,得到融合后P2~P6这5个特征图。5个特征图通过在每个空间位置使用多个预定义的锚框,形成一组候选框,对每个锚框,在回归层中预测框的坐标,在分类层中预测框中是否包含目标。这些候选框随后会被送入到R-CNN中进行目标的准确分类和定位,实现对图像中的病害病斑的检测识别。

图5  融合FPN网络后的 Faster RCNN结构图

Fig. 5  Structure diagram of Faster RCNN after fusing FPN network

Conv1、Conv2-x、Conv3-x、Conv4-x、Conv5-x 表示ResNet50的5个子网络结构;1×1表示卷积核大小;s1表示步长为1;Upsample表示上采样;⊕表示上一个特征图与下一个特征图逐元素相加;Maxpool 表示最大池化操作;P2、P3、P4、P5、P6 表示经过特征融合后的接征图;Concat表示连接操作;Proposals表示候选框。Conv1, Conv2-x,Conv3-x、Conv4-x,Conv5-x represent the 5 sub-network structures of ResNet50; 1×1 represents the convolution kernel size; s1 represents the step size of 1; Upsample represents the upsampling; ⊕ represents the addition of the previous feature map and the next feature map element by element; Maxpool represents the maximum pooling operation; P2,P3,P4,P5,P6 indicate the interface map after feature fusion; Concat indicates the join operation; Proposals indicates the candidate frame.

3)损失函数优化。茶叶病害数据集中,白星病数据量相对其他3种病害较为有限,导致数据分布呈现不平衡情况,进而影响模型的检测性能。为了解决这一问题,本研究对损失函数部分进行优化改进,引入了Oksuz

22提出的 Rank & Sort (RS) Loss,以减少类别不平衡性,简化模型训练的复杂性,提高网络模型性能。

Faster RCNN算法的损失主要包含RPN和Fast RCNN 2个部分。由于在多任务训练中,损失部分的超参数和任务数量成正比,因此模型训练过程中损失部分会产生较多的超参数,需要不断调整参数来获得较好的模型性能。采用RS Loss后,由于其内置免调优任务平衡系数,替代原有损失函数后无需进行任何超参数调优,可以有效减少调参过程中时间和资源的浪费。

RS Loss由Ranking和Sorting 2部分组成。Ranking阶段通过分类得分将正负样本区分开,确保所有正样本均排在负样本之上;Sorting阶段则基于预测框和真实框之间的交并比,将正样本进行排序分类,使得在训练时不同正样本具有不同的优先级。这种方法的好处有:通过在训练期间对正样本进行优先级排序,RS Loss训练的检测器不需要额外的辅助信号;由于RS Loss基于排序的性质,这一特性使得其在训练过程中可以有效处理不平衡的数据,无需加入样本均衡策略。

1.5 试验环境与参数设置

本试验所使用的硬件配置为8 GB RAM、Intel(R)Core(TM)i7-5500U和2块NVIDIA GeForce GTX 3090 Ti GPU的台式计算机;采用基于CUDA 10.1和CUDNN 8.0.5的PyTorch1.10.0深度学习框架,代码运行环境为Python3.7;采用Adam优化算法,基础学习率、衰减系数、动量、权值衰减、批量大小参数的设置分别为0.01、0.02、0.9、0.000 1、16。

1.6 模型评估方法

本研究使用单个类别识别的精确度(precision,P)、召回率(recall,R)、平均精度(average precision,PA)、平均精度均值(mean average precision,PmA)、检测速度和模型大小作为网络模型性能的评价指标,计算公式如式(1)~(4)所示。

P=TPTP+FP (1)
R=TPTP+FN (2)
PA=01P(R)dR (3)
PmA=1ni=1nPA (4)

式(1)~(4)中,TP是表示正确分类的正样本数量,FN表示被错误的标记为负样本的正样本数量,FP表示被错误的标记为正样本的负样本数量;PA是以召回率为横坐标、精确率为纵坐标绘制P-R曲线,曲线与坐标轴围成的面积;i为类别编号,i的取值为1~4;n为检测类别数(n=4)。

2 结果与分析

2.1 不同特征提取网络和不同区域建议框尺度下目标检测性能比较

采用不同特征提取网络VGG-16、MobileNetV2和ResNet50对病害进行目标检测识别,由表2可知,同一区域建议框尺寸[128,256,512]下,以VGG-16为特征提取网络的Faster RCNN算法中PmA最低,检测速度最慢,并且具有最大的模型尺寸;以ResNet50为特征提取网络的Faster RCNN算法中PmA为70.19%,比VGG-16和MobileNetV2分别提高7.49、2.47百分点,但对小病斑为代表的白星病和藻斑病识别精度较低,分别为41.40%和51.25%(表3),推测原因可能是区域建议框尺度较大,不适合茶叶病害中小病斑的检测识别,同时藻斑病和白星病的病斑图像经过模型训练过程中卷积和池化操作之后,语义信息匮乏,导致小病斑无法被检测识别。因此,对区域建议框进行优化,优化后的尺寸为[4,8,16,32,64,128]。边框尺度优化后,每种病害的检测精度均有所提升,藻斑病和白星病PA值提升较为明显。以ResNet50为特征提取网络的Faster RCNN算法中,藻斑病和白星病PA值分别提高了3.77、6.74百分点(表3),PmA提高了3.4百分点,但检测速度和模型大小基本无变化(表2)。以上结果表明,修改后的边框尺度比原始边框尺度更契合病斑尺度,定位更加准确,可提高模型精度,但提高的精度有限。

表2  不同改进方法的检测性能对比
Table 2  Comparison of detection performance of different improved methods

特征提取网络

Feature extraction network

区域建议框尺寸

Size of region proposal box

PmA/%

检测速度/(帧/s)

Detection speed

模型大小/MB

Model size

VGG-16 [128,256,512] 62.70 13.2 522.0
MobileNetV2 [128,256,512] 67.72 15.6 17.0
ResNet50 [128,256,512] 70.19 17.9 108.0
VGG-16 [4,8,16,32,64,128] 69.40 13.1 518.0
MobileNetV2 [4,8,16,32,64,128] 68.08 15.6 16.9
ResNet50 [4,8,16,32,64,128] 73.59 17.8 107.6
ResNet50+FPN [4,8,16,32,64,128] 85.68 16.8 159.0
ResNet50+FPN+RS Loss [4,8,16,32,64,128] 87.95 19.1 116.0
表3  不同改进方法中各类病害PA值对比
Table 3  Comparison of PA values of different diseases in different improvement methods

特征提取网络

Feature extraction network

区域建议框尺寸

Size of region proposal box

藻斑病

Algal spot

白星病

White scab

炭疽病

Anthracnose

煤烟病

Sooty mold

VGG-16 [128,256,512] 34.56 42.68 76.52 97.02
MobileNetV2 [128,256,512] 39.44 48.48 84.40 98.54
ResNet50 [128,256,512] 41.40 51.25 89.21 98.91
VGG-16 [4,8,16,32,64,128] 43.28 50.45 85.43 98.42
MobileNetV2 [4,8,16,32,64,128] 40.15 49.12 84.46 98.60
ResNet50 [4,8,16,32,64,128] 45.17 57.99 92.28 98.92
ResNet50+FPN [4,8,16,32,64,128] 71.29 83.23 98.56 98.98
ResNet50+FPN+RS Loss [4,8,16,32,64,128] 75.54 86.84 90.42 99.45

由于ResNet50的目标检测识别性能比VGG-16和MobileNetV2更好,所以在特征提取网络为ResNet50的基础上结合FPN网络。由表2表3可知,藻斑病和白星病的PA值提升非常明显,分别提高26.12、25.24百分点,PmA提高12.09百分点。FPN通过将深层卷积层的高级特征和浅层卷积层的低级特征进行融合,在每个融合后的特征层上单独预测,大大丰富所提取的特征信息,很好地解决了病斑多尺度问题且提高了识别精度。在融入FPN网络的基础上,引入RS Loss,PmA提高2.27百分点,检测速度提升了13.7%。RS Loss损失函数中基于排名的性质可以减小数据类别不平衡给网络训练带来的影响,提高网络模型的鲁棒性和识别精度。以上结果表明,区域建议框尺寸的改进、FPN网络和RS Loss对茶叶叶部病害识别的性能提升具有重要作用。

2.2 改进前后Faster RCNN对茶病害检测效果对比

为验证提出的改进方法对藻斑病、白星病、炭疽病和煤烟病实际检测的有效性,本研究将改进后的Faster RCNN算法与Faster RCNN(VGG-16)算法基于相同测试集评估识别效果。由图6可知,藻斑病样本中含有较多小病斑,Faster RCNN模型漏检了3处病斑,其中包括稍微模糊的病斑和目标很小的病斑,同时有一处病斑生成的预测框与真实病害区域产生严重偏差。改进后的Faster RCNN,因改进了锚框以适合小尺寸病斑的检测,同时结合了FPN网络,有效地检测出这些小目标。

图6  改进前后Faster RCNN算法检测识别效果

Fig. 6  Detection and recognition effect of Faster RCNN algorithm before and after improvement

白星病样本中含有雨后残留在叶片上的水珠,水珠在两叶片阴影处,与白星病边缘病斑颜色相近,且水珠轮廓与病斑轮廓相似,对模型检测造成影响而发生了误检现象。而改进Faster RCNN算法抑制了水珠对该病害的影响,实现对白星病的精准检测。

对于炭疽病和煤烟病,因大量枯枝落叶土壤等复杂背景影响,Faster RCNN模型对病斑识别定位不太准确,生成的预测框与真实病害区域存在一定偏差,改进Faster RCNN算法则生成更接近这2种病斑的矩形预测框。Faster RCNN和改进Faster RCNN算法对每种茶叶病害检测效果对比结果说明区域建议框尺寸改进、FPN网络和RS Loss共同作用下的有效性。

2.3 不同算法对茶叶病害识别有效性检测

为验证提出的改进方法在茶园复杂背景下对茶叶病害识别的有效性,本研究将改进后的Faster RCNN算法与Faster RCNN(VGG16)、RetinaNet、SSD512和YOLOv5算法进行对比。由表4可知,改进Faster RCNN算法模型PmA为88.06%,较Faster RCNN、RetinaNet、SSD512、YOLOv5模型分别提高25.36、15.27、3.5和0.18百分点;改进Faster RCNN模型以19.1帧/s的检测速度优于Faster RCNN、RetinaNet、SSD512这3种模型;改进Faster RCNN算法模型大小为116.0 MB,较Faster RCNN模型减少77.7%。以上结果表明,改进后的Faster RCNN算法是一个有效的茶叶病害检测算法,能够实现复杂背景下茶叶病害的实时性检测。

表4  不同算法试验结果对比
Table 4  Comparison of experimental results of different algorithms

算法

Algorithms

PmA/%

检测速度/(帧/s)

Detection speed

模型大小/MB

Model size

Faster RCNN

(VGG-16)

62.70 13.2 522.0
RetinaNet 72.79 16.2 139.0
SSD512 85.08 16.9 100.0
YOLOv5 87.88 20.5 90.1

改进Faster RCNN

Improved Faster RCNN

88.06 19.1 116.0

图7可知,Faster RCNN算法对藻斑病和白星病2种病害的检测效果较差,检测精度分别只有34.56%、42.68%,改进Faster RCNN算法对藻斑病和白星病的检测精度分别为75.54%、86.84%,较Faster RCNN算法分别提高40.98、44.16百分点,提升效果显著。改进Faster RCNN算法对藻斑病、白星病、炭疽病的识别平均精度均高于Faster RCNN、RetinaNet和SSD512这3种算法,对煤烟病的识别平均精度为99.45%,略低于SSD512算法的99.81%。改进Faster RCNN算法对藻斑病、炭疽病、煤烟病的识别平均精度比YOLOv5算法分别高0.33、0.5和0.2百分点。总体来看,改进Faster RCNN算法更适合完成在复杂背景下对茶叶叶部病害的识别任务。

图7  不同算法各病害PA值对比

Fig. 7  Comparison of PA values of different algorithms

为了更加清晰地比较出各类算法对病斑的实际检测效果,在测试集中选取4种病害样本进行评估。由图8可知,对藻斑病的识别,SSD和RetinaNet模型都出现了漏检情况,SSD的漏检情况相对于RetinaNet更显著。相比之下,YOLOv5模型和改进后的Faster RCNN能够有效地检测出小目标,YOLOv5模型仅漏检掉一个在阳光照射下特征不明显的病斑,改进后的Faster RCNN对藻斑病的识别置信度大于YOLOv5模型。对于白星病,SSD和RetinaNet模型检测结果与真实病害区域存在一定的偏差。在煤烟病的检测中,SSD和RetinaNet模型的检测存在着与白星病类似的问题,即生成的预测框与真实的病害区域之间存在偏差。改进Faster RCNN模型成功避免了定位偏差的问题,确保了对病害的准确定位。

图8  不同算法检测识别对比

Fig. 8  Detection and recognition effect of different algorithms

3 讨论

本研究针对茶园复杂环境下茶叶叶部病害的检测识别难题,提出一种基于改进Faster RCNN算法的茶叶叶部病害识别方法。通过改进区域建议框的边框尺度,将融合FPN的ResNet50网络作为特征提取网络,采用Rank & Sort (RS) Loss 函数代替 Faster RCNN 中的损失函数,改善小目标漏检问题和病斑的多尺度问题,弱化茶园复杂环境的干扰,提高识别精度。为验证本研究改进方法的有效性,在同一实验平台使用相同数据集进行对比试验。结果显示,改进Faster RCNN算法的PmA、检测速度和模型大小等指标均优于Faster RCNN算法。与Faster RCNN相比,改进Faster RCNN算法对藻斑病、白星病、炭疽病和煤烟病的PA值分别提高40.98、44.16、13.9和2.43百分点,模型大小降低了77.7%,检测速度提高了44.7%,模型性能得到有效提升。与SSD和RetinaNet算法相比,改进Faster RCNN模型在识别精度和检测速度上具有一定的优势。

本研究基于改进的Faster RCNN算法实现了茶园复杂背景下4种茶叶叶部病害的精准高效识别,对茶园病害的防治具有一定意义。然而,本研究所使用的数据集中茶叶病害的种类相对较少,同时,有一些病害在颜色和特征上相近,甚至可能出现在同一叶片中,呈现出一种复杂的病害组合情况。在后续的研究中,将拓展茶叶病害的种类,深入研究茶叶的复杂多病害问题;将进一步提高模型的泛用性和鲁棒性,设计轻量化以嵌入到不同的移动式设备应用于茶园,为茶叶种植产业的智能化管理提供参考。

参考文献 References

1

杨小伟.基于卷积神经网络的自然场景下茶叶病害识别[D].合肥:安徽大学,2021.YANG X W.Identification of tea leaf’s diseases in natural scene based on convolutional neural network[D].Hefei:Anhui University,2021 (in Chinese with English abstract) [百度学术] 

2

林彬彬, 邱新法, 何永健, 等. 茶树病害智能诊断识别算法研究[J]. 江苏农业科学,2019,47(6):85-91. LIN B B, QIU X F, HE Y J, et al. Research on intelligent diagnosis and recognition algorithm of tea tree diseases [J]. Jiangsu agricultural sciences, 2019,47(6):85-91 (in Chinese with English abstract). [百度学术] 

3

ZOU X, REN Q, CAO H, et al. Identification of tea diseases based on spectral refle-ctance and machine learning[J]. Journal of information processing systems,2020, 16(2): 435-446. [百度学术] 

4

HU G S,YANG X W,ZHANG Y,et al.Identification of tea leaf diseases by using an improved deep convolutional neural network[J/OL].Sustainable computing:informatics and systems,2019,24:100353[2024-01-04].https://doi.org/10.1016/j.suscom.2019.100353. [百度学术] 

5

SURESH G,GNANAPRAKASH V,SANTHIYA R.Performance analysis of different CNN architecture with different optimisers for plant disease classification[C]//2019 5th International Conference on Advanced Computing & Communication Systems (ICACCS).Coimbatore,India:IEEE,2019:916-921. [百度学术] 

6

孙云云,江朝晖,董伟,等.基于卷积神经网络和小样本的茶树病害图像识别[J].江苏农业学报,2019,35(1):48-55.SUN Y Y,JIANG Z H,DONG W,et al.Image recognition of tea plant disease based on convolutional neural network and small samples[J].Jiangsu journal of agricultural sciences,2019,35(1):48-55 (in Chinese with English abstract) [百度学术] 

7

李子茂,徐杰,郑禄,等.基于改进DenseNet的茶叶病害小样本识别方法[J].农业工程学报,2022,38(10):182-190.LI Z M,XU J,ZHENG L,et al.Small sample recognition method of tea disease based on improved DenseNet[J].Transactions of the CSAE,2022,38(10):182-190 (in Chinese with English abstract) [百度学术] 

8

REDMON J, DIVVALA S, GIRSHICK R, et al.You only look once: unified, real-time object detection[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Las Vegas, NV, USA: IEEE,2016, 779-788. [百度学术] 

9

REDMON J,FARHADI A.YOLO9000:better,faster,stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Honolulu,HI,USA:IEEE,2017:6517-6525. [百度学术] 

10

REDMON J,FARHADI A.YOLOv3:an incremental improvement[EB/OL].[2024-01-04].http://arxiv.org/abs/1804.02767v1. [百度学术] 

11

LIU W,ANGUELOV D,ERHAN D,et al.SSD:single shot MultiBox detector[C]//European Conference on Computer Vision.Cham:Springer,2016:21-37. [百度学术] 

12

WANG J,YU L Y,YANG J,et al.DBA_SSD:a novel end-to-end object detection algorithm applied to plant disease detection[J/OL].Information,2021,12(11):474[2024-01-04].https://doi.org/10.3390/info12110474. [百度学术] 

13

顾伟,王巧华,李庆旭,等.基于改进SSD的棉种破损检测[J].华中农业大学学报,2021,40(3):278-285.GU W,WANG Q H,LI Q X,et al.Improved SSD based detection of damaged cottonseed[J].Journal of Huazhong Agricultural University,2021,40(3):278-285 (in Chinese with English abstract) [百度学术] 

14

邸洁,曲建华.基于Tiny-YOLO的苹果叶部病害检测[J].山东师范大学学报(自然科学版),2020,35(1):78-83.DI J,QU J H.A detection method for apple leaf diseases based on tiny-yolo[J].Journal of Shandong Normal University (natural science edition),2020,35(1):78-83 (in Chinese with English abstract) [百度学术] 

15

GIRSHICK R.Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision (ICCV).Santiago,Chile:IEEE,2015:1440-1448. [百度学术] 

16

REN S Q,HE K M,GIRSHICK R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[J].IEEE transactions on pattern analysis and machine intelligence,2017,39(6):1137-1149. [百度学术] 

17

ZHANG Y,SONG C L,ZHANG D W.Deep learning-based object detection improvement for tomato disease[J].IEEE access,2020,8:56607-56614. [百度学术] 

18

ZHANG Y L,ZHANG L G,YU H W,et al.Research on the strawberry recognition algorithm based on deep learning[J/OL].Applied sciences,2023,13(20):11298[2024-01-04].https://doi.org/10.3390/app132011298. [百度学术] 

19

LIN T Y,DOLLÁR P,GIRSHICK R,et al.Feature pyramid networks for object detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Honolulu,HI,USA:IEEE,2017:936-944. [百度学术] 

20

陈柯屹,朱龙付,宋鹏,等.融合动态机制的改进型Faster R-CNN识别田间棉花顶芽[J].农业工程学报,2021,37(16):161-168.CHEN K Y,ZHU L F,SONG P,et al.Recognition of cotton terminal bud in field using improved Faster R-CNN by integrating dynamic mechanism[J].Transactions of the CSAE,2021,37(16):161-168 (in Chinese with English abstract) [百度学术] 

21

李就好,林乐坚,田凯,等.改进Faster R-CNN的田间苦瓜叶部病害检测[J].农业工程学报,2020,36(12):179-185.LI J H,LIN L J,TIAN K,et al.Detection of leaf diseases of balsam pear in the field based on improved Faster R-CNN[J].Transactions of the CSAE,2020,36(12):179-185 (in Chinese with English abstract) [百度学术] 

22

OKSUZ K,CAM B C,AKBAS E,et al.Rank & sort loss for object detection and instance segmentation[C]//2021 IEEE/CVF International Conference on Computer Vision (ICCV).Montreal,QC,Canada:IEEE,2021:2989-2998. [百度学术]