摘要
针对现有检测模型不能满足在自然环境中准确识别多种类柑橘病虫害的问题,提出一种基于改进YOLOv5s模型的常见柑橘病虫害检测方法。改进模型引入ConvNeXtV2模型,构建一个CXV2模块替换YOLOv5s的C3模块,增强提取特征的多样性;添加了动态检测头DYHEAD,提高模型对不同空间尺度、不同任务目标的处理能力;采用CARAFE上采样模块,提高特征提取效率。结果显示,改进后的YOLOv5s-CDC的召回率和平均精度均值分别为81.6%、87.3%,比原模型分别提高了4.9、3.4百分点。与其他YOLO系列模型在多个场景下的检测对比,具有更高的准确率和较强的鲁棒性。结果表明,该方法可用于自然复杂环境下的柑橘病虫害的检测。
柑橘是我国最为重要的农产品之一,种植面积与产量位居世界首
随着计算机视觉技术和人工智能的兴起,图像处理技术得到大力发展,由于低成本,易于实现,这些技术被广泛应用到农业的病虫害检测中。传统的农业图像处理主要通过支持向量
深度学习是机器学习的一个特定领域,与机器学习相比,深度学习能自动提取特征信息,减少特征提取工程的负担以及人工提取容易出现的错误,适合处理大规模数据集,并提供更好的预测和泛化能力。深度学习中常见的目标检测模型有Faster R-CN
目前针对柑橘病虫害的研究大多倾向于分类任
柑橘病虫害数据集采集自福建省泉州市永春县柑橘种植园,使用华为Mate 40 Pro手机作为采集设备,摄像头分辨率为4 096像素×3 072像素,ISO值为50,在不同时间段(07:00―18:00)的自然光照条件下,多角度进行拍摄。为了构建符合自然复杂环境的数据集,手机距离目标15~35 cm,拍摄的图像中除了清晰的病虫害叶片,也包含其他叶片等周围背景,叶片密度为果园自然状态,未进行人工干预。因此数据集包含了不同光照强度、不同目标大小、目标密集、叶片遮挡等情景,增加了数据的多样性。每个图像通过检查明确采集的柑橘病虫害类型。在去除质量较差和非典型病虫害图像后,共保留复杂背景下6种柑橘病虫害(黄龙病、潜叶蛾、树脂病、蚜虫、锈壁虱、蚧壳虫)叶片图像1 649张作为本研究的数据(

图1 病害类型
Fig.1 Disease types
为提高模型的训练效率,节省计算资源与训练时间,对原图像进行无损压缩,压缩后图像分辨率大小为2 048像素×1 536像素。使用LabelImg图像标注工具对数据集中每个受害叶片进行标注,标注结果以XML格式进行保存,以适应不同算法的格式要求。将原图像以9∶1的比例随机分割为训练集与验证集。由于存在样本数目不平均的问题,为增强网络的泛化性,防止图像数量不足导致过拟合,本研究使用翻转、比例缩放、局部裁剪、改变对比度、添加高斯噪声、伽马噪声等方式进行数据增强,平衡各类病害的数量,同时去除了不符合条件的增强图像,最终得到数据图像7 091张,其中训练集6 313张,验证集778张。数据集及各类病害叶片标注数量如
项目 Item | 蚜虫 Aphid | 蚧壳虫 Coccid | 黄龙病 Yellow shoot disease | 树脂病 Melanose | 潜叶蛾 Leaf miner | 锈壁虱 Rust mite |
---|---|---|---|---|---|---|
原始图像数 Original images | 285 | 295 | 120 | 215 | 439 | 295 |
数据增强后 Data enhancement | 1 140 | 1 180 | 1 115 | 1 159 | 1 317 | 1 180 |
最终标注量 Labels | 4 326 | 5 146 | 4 986 | 4 564 | 5 576 | 4 698 |
YOLO系列模型中,YOLOv5有着检测精度高、速度快、模型较小便于部署等优点,常被运用于各种环境目标检测场景。按照模型大小YOLOv5分为5个版本,通过在自建数据集上的试验对比分析,本研究选择了YOLOv5s作为基线模型。YOLOv5s模型主要分为输入层(input)、主干网络(backbone)、颈部网络(neck)、检测头(head)4个部分。输入层对检测图像进行预操作处理,将图像传入模型。主干网络用于提取输入图像中的特征,使用CSPDarknet53架构,有效提高特征传递的效率。颈部网络即特征融合层,使用特征金字塔网络FPN(feature pyramid network
为提高在自然复杂环境中的柑橘病虫害检测性能,本研究提出一种改进模型YOLOv5s-CDC。设计了1个CXV2模块替换原模型中的C3模块、用动态检测头DYHEAD替换原有检测头,并将颈部网络中上采样方式换成CARAFE上采样算子,在不明显增加模型计算量的基础上提高对柑橘病虫害的检测精度。YOLOv5s-CDC的网络结构如

图2 YOLOv5s-CDC网络结构
Fig.2 Diagram of the YOLOv5s-CDC network
1)CXV2模块。为了提高模型的特征提取能力,获得更具分辨力的通道特征,增强模型的泛化能力,本研究引入ConvNeXtV2模

图3 ConvNeXtV2模块结构
Fig.3 Structure diagram of ConvNeXtV2
CXV2模块中使用了类残差的结构,输入特征先经过1个1×1标准卷积块CBS,进行特征提取,减少通道数量,之后传递到2个不同的分支,其中1个分支特征被传递到ConvNeXtV2模块中,通过模块处理增强特征提取,另一分支特征保留不变,最后将所有分支进行拼接,并通过1×1标准卷积块操作恢复通道数,输出增强多样性的特征,提高模型特征表达能力。
2)DYHEAD动态检测头。柑橘不同病虫害具有病理特征相近的特点,且在自然环境中,易与背景相互混淆,病害叶片的尺度大小与不同空间位置也为特征提取与目标检测带来挑战。针对以上问题,本研究添加了动态检测头(dynamic head

图4 动态检测头框架
Fig.4 Framework of dynamic head
L:代表特征层级 Feature hierarch;S:代表特征图的高宽之积 Product of width and heigh;C:代表通道数Number of channels.
为避免全连接层带来的高计算量,动态检测头采取3个序列注意力的方式,其自注意力方程如
(1) |
其中为尺度感知注意力函数,增加不同尺度特征感知能力;为空间感知注意力函数,增强模型的空间位置感知能力;为任务感知注意力函数,增强模型对不同任务目标的感知力。3个注意力机制模块如

图5 动态检测头注意力机制模块
Fig.5 Attention mechanism module of dynamic head
3)CARAFE上采样模块。在YOLOv5s模型中,特征金字塔是颈部特征提取与融合的重要组成部分,模型需要通过上采样来将图像深层语义信息与浅层进行匹配与融合处理,YOLOv5s原模型中使用最近邻上采样的方法,该方法只是通过像素点空间位置决定上采样核,从而导致感知域很小,不能充分利用到特征图的语义信息。本研究采用CARAF

图6 CARAFE模块结构
Fig.6 Structure diagram of CARAFE
:表示特征层的高Height of the feature layer;:表示特征层的宽Width of the feature layer;:表示上采样倍数(通常为2) Upsampling multiple, usually set 2;:表示特征通道数 Number of feature channels;:表示预测的上采样核大小 Predicted upsampling kernel size.
在核预测模块中,首先用1×1的卷积核压缩通道数,将原有通道数降为,减少后续计算量,提升效率。之后用pixelshuffl
实验平台参数如
项目Item | 类型Type |
---|---|
操作系统 Operating system | Windows 10 |
中央处理器 Central processing unit,CPU | 12th Gen Intel(R) Core(TM) i5-12400F |
图形处理器 Graphics processing unit,GPU | NVIDIA GeForce RTX 3060 |
开发环境 Development environment | Pycharm |
语言 Language | Python3.7 |
加速环境 Accelerated environment | CUDA11.0 |
框架Framework | torch1.7.1,torchvision0.8.2 |
为了验证自然环境下模型对柑橘病虫害的检测性能,本研究采用深度学习中最常见的评价指标验证检测模型:精确率(precision, P)、召回率(recall, R)、平均精度均值(mean average presion, PmA)、浮点运算量(floating-point operations, FLOPs)、参数量(parameters)。
精确率是所有检测为受害结果中真正受害数量所占比例。召回率是所检测到受害数量在实际受害总量中所占的比例。平均精度PA是基于精确度和召回率进行计算的,P-R曲线下的面积就是PA的值。PmA是所有类别PA的平均值,它是目标检测的主要评估指标,能反映模型的整体性能,它的值越高则模型性能越好,PmA@0.5指IoU设为0.5时的PmA;PmA@.5:.95表示在不同IoU阈值(0.5到0.95)上的平均PmA。FLOPs用于测量模型运行时间,它的值越低,则代表模型较小,模型执行计算量和所需时间也就越少。计算公式如下:
(2) |
(3) |
(4) |
(5) |
其中,代表真正例,代表假正例,代表假负例,n代表总类别数()。
为了更为高效和准确地实现对自然环境中柑橘病虫害的检测,从数据集中筛选仅含潜叶蛾危害这一类特征最为明显的数据对5个版本的YOLOv5进行测试,从中挑选最适合的基线模型。测试结果如
模型 Model | 平均精度均值/% PmA@0.5 | 浮点运算量 FLOPs | 参数量 Parameters |
---|---|---|---|
YOLOv5n | 93.8 |
4.1×1 |
1.76×1 |
YOLOv5s | 95.3 |
15.8×1 |
7.01×1 |
YOLOv5m | 93.8 |
47.9×1 |
20.85×1 |
YOLOv5l | 93.2 |
107.6×1 |
46.11×1 |
YOLOv5x | 92.9 |
203.8×1 |
86.17×1 |
为了验证改进网络结构各个模块的有效性,以YOLOv5s模型为基线,在自建数据集上对基线网络逐个添加模块进行消融实验。训练环境参数与上述相同。如
基线网络 YOLOv5s | 动态检测头 DYHEAD | 特征提取 CXV2 | 上采样 CARAFE | 精确率/% P | 召回率/% R | 平均精度均值/% PmA@0.5 | 平均精度均值/% PmA@.5:.95 | 浮点运算量 FLOPs |
---|---|---|---|---|---|---|---|---|
√ | 92.7 | 76.7 | 83.9 | 69.0 |
16.0×1 | |||
√ | √ | 91.6 | 77.6 | 85.1 | 72.3 |
16.8×1 | ||
√ | √ | 90.2 | 80.0 | 84.8 | 71.6 |
16.2×1 | ||
√ | √ | 89.6 | 79.1 | 84.7 | 69.9 |
16.0×1 | ||
√ | √ | √ | 93.6 | 80.1 | 86.4 | 74.1 |
17.2×1 | |
√ | √ | √ | √ | 92.1 | 81.6 | 87.3 | 75.3 |
17.3×1 |
核参数 Kencoder | 核参数 Kup | 平均精度均值/%PmA@0.5 |
---|---|---|
1 | 1 | 85.7 |
1 | 3 | 85.8 |
3 | 3 | 87.3 |
3 | 5 | 85.6 |
5 | 5 | 85.9 |
为验证改进模块的优异性,本研究采用双线性插值(bilinear)、双立方插值(bicubic)的上采样方式,高效解耦头(efficient-decoupled head)、TSCODE(task-specific context decoupling)检测头模块与CARAFE、DYHEAD模块分别做横向对比实验,结果如
基线网络 YOLOv5s | 上采样 CARAFE | 双线性插值 bilinear | 双立方插值 bicubic | 精确率/% P | 召回率/% R | 平均精度均值/% PmA@0.5 | 平均精度均值/% PmA@.5:.95 | 浮点运算量 FLOPs |
---|---|---|---|---|---|---|---|---|
√ | 92.7 | 76.7 | 83.9 | 69.0 |
16.0×1 | |||
√ | 89.6 | 79.1 | 84.7 | 69.9 |
16.0×1 | |||
√ | 90.9 | 76.9 | 83.6 | 69.0 |
16.0×1 | |||
√ | 91.5 | 78.4 | 84.4 | 69.8 |
16.4×1 |
基线网络 YOLOv5s | 动态头检测头 DYHEAD | 高效解耦头 Efficient | TSCODE | 精确率/% P | 召回率/% R | 平均精度均值/% PmA@0.5 | 平均精度均值/% PmA@.5:.95 | 浮点运算量 FLOPs |
---|---|---|---|---|---|---|---|---|
√ | 92.7 | 76.7 | 83.9 | 69.0 |
16.0×1 | |||
√ | 91.6 | 77.6 | 85.1 | 72.3 |
16.8×1 | |||
√ | 91.9 | 77.8 | 85.1 | 72.0 |
27.8×1 | |||
√ | 88.8 | 76.6 | 82.2 | 67.6 |
16.3×1 |
最终YOLOv5s-CDC模型与基线模型相比,PmA@0.5提高3.4百分点,PmA@.5:.95提高6.3百分点,召回率提高4.9百分点,FLOPs仅增加1.3×1
模型总体损失如

图 7 模型整体损失比较
Fig.7 Comparison of total loss

图8 模型PmA比较
Fig.8 Comparison of PmA
为验证改进模型性能,将改进模型与SSD、YOLOv3-tiny、YOLOv4、YOLOv7-tiny、YOLOv8s模型5种主流的目标检测算法进行了比较,结果如
模型 Model | 精确率/% P | 召回率/% R | 平均精度均值/% PmA@0.5 | 平均精度均值/% PmA@.5:.95 | 浮点运算量 FLOPs | 参数量 Parameters |
---|---|---|---|---|---|---|
SSD | 82.4 | 44.5 | 49.6 | 30.3 |
62.7×1 |
26.29×1 |
YOLOv3-tiny | 85.6 | 70.3 | 77.3 | 55.9 |
12.9×1 |
8.68×1 |
YOLOv4 | 87.2 | 79.7 | 84.6 | 73.4 |
119.1×1 |
52.5×1 |
YOLOv5s | 92.7 | 76.7 | 83.9 | 69.0 |
16.0×1 |
7.03×1 |
YOLOv7-tiny | 81.3 | 78.3 | 82.5 | 64.4 |
13.1×1 |
6.02×1 |
YOLOv8s | 92.6 | 75.4 | 84.7 | 75.1 |
28.4×1 |
11.13×1 |
YOLOv5s-CDC | 92.1 | 81.6 | 87.3 | 75.3 |
17.3×1 |
7.61×1 |
模型 Model | 黄龙病 Yellow shoot disease | 潜叶蛾 Leaf miner | 树脂病 Melanose | 蚜虫 Aphid | 锈壁虱 Rust mite | 蚧壳虫 Coccid |
---|---|---|---|---|---|---|
SSD | 57.2 | 30.1 | 43.1 | 62.6 | 40.1 | 64.5 |
YOLOv3-tiny | 56.5 | 88.9 | 82.8 | 76.7 | 81.7 | 77.3 |
YOLOv4 | 64.8 | 96.3 | 89.3 | 81.9 | 88.1 | 87.0 |
YOLOv5s | 60.6 | 97.1 | 87.3 | 83.4 | 88.9 | 86.3 |
YOLOv7-tiny | 63.0 | 95.0 | 86.0 | 77.8 | 89.7 | 83.7 |
YOLOv8s | 60.5 | 96.5 | 88.1 | 85.8 | 89.7 | 87.8 |
YOLOv5s-CDC | 65.0 | 97.8 | 89.5 | 88.0 | 93.5 | 90.0 |
利用上述几种算法与改进后的YOLOv5s-CDC模型对6种柑橘病虫害进行检测,验证改进模型在互相遮盖、阴影遮挡、特征相似、密集等复杂场景中的实际检测效果。结果如

图9 不同场景下不同模型检测效果对比
Fig.9 Comparison of model detection effects in different scenarios
本研究将深度学习目标检测技术用于柑橘病虫害检测,对于柑橘果园防治、精准施药、保证柑橘产量有较大的现实意义。为了提高在自然果园的复杂背景下多种类、多目标的柑橘病虫害检测准确率,提出了1种基于YOLOv5s的改进检测算法。该方法使用CXV2模块来替换原模型的C3模块,模块中引入ConvNeXtV2模块,增强特征提取能力;使用动态检测头代替原有检测头,增强对不同空间尺度、不同任务目标的感知力;用轻量级上采样算子CARAFE替换原有上采样方法,加强上采样工作。研究结果表明,该算法能有效提取柑橘病虫害特征,在自建数据集上的PmA@0.5为87.3%,比原YOLOv5s模型提高了3.4百分点,浮点运算量为17.3×1
本研究在计算机设备上进行,尚未部署到移动设备进行实地测试,所以在实际环境中可能存在一定误差。在后续的研究工作中,可以针对单类病虫害改进模型,加强对个别病虫害的检测效果,在模型的参数量和计算量上也可以进一步优化,以便于将模型部署到移动设备,实现模型的实际运用。
参考文献References
聂扬眉.乡村振兴下我国柑橘产业发展情况:基于价值链模型的实证[J].中南民族大学学报(自然科学版),2023,42(2):283-288.NIE Y M.China’s citrus industry under rural revitalization:empirical evidence based on the value chain model[J].Journal of South-Central Minzu University (natural science edition),2023,42(2):283-288 (in Chinese with English abstract). [百度学术]
PUJARI J D,YAKKUNDIMATH R,BYADGI A S.SVM and ANN based classification of plant diseases using feature reduction technique[J].International journal of interactive multimedia and artificial intelligence,2016,3(7):6-14. [百度学术]
SHARIF M,KHAN M A,IQBAL Z,et al.Detection and classification of citrus diseases in agriculture based on optimized weighted segmentation and feature selection[J].Computers and electronics in agriculture,2018,150:220-234. [百度学术]
杨英茹,吴华瑞,张燕,等.基于复杂环境的番茄叶部图像病虫害识别[J].中国农机化学报,2021,42(9):177-186.YANG Y R,WU H R,ZHANG Y,et al.Tomato disease recognition using leaf image based on complex environment[J].Journal of Chinese agricultural mechanization,2021,42(9):177-186 (in Chinese with English abstract). [百度学术]
BALAKRISHNA K,RAO M.Tomato plant leaves disease classification using KNN and PNN[J].International journal of computer vision and image processing,2019,9(1):51-63. [百度学术]
REN S Q,HE K M,GIRSHICK R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[J].IEEE transactions on pattern analysis and machine intelligence,2017,39(6):1137-1149. [百度学术]
LIU W,ANGUELOV D,ERHAN D,et al.Ssd:Single shot multibox detector [C]//LEIBE B,MATAS J,SEBE N,et al.Computer vision–ECCV 2016:14th European conference,October 11-14,2016,Amsterdan.Switzerland:Springer,2016:21-37. [百度学术]
REDMON J,FARHADI A.YOLOv3:an incremental improvement[DB/OL].arXiv,2018:1804.02767[2023-08-24].https://doi.org/10.48550/arXiv.1804.02767. [百度学术]
BOCHKOVSKIY A, WANG C-Y, LIAO H-Y M. Yolov4: Optimal speed and accuracy of object detection[DB/OL].arXiv,2020:2004.10934 [2023-08-24].https://doi.org/10.48550/arXiv.2004.10934. [百度学术]
ZHAO S Y,LIU J Z,WU S.Multiple disease detection method for greenhouse-cultivated strawberry based on multiscale feature fusion Faster R_CNN[J/OL].Computers and electronics in agriculture,2022,199:107176[2023-08-24].https://doi.org/10.1016/j.compag.2022.107176. [百度学术]
SUN H N,XU H W,LIU B,et al.MEAN-SSD:a novel real-time detector for apple leaf diseases using improved light-weight convolutional neural networks[J/OL].Computers and electronics in agriculture,2021,189:106379[2023-08-24].https://doi.org/10.1016/j.compag.2021.106379. [百度学术]
ZHANG X X,XUN Y,CHEN Y H.Automated identification of citrus diseases in orchards using deep learning[J].Biosystems engineering,2022,223:249-258. [百度学术]
LI S,LI K,QIAO Y,et al.A multi-scale cucumber disease detection method in natural scenes based on YOLOv5[J/OL].Computers and electronics in agriculture,2022,202: 107363[2023-08-24].https://doi.org/10.1016/j.compag.2022.107363. [百度学术]
孙丰刚,王云露,兰鹏,等.基于改进YOLOv5s和迁移学习的苹果果实病害识别方法[J].农业工程学报,2022,38(11):171-179.SUN F G,WANG Y L,LAN P,et al.Identification of apple fruit diseases using improved YOLOv5s and transfer learning[J].Transactions of the CSAE,2022,38(11):171-179 (in Chinese with English abstract). [百度学术]
MOHAMMAD M,AHMAD J,ALI ASGHAR N,et al.Detection of citrus black spot disease and ripeness level in orange fruit using learning-to-augment incorporated deep networks[J/OL].Ecological informatics,2022,71:101829[2023-08-24].https://doi.org/10.1016/j.ecoinf.2022.101829. [百度学术]
KHANRAMAKI M,ASKARI ASLI-ARDEH E,KOZEGAR E.Citrus pests classification using an ensemble of deep learning models[J/OL].Computers and electronics in agriculture,2021,186:106192[2023-08-24].https://doi.org/10.1016/j.compag.2021.106192. [百度学术]
SYED-AB-RAHMAN S F,HESAMIAN M H,PRASAD M.Citrus disease detection and classification using end-to-end anchor-based deep learning model[J].Applied intelligence,2022,52(1):927-938. [百度学术]
BARMAN U,CHOUDHURY R D,SAHU D,et al.Comparison of convolution neural networks for smartphone image based real time classification of citrus leaf disease[J/OL].Computers and electronics in agriculture,2020,177:105661[2023-08-24].https://doi.org/10.1016/j.compag.2020.105661. [百度学术]
LUAIBI A R,SALMAN T M,MIRY A H.Detection of citrus leaf diseases using a deep learning technique[J].International journal of electrical and computer engineering (IJECE),2021,11(2):1719-1727. [百度学术]
LIN T Y,DOLLÁR P,GIRSHICK R,et al.Feature pyramid networks for object detection[C]//2017 IEEE conference on computer vision and pattern recognition (CVPR).July 21-26,2017,Honolulu,HI,USA.New York:IEEE,2017:936-944. [百度学术]
LIU S,QI L,QIN H F,et al.Path aggregation network for instance segmentation[C]//2018 IEEE/CVF conference on computer vision and pattern recognition.June 18-23,2018,Salt Lake City,UT,USA.New York:IEEE,2018:8759-8768. [百度学术]
WOO S,DEBNATH S,HU R H,et al.Convnext v2:co-designing and scaling convnets with masked autoencoders[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).June 17-24,2023,Vancouver,BC,Canada.New York:IEEE,2023:16133-16142. [百度学术]
HE K M,CHEN X L,XIE S N,et al.Masked autoencoders are scalable vision learners[C]//2022 IEEE/CVF conference on computer vision and pattern recognition (CVPR).June 18-24,2022,New Orleans,LA,USA.New York:IEEE,2022:15979-15988. [百度学术]
LIU Z,MAO H Z,WU C Y,et al.A convnet for the 2020s[C]//2022 IEEE/CVF conference on computer vision and pattern recognition (CVPR).June 18-24,2022,New Orleans,LA,USA.New York:IEEE,2022:11966-11976. [百度学术]
DAI X Y,CHEN Y P,XIAO B,et al.Dynamic head:unifying object detection heads with attentions[C]//2021 IEEE/CVF conference on computer vision and pattern recognition (CVPR).June 20-25,2021,Nashville,TN,USA.New York:IEEE,2021:7369-7378. [百度学术]
WANG J Q,CHEN K,XU R,et al.CARAFE:Content-aware reassembly of features[C]//2019 IEEE/CVF international conference on computer vision (ICCV).October 27 - November 2,2019,Seoul,Korea (South).New York:IEEE,2020:3007-3016. [百度学术]
SHI W Z,CABALLERO J,HUSZÁR F,et al.Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//2016 IEEE conference on computer vision and pattern recognition (CVPR).June 27-30,2016,Las Vegas,NV,USA.New York:IEEE,2016:1874-1883. [百度学术]
宋中山,汪进,郑禄,等.基于二值化的Faster R-CNN柑橘病虫害识别研究[J].中国农机化学报,2022,43(6):150-158.SONG Z S,WANG J,ZHENG L,et al.Research on citrus pest identification based on Binary Faster R-CNN[J].Journal of Chinese agricultural mechanization,2022,43(6):150-158 (in Chinese with English abstract). [百度学术]