摘要
为解决水稻害虫体型小且不同类型害虫外观差异小、同类型害虫不同生长过程中外观差异大导致水稻害虫难以识别的问题，将卷积块注意力和特征金字塔模块引入图像识别网络YOLOv7。以湖北省鄂州市水稻种植基地为样本采集点，构建一个具有挑战性的大规模水稻虫害数据集；根据样本分布特点进行数据增强，引入随机噪声、Mixup、Cutout等数据增强方法，使深度学习模型从更深的维度学习害虫判别力视觉特征；将MobileNetv3作为主干网络，对YOLOv7网络进行改进，并构建基于特征金字塔的多尺度神经网络模型，提升小个体害虫的识别精度。试验结果显示，基于改进YOLOv7的水稻虫害检测平均准确率为85.46%，超越YOLOv7、EfficientNet-B0等网络。改进YOLOv7模型大小为20.6 M，检测速度为92.2 帧/s，检测速度是原始YOLOv7算法的5倍以上。结果表明，该方法能用于实现水稻虫害远程实时自动化识别。
水稻虫害是威胁水稻粮食安全生产的主要原因之一。由于我国水稻种植面广，地域差异大，气候条件变化复杂，虫害呈现基数大、种类多、发展快的特点，给水稻虫害防治工作带来巨大挑战。常见水稻病虫害威胁以稻飞虱、卷叶螟、二化螟、稻曲病、稻瘟病、纹枯病等“三虫三病”为
近年来，基于机器视觉的水稻病虫害自动识别技术引起科研工作者普遍关注。此类方法的基本原理是首先构建图像视觉特征表示模型，然后将该模型在带有标签的训练数据集中进行训练，确定算法模型参数，最后在测试数据集中验证算法性能。从视觉特征表示角度看，基于机器视觉的水稻病虫害识别方法大致可以分为两类：基于手工特
以上关于水稻病虫害识别的研究主要侧重病害图像视觉特征表达，而针对虫害识别研究偏少。由于水稻害虫具有个体较小、不同类别害虫外观差异小（即不同类型害虫外观具有相似性，例如螟虫和卷叶螟、二化螟等）、相同类别害虫外观差异大（即同类型害虫在不同生长时期，外观差异较大，例如螟虫在幼虫、成虫外观变化较大）的特点导致实际大田水稻虫害精确识别非常困难。因此，本研究针对上述问题，通过对大田水稻生长过程进行长期观测，建立水稻害虫影像数据集，采用随机噪声、Mixu
试验数据采集于湖北省农业科学院鄂州市水稻实验基地（湖北省鄂州市杜山镇东港村），水稻种植面积约33 h
图 1 水稻害虫数据集
Fig.1 Rice pests dataset
深度卷积神经网络模型运行所需的计算资源和存储资源与输入图像的分辨率成正比关系，当前经典的神经网络模型输入图像分辨率为224像素×224像素，例如ImageNet图像识别数据集。水稻数据集中图像分辨率为5 472像素×3 648像素，直接作为训练数据，深度学习模型需要的计算和存储资源超过现有深度学习系统承受极限。因此，以图像中害虫对象为中心，使用MATLAB视觉库对原始图像进行裁剪和归一化处理，将图像分辨率降为600像素×600像素。采用 Labelme标注工具对样本图像进行类别标注，标注格式为 PASCAL VOC2007 ，并对标注结果进行校正，减少因标注错误引入的噪声。为了解决因遮挡导致深度模型识别性能下降问题，数据集中遮挡害虫图像数量占数据集30%。根据遮档率（图像中对象被遮挡部分与对象实际面积比值）差异对遮挡数据集进行划分，其中严重遮挡（遮挡率50%~75%）占10% ，中等遮挡（遮挡率30%~50%）占20%，轻微遮挡（遮挡率低于30%）占70%。
所有图像数据进行裁剪和归一化预处理，保证害虫在图像中心，每张图像分辨率为500像素×500像素。虽然在数据采集时尽量保证水稻6类害虫样本数量相同，但不同生长时期的害虫样本数量差距较大，例如灰飞虱和稻飞虱幼虫样本数量仅为200张左右，而螟虫幼虫样本数量达807张。此外，害虫处于水平和垂直方向的样本居多，其他角度的样本数量很少。不同尺度的害虫样本数量也差别较大。如果害虫识别模型直接在该数据集下训练，可能导致其在样本数量较少的类别上性能表现较差。
为了解决这种样本数据不均衡导致模型性能下降的问题，本研究采用多种数据增强方法，将样本较少的害虫类别图像进行扩充。首先，通过翻转（水平和垂直2个方向）、平移、随机裁剪、旋转、缩放（按照10%、20%、30%比例放大）、加高斯噪声、Mixup和Cutout图像融合等方法将原始图像转化为10张，使得所有类别害虫图像数量达到8 000张，然后，将所有数据进行归一化，使其分辨率为300像素×300像素。为了减少数据集划分对试验的影响，本研究采用随机划分方式，将增广数据集按照7∶1∶1的比例，分成训练集、验证集和测试集。采用交叉验证方式，随机重复10次。每次划分后，模型进行训练和测试，最后取10次试验结果的平均值作为最后试验结果。数据增强效果如
图 2 增强后的样本图像
Fig.2 Enhanced sample image
YOLOv
1）卷积块注意力模型。通过观察数据集中害虫图像，发现部分害虫图像中害虫个体小、数量大，且在图像中分布位置差异较大，为了使卷积神经网络集中在害虫分布区域学习鲁棒的特征表示，本研究在YOLOv7 网络后端引入注意力模型。在人类大脑视觉皮层中，注意力机制能够更快捷和高效地分析复杂场景信息。视觉注意力机制是一种通过设计特殊的神经网络结构，让主干深度神经网络在特征学习时把注意力聚集在图像重要区域的方法。本文引入一种新的轻量级注意力模型CBAM（convolutional block attention module
图 3 卷积块注意力模型
Fig.3 Convolutional block attention module
在通道注意力子模块中，假设输入特征图为F（H×W×C），其中，H、W、C分别为特征图的高、宽和通道数，分别经过基于水平和垂直方向的全局最大池化操作和全局平均池化操作之后，生成2个1×1×C的特征图；再将其分别输入到1个2层的全连接神经网络，即共享的多层感知机，其中第1层神经元个数为C/r（r为压缩率），激活函数为ReLU；第2层神经元个数为C，共享多层感知机输出的2个特征向量进行元素加和运算，再经过sigmoid激活函数，得到通道注意力特征，最后将该特征与输入特征进行元素乘法运算，其结果作为空间注意子模块的输入。
在空间注意力子模块中，首先将上述通道注意力子模块产生的特征图通过基于通道的全局最大值池化和全局平均值池化操作，分别得到2个H×W×1的特征图；然后将这2个特征图进行基于通道的拼接操作，再通过7×7卷积操作，获得H×W×1的特征图；最后，该特征图通过sigmoid激活生成空间通道特征，并与输入特征图进行元素级乘法运算，得到最终特征。
2）替换主干网络。为了实现在移动设备上部署水稻害虫识别算法，使用轻量级主干网络MobileNetv
3）预训练模型。深度学习模型是多层神经网络，参数数量超过百万，模型训练过程是利用后向传播将误差从高层向底层逐层传递，以误差最小化为约束条件，确定最优参数数值。当训练数据集规模较小时，模型中部分参数不是最优解，会导致模型泛化能力差。为解决这个问题，深度学习模型通常会设置默认参数，在大规模数据集上进行充分训练，然后将收敛之后的模型参数作为初始参数再在目标数据集上进行再训练，微调模型参数。本研究也采用预训练方式，改进的YOLOv7模型在ImageNet数据集进行预训练，将训练好的模型参数作为初始参数，在水稻病虫害数据集上进行再次训练。
4）试验环境。试验平台硬件部分为一台包含Intel i7 10700k处理器，32 G DDR4 内存，2 T硬盘和2张GTX 3060 12 G显存GPU卡的深度学习服务器；软件部分为英伟达公司发布的深度学习加速库CUDA Toolkit 9.0和 CUDNN V10.0；Tensorflow-GPU 1.8.0深度学习框架。
5）评价标准。试验结果评价指标为平均准确率和召回率。假设单个类别识别的精确度（precision，P）、召回率（recall，R）、平均精度（average precision，PA）、平均精度均值（mean average precision，PmA）计算如下：
| P | （1） |
| （2） |
| （3） |
| （4） |
其中，TP是表示样本预测标签为正且实际的标签也为正的样本数量；FP表示样本预测标签为正且实际的标签为负的样本数量；FN表示样本预测标签为负而实际标签为正的样本数量；PA是以召回率为横坐标、准确率为纵坐标绘制 P-R 曲线，曲线与坐标轴围成的面积，衡量模型对某类害虫识别的效果。
另一个重要评价指标是检测速度，即每秒内检测图片数量，采用帧/s（frame per second，fps）表示，检测速度是实现实时检测的基础。
6）对比算法。为了验证不同主干网络对YOLOv7算法识别精度的影响，本研究选择当前主流的主干网络作为测试基准，分别为Darknet-53、EfficientNetB
本研究提出的模型在ImageNet数据集上进行图像识别预训练，然后将预训练模型在水稻害虫数据集下进行fine-tune训练。初始学习率为 0.000 1，迭代次数为 2 000，每迭代100次后，学习率退化为原来的10%。采用批量训练的方法将训练集划分为多个批次，每个批次训练 100 张图片，即batch_size=100。模型训练损失和准确率变化如
图4 模型训练损失曲线图
Fig.4 Model training loss graph
针对水稻害虫不同生长时期外观形态变化大、个体较小导致虫害识别精度下降的问题，本研究提出通用数据增强、图像融合增强、预训练等方法对数据集进行扩展和训练参数迁移。基于改进YOLOv7算法，分别进行4组消融实验验证所提出方法的有效性。实验结果如
试验序号 Test No. | 预训练 Pre-training | 数据增强 Data augment | 图像融合 Image mixup | PmA/% |
|---|---|---|---|---|
| 1 | - | - | - | 78.82 |
| 2 | √ | - | - | 80.73 |
| 3 | √ | √ | - | 82.62 |
| 4 | √ | √ | √ | 85.29 |
从
YOLOv7算法应用4个不同骨干网络模型Darknet-53、EfficientNetB0、ResNet50和MobileNetv3分别在本数据集下训练测试。模型平均精确度、检测速度和模型大小如
骨干网络 Backbone network | PmA/% | 检测速度/（帧/s) Detection speed | 模型大小/M Model size |
|---|---|---|---|
| YOLOv7-Darknet-53 | 80.25 | 16.30 | 130.62 |
| YOLOv7-ResNet-50 | 82.46 | 12.89 | 89.82 |
| YOLOv7-EfficientNet-B0 | 81.75 | 15.82 | 63.86 |
| YOLOv7-MobileNetv3 | 85.29 | 92.21 | 20.63 |
从
为测试本研究方法的性能，将近年来基于机器视觉的水稻虫害识别前沿算法与本方法进行性能对比实验。为保证实验客观和公平，所有算法在相同的训练集和测试集下进行训练和测试，训练参数以算法测试结果最优为准。试验结果如
识别方法 Recognition methods | PmA/% | 检测速度/（帧/s) Detection speed |
|---|---|---|
| ADM_Ret | 83.69 | 23.86 |
| EML | 76.56 | 125.49 |
| YOLOv7-MobileNetv3 | 85.29 | 92.21 |
从
本研究提出的模型在水稻害虫识别数据集上对6类害虫正确分类与错误分类的详细结果如
图 5 归一化混淆矩阵
Fig.5 Normalized confusion matrix
图 6 水稻害虫识别结果
Fig.6 Results of rice pest recognition
图中蓝色实线框表示害虫识别为正确的实例，黄色实线框表示识别错误实例，红色虚线框表示漏检实例。The blue solid line box， the yellow solid line box and the red dashed line box indicate the correct instance， the identification error， and the missed detection， respectively.
从
姚青
因此，本研究提出的方法在大田水稻害虫识别任务上，其平均准确率和召回率比原始YOLOv7模型具有明显优势。该方法能够应用于大田水稻病虫害远程自动化诊断，提高农业生产智能化水平，可为后续深入研究提供参考。
参考文献References
全国农业技术推广服务中心. 2021年全国粮食作物重大病虫害发生趋势预报［J］. 中国植保导刊，2021，41（1）：37-39，42.National Agricultural Technology Extension Service Center. Forecast of occurrence trend of major diseases and insect pests of grain crops in 2021［J］.China plant protection，2021，41（1）：37-39，41（in Chinese）. [百度学术]
刘芹，杨俊杰，袁浩，等．2021年湖北省农作物主要病虫害发生趋势［J］．湖北植保，2021（2）：51-54．LIU Q，YANG J J，YUAN H，et al．Occurrence trend forecast of the major diseases and insect pests of main crops in Hubei Provience in 2021［J］．Hubei plant protection，2021（2）：51-54 （in Chinese with English abstract）． [百度学术]
马鹏鹏，周爱明，姚青，等．图像特征和样本量对水稻害虫识别结果的影响［J］．中国水稻科学，2018，32（4）：405-414．MA P P，ZHOU A M，YAO Q，et al．Influence of image features and sample sizes on rice pest identification［J］．Chinese journal of rice science，2018，32（4）：405-414 （in Chinese with English abstract）． [百度学术]
景晨．基于无人机平台和图像处理的水稻感染稻纵卷叶螟虫害自动识别技术［J］．农业开发与装备，2018（11）：98-100．JING C．Automatic identification technology of rice pests infected with Cnaphalocrocis medinalis based on UAV platform and image processing［J］．Agricultural development and equipments，2018（11）：98-100 （in Chinese）． [百度学术]
鲍文霞，邱翔，胡根生，等．基于椭圆型度量学习空间变换的水稻虫害识别［J］．华南理工大学学报（自然科学版），2020，48（10）：136-144．BAO W X，QIU X，HU G S，et al．Identification of rice pests based on space transformation by elliptic metric learning［J］．Journal of South China University of Technology （natural science edition），2020，48（10）：136-144 （in Chinese with English abstract）． [百度学术]
杨颖，文小玲，章秀华．基于方向梯度直方图和局部二值模式混合特征的水稻病虫害识别方法研究［J］．河南农业大学学报，2021，55（6）：1089-1096．YANG Y，WEN X L，ZHANG X H．Study of diseased rice image recognition based on histograms of oriented gradients and local binary pattern hybrid features［J］．Journal of Henan Agricultural University，2021，55（6）：1089-1096 （in Chinese with English abstract）. [百度学术]
黄双萍，孙超，齐龙，等．基于深度卷积神经网络的水稻穗瘟病检测方法［J］．农业工程学报，2017，33（20）：169-176．HUANG S P，SUN C， QI L，et al．Rice panicle blast identification method based on deep convolution neural network［J］．Transactions of the CSAE，2017，33（20）：169-176 （in Chinese with English abstract）． [百度学术]
谭云兰，欧阳春娟，李龙，等．基于深度卷积神经网络的水稻病害图像识别研究［J］．井冈山大学学报（自然科学版），2019，40（2）：31-38．TAN Y L，OUYANG C J，LI L，et al．Image recognition of rice diseases based on deep convolutional neural network［J］．Journal of Jinggangshan University （natural science），2019，40（2）：31-38 （in Chinese with English abstract）． [百度学术]
范春全，何彬彬．基于迁移学习的水稻病虫害识别［J］．中国农业信息，2020，32（2）：36-44．FAN C Q，HE B B．Identification of rice diseases and insect pests using transfer learning［J］．China agricultural informatics，2020，32（2）：36-44 （in Chinese with English abstract）． [百度学术]
ZHANG H Y，CISSE M，DAUPHIN Y N，et al．Mixup：beyond empirical risk minimization［DB/OL］.arXiv，2017：1710.09412［2022-09-27］.https：//doi.org/10.48550/arXiv.1710.09412. [百度学术]
DEVRIES T，TAYLOR G W．Improved regularization of convolutional neural networks with cutout［DB/OL］.arXiv，2017：1708.04552［2022-09-27］.https：//doi.org/10.48550/arXiv.1708.04552. [百度学术]
WANG C Y，BOCHKOVSKIY A，LIAO H Y M．YOLOv7：Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors［DB/OL］．arXiv，2022：2207.02696［2022-09-27］．https：//doi.org/10.48550/arXiv.2207.02696. [百度学术]
REDMON J，DIVVALA S，GIRSHICK R，et al．You only look once：unified，real-time object detection［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA．Las Vegas：IEEE，2016：779-788． [百度学术]
WOO S，PARK J，LEE J Y，et al．CBAM：convolutional block attention module［M］//Computer Vision - ECCV 2018．Cham：Springer International Publishing，2018：3-19． [百度学术]
HOWARD A，SANDLER M，CHEN B，et al．Searching for MobileNetV3［C］//2019 IEEE/CVF International Conference on Computer Vision （ICCV）．October 27 - November 2，2019，Seoul，Korea （South）．Seoul：IEEE，2020：1314-1324． [百度学术]
SANDLER M，HOWARD A，ZHU M L，et al．MobileNetV2：inverted residuals and linear bottlenecks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition．June 18-23，2018，Salt Lake City，UT，USA．Salt Lake City：IEEE，2018：4510-4520． [百度学术]
YANG T J，HOWARD A，CHEN B，et al．NetAdapt：platform-aware neural network adaptation for mobile applications［M］//Computer Vision-ECCV 2018．Cham：Springer International Publishing，2018：289-304． [百度学术]
TAN M X，LE Q V．EfficientNet：rethinking model scaling for convolutional neural networks［C］// International Conference on Machine Learning.［S.l.］：［s.n.］，2019：6105-6114. [百度学术]
姚青，谷嘉乐，吕军，等．改进RetinaNet的水稻冠层害虫为害状自动检测模型［J］．农业工程学报，2020，36（15）：182-188．YAO Q，GU J L，LÜ J，et al．Automatic detection model for pest damage symptoms on rice canopy based on improved RetinaNet［J］．Transactions of the CSAE，2020，36（15）：182-188 （in Chinese with English abstract）． [百度学术]