摘要
为提高柑橘害虫识别精准度和防治效果，本研究构建包含10类对柑橘危害程度较重的害虫图像数据集，基于神经网络MobileNetV2与注意力机制ECA开发轻量化且高识别精度的ECA_MobileNetV2模型，并基于该模型开发一款边缘计算App。将ECA注意力机制嵌入MobileNetV2网络的反残差结构尾部，以增强原网络的跨通道信息交互能力，提升原网络的特征提取能力。测试结果显示，ECA_MobileNetV2模型对柑橘害虫的分类准确率达到93.63%，相比于MobileNetV2、GoogLeNet和ResNet18模型分别提高了1.68、1.44和2.40个百分点，而模型参数量、浮点运算数和模型大小分别为3.50×1
柑橘是全球最重要的经济作物之一，产量超过1.58亿
结合图像技术与机器学习可以实现害虫的识别，涉及的算法包括支持向量机（SVM
为了解决复杂背景带来的影响，研究人员使用注意力机制优化网络模型，使模型有效特征提取能力提高，降低无效特征干
开发适用于柑橘果园场景的病害虫智能识别工具，需要构建兼具高识别精度与低计算开销的智能算
本研究以橘小实蝇（Bactrocera dorsalis Hendel）、柑橘木虱（Diaphorina citri Kuwayama）、具条实蝇（Bactrocera scutellata Hendel）等对柑橘危害最为严
图1 数据采集装置
Fig.1 Data acquisition device
1.亚克力箱 Acrylic box；2.照明台灯 Lighting desk lamp；3.移动智能手机 Mobile smartphone；4.载物台 Stage；5.计算机 Computer.
柑橘蓟马（Scirtothrips citri）、绿甲虫（金龟子，Oxycetonla jucunda Fald）和夜蛾（Noctuidae）等3类害虫数据图片来源于公开数据集Pest2
图2 部分柑橘害虫图像
Fig.2 Partial citrus pest images
常用的数据集划分比例为6︰2︰2、7︰3︰0和8︰1︰1等，本研究选择6︰2︰2的划分比例将害虫数据集随机划分训练集、验证集和测试集。为了避免模型在训练过程出现过拟合问题，对训练集使用12类数据增强操作，分别是随机改变图片亮度、对比度、色值、锐化值、取反像素值、覆盖掩膜、沿不同坐标轴裁剪或平移图片和旋转图片角度。扩充后的数据集对提升模型泛化能力有着重要意义。
神经网络在发展过程中存在模型复杂度高、训练时间长等问题。为了解决这些问题，MobileNetV2模型使用深度可分离卷积，将普通的3×3卷积分离成3×3逐通道卷积（depthwise convolution，DW）和1×1逐点卷积（pointwise convolution，PW）。MobileNetV2通过卷积替换的方式，在保证模型的性能前提下使得模型的复杂度更低、训练时间更短。
瓶颈层（BottleNeck）的核心结构采用倒残差（inverted residuals）结构，以增强逐通道卷积的特征提取能力。同时为了避免激活函数（ReLU）所产生的特征丢失问题，瓶颈层内的最后1个卷积层使用线性激活函数来代替ReLU激活函数。MobileNetV2模型的整体结构如
图3 MobileNetV2模型结构
Fig.3 Structure of MobileNetV2 model
不同柑橘害虫种类的区分特征集中于本体背部等区域内，特征区域面积小并且特征差异不明显，导致害虫分类识别困难。通过在神经网络中添加注意力机制能有效提升对害虫区域的特征提取能力（
图4 ECA模块结构图
Fig.4 Structure of efficient channel attention
ECA注意力机制模块使用一维卷积，通过自适应的通道覆盖率k捕获局部跨通道交互信息，使得ECA模块只增加少量参数，同时能明显提升网络性能。通道覆盖率k的定义为参与该通道注意力计算的周围k个相邻通道。由于对k的交叉验证调优过程繁琐，ECA-Net使用自适应方法确定k值。k的计算公式如下：
| （1） |
由于特征图通过MobileNetV2的反残差结构和深度可分离卷积在保证图像分类准确率的同时，提升图像分类的训练速度。为了更有效地提取柑橘害虫数据集图像的小目标害虫特征，将ECA注意力机制模块添加到MobileNetV2的倒残差网络模块中，如
图5 柑橘害虫分类模型结构图
Fig.5 Structure of citrus pest classification model
柑橘害虫图片在输入层内被统一调整为224像素×224像素的RGB三通道格式。特征提取网络的第1个二维卷积作用是调整输入图片的通道数，降低图片维度，得到尺寸大小为112像素×112像素、32通道数的特征图M1。M1经过17个添加ECA模块的瓶颈层结构， 提取更有效的害虫特征。在17个瓶颈层结构相互连接的基础上，第1个瓶颈层结构的扩展因子为1，其余16个瓶颈层结构的扩展因子为6。M1进过17个瓶颈层结构后，特征通道数由32变成320，特征图尺寸由112像素×112像素变为7像素×7像素。
经过特征提取网络的害虫特征图进入分类网络中，通过BN归一化函数、ReLU激活函数、全局平均池化、全连接层操作后，由Softmax函数计算出该害虫图像的特征值，进而得出对应每种害虫种类的概率值，并将最高概率值的害虫类别作为预测结果返回至输出层，实现害虫分类识别。
试验用计算机型号为Legion R9000P2021H，中央处理器型号为AMD Ryzen7 5800H、工作主频3.20 GHz，内存大小32 GB，图形处理器GPU为NVIDIA GeForce RTX 3070 Laptop。操作系统为Windows 11家庭中文版，深度学习框架使用Pytorch1.7.1、torchvision0.8.2、Python3.8、CUDA11.0、CUDNN8.0.5.39，集成开发环境为Anaconda3。
模型在训练前统一将图像尺寸调整为224像素×224像素，设置初始学习率（learning rate）为0.001来防止梯度爆炸，使用Adam优化器根据历史梯度数据对变量进行优化调整，权重衰减系数设为0.003，动量因子设置为0.9。为了使训练后的模型分类能力更好，设置非冻结批次（unfreeze epoch）为300，设置单次训练样本Batchsize为48。
本研究使用模型参数量（params）、模型浮点运算数（FLOPs）评价指标衡量模型复杂度；使用测试数据集测试模型的分类能力，以测试准确率（accuracy，A）作为评价模型的指标，同时列出精确率（precision，P）、F1、召回率（recall，R）和准确率结果；使用交叉熵损失（cross entropy）函数估量模型输出与真实值之间的差距。
| （2） |
| （3） |
| （4） |
| （5） |
式（
交叉熵损失函数实现公式如下：
| （6） |
试验选择ECA_MobileNetV2、MobileNetV2、GoogLeNet、ResNet等4种网络模型，对柑橘害虫数据集进行训练、验证和测试，测试集的精确率、F1、召回率和准确率结果如
模型 Model | 精确率Precision | F1 | 召回率 Recall | 准确率 Accuracy |
|---|---|---|---|---|
| MobileNetV2 | 92.17 | 91.77 | 91.62 | 91.95 |
| GoogLeNet | 92.24 | 92.13 | 92.12 | 92.19 |
| ResNet18 | 91.28 | 91.09 | 91.11 | 91.23 |
| ECA_MobileNetV2 | 93.96 | 93.68 | 93.59 | 93.63 |
使用网络可视化工具torchsummary记录MobileNetV2、GoogLeNet、ResNet18和ECA_MobileNetV2 等4种分类网络模型的参数量、浮点运算数和模型大小，结果如
| 模型Model | 参数量Params | 浮点运算数 FLOPS | 模型大小/MB Model size |
|---|---|---|---|
| MobileNetV2 |
3.50×1 |
327.49×1 | 8.71 |
| GoogLeNet |
6.62×1 |
1 511.33×1 | 38.1 |
| ResNet18 |
11.69×1 |
1 824.03×1 | 42.7 |
| ECA_MobileNetV2 |
3.50×1 |
328.06×1 | 8.72 |
为了进一步验证深度学习方法对害虫特征的提取与分类的合理性，分析网络的特征权重的集中区域。本研究选取部分柑橘害虫数据集图片，采用Grad-CAM（class activation mapping，CAM）方法对ECA_MobileNetV2和MobileNetV2的权重模型进行可视化分析。将特征提取网络的最后1个卷积层的特征图进行可视化，更加直观地展现网络的特征权重集中区域。
图6 MobileNetV2模型（A）和 ECA_MobileNetV2模型（B）的类激活热力图
Fig.6 Class activation heatmaps of MobileNetV2（A） and ECA_MobileNetV2（B） model
对比
本系统总体上设计为边缘计算架构，以应对部分柑橘产区网路信号弱的问题。本研究基于Android移动平台开发柑橘害虫分类识别系统，将pth模型文件转换成paddle-lite格式并保存在Android手机中。测试运行智能手机型号为红米K40，内置Android11.0操作系统，手机运行内存12 GB（
图7 分类识别系统界面展示图（A）与系统操作流程图（B）
Fig.7 Display diagram（A） and operation flow chart（B） of classification and identification system
柑橘害虫分类识别系统功能主要分为登录系统、图像上传、模型推理和显示预测结果4个模块。用户登录识别系统，进入系统交互界面后，可以选择使用手机拍摄害虫图片上传或者将手机相册内的待分类识别图片上传，部署在手机端的深度学习模型ECA_MobileNetV2对上传图片进行预测，并将预测种类“具条实蝇”与预测置信度“9.224”返回至系统界面中，整个识别流程耗时22.0 ms，满足识别的准确性和实时性需求。经过系统实机测试，本系统可为用户提供柑橘害虫准确、实时的分类识别服务，为柑橘害虫的科学防治提供信息支持。
本研究以10类柑橘害虫为研究对象，收集4 191张害虫图片并构建柑橘害虫数据集，并对训练集使用数据增强方法，提升模型的泛化能力，相较于其他害虫数据集，本数据集具有背景复杂、针对的害虫对柑橘危害程度较重等特点。在MobileNetV2模型的基础上添加ECA注意力机制，基于ECA_ MobileNetV2开发出了1种柑橘害虫智能识别工具。本研究中ECA_ MobileNetV2模型在害虫测试集中的分类准确率达到93.63%，该模型的分类能力优于ResNet18、GoogLeNet、MobileNetV2 这3种模型。ECA_ MobileNetV2模型的参数量、浮点运算数和模型大小分别为3.50×1
本研究通过类激活图可视化方法分析得到柑橘害虫种类识别模型的特征识别区域主要集中于害虫背部、翅膀部位，避免了背景干扰等问题，说明ECA注意力机制能够加强害虫特征权重，获得更加有效的害虫特征，同时降低其他特征权重，减少背景等其他因素对模型分类依据的干扰。本研究还成功在移动设备中搭建柑橘害虫分类系统，并将ECA_ MobileNetV2模型部署在该系统中。经过设备运行测试，该系统具备柑橘害虫分类功能，并且系统识别害虫速度快，平均单张害虫识别为22 ms，满足害虫快速实时分类的需求。
参考文献References
祁春节，顾雨檬，曾彦.我国柑橘产业经济研究进展［J］.华中农业大学学报，2021，40（1）：58-69.QI C J，GU Y M，ZENG Y.Progress of citrus industry economy in China［J］.Journal of Huazhong Agricultural University，2021，40（1）：58-69（in Chinese with English abstract）. [百度学术]
周华众，向子钧，秦仙姣.柑橘大实蝇的发生危害特点及防控技术［J］.湖北植保，2009（1）：38-39.ZHOU H Z，XIANG Z J，QIN X J.Occurrence and damage characteristics of Bactrocera citri and its control techniques［J］.Hubei plant protection，2009（1）：38-39（in Chinese）. [百度学术]
张志恒，黄茜斌，梁靖，等.柑橘生产基地的农药使用与药迹负荷分析［J］.浙江农业科学，2022，63（2）：206-209.ZHANG Z H，HUANG X B，LIANG J，et al.Analysis of pesticide use and drug trace load in citrus production base［J］.Journal of Zhejiang agricultural sciences，2022，63（2）：206-209（in Chinese）. [百度学术]
张志恒，汪雯，李慧杰，等.耕地园地农药药迹容量模型及其在综合风险评级中的应用［J］.农药学学报，2019，21（S1）：931-940.ZHANG Z H，WANG W，LI H J，et al.Pesticide trace capacity model for planting land and its application in comprehensive risk rating［J］.Chinese journal of pesticide science，2019，21（S1）：931-940（in Chinese with English abstract）. [百度学术]
龚碧涯，刘慧，向敏，等.三种果园中实蝇粘虫板对橘小实蝇及天敌的诱杀作用［J］.植物保护学报，2021，48（4）：839-847. GONG B Y，LIU H，XIANG M，et al.Effectiveness of sticky traps in trapping oriental fruit fly Bactrocera dorsalis and the natural enemies in three kinds of orchards［J］.Journal of plant protection，2021，48（4）：839-847（in Chinese with English abstract）. [百度学术]
张文一，景天忠，严善春.基于机器学习的落叶松毛虫发生面积预测模型［J］.北京林业大学学报，2017，39（1）：85-93. ZHANG W Y，JING T Z，YAN S C.Studies on prediction models of Dendrolimus superans occurrence area based on machine learning［J］.Journal of Beijing Forestry University，2017，39（1）：85-93（in Chinese with English abstract）. [百度学术]
卢柳江，匡迎春，陈兰鑫，等.基于级联AdaBoost分类器的农作物虫害图像识别研究［J］.中国农机化学报，2019，40（8）：127-131. LU L J，KUANG Y C，CHEN L X，et al.Research on pest recognition based on cascaded AdaBoost classifier［J］.Journal of Chinese agricultural mechanization，2019，40（8）：127-131（in Chinese with English abstract）. [百度学术]
杨淑香，赵慧颖，包兴华.基于人工神经网络的落叶松毛虫发生量预测模型的研究［J］.中国农学通报，2014，30（28）：72-75. YANG S X，ZHAO H Y，BAO X H.A study on the forecast model of Dendrolimus superans butler occurrence based on artificial neural network［J］.Chinese agricultural science bulletin，2014，30（28）：72-75（in Chinese with English abstract）. [百度学术]
韩雨昊，曹丽君，王友起，等.基于决策树CART算法的虫害预测模型分析［J］.现代化农业，2022（1）：45-47.HAN Y H，CAO L J，WANG Y Q，et al.Analysis of pest prediction model based on decision tree CART algorithm［J］.Modernizing agriculture，2022（1）：45-47（in Chinese）. [百度学术]
黄建荣.稻纵卷叶螟和褐飞虱为害水稻的光谱监测［D］.南京：南京农业大学，2013.HUANG J R.Detection of Cnaphalocrocis medinalis Gene and Nilaparvata lugens （stl） damage in rice using spectral data［D］.Nanjing：Nanjing Agricultural University，2013（in Chinese with English abstract）. [百度学术]
LI W Y，ZHENG T F，YANG Z K，et al.Classification and detection of insects from field images using deep learning for smart pest management：a systematic review［J/OL］.Ecological informatics，2021，66：101460［2023-02-10］.https：//doi.org/10.1016/j.ecoinf.2021.101460. [百度学术]
LI W Y，WANG D J，LI M，et al.Field detection of tiny pests from sticky trap images using deep learning in agricultural greenhouse［J/OL］.Computers and electronics in agriculture，2021，183：106048［2023-02-10］.https：//doi.org/10.1016/j.compag.2021.106048 . [百度学术]
安小松，宋竹平，梁千月，等.基于CNN-Transformer的视觉缺陷柑橘分选方法［J］.华中农业大学学报，2022，41（4）：158-169.AN X S，SONG Z P，LIANG Q Y，et al.A CNN-Transformer-based method for sorting citrus with visual defects［J］.Journal of Huazhong Agricultural University，2022，41（4）：158-169（in Chinese with English abstract）. [百度学术]
陈继清，韦德鹏，龙腾，等.基于卷积神经网络的害虫分类［J］.中国农机化学报，2022，43（11）：188-194.CHEN J Q，WEI D P，LONG T，et al.Pest classification based on convolutional neural network［J］.Journal of Chinese agricultural mechanization，2022，43（11）：188-194（in Chinese with English abstract）. [百度学术]
ZHONG Y H，GAO J Y，LEI Q L，et al.A vision-based counting and recognition system for flying insects in intelligent agriculture［J/OL］.Sensors （Basel，Switzerland），2018，18（5）：1489［2023-02-10］.https：//doi.org/10.3390/s18051489. [百度学术]
夏红梅，赵楷东，江林桓，等.注意力与多尺度特征融合的水培芥蓝花蕾检测［J］.农业工程学报，2021，37（23）161-168.XIA H M，ZHAO K D，JIANG L H，et al.Flower bud detection model for hydroponic Chinese kale based on the fusion of attention mechanism and multi-scale feature［J］.Transactions of the CSAE，2021，37（23）161-168（in Chinese with English abstract）. [百度学术]
沈华峰.结合八度卷积与注意力机制的Xceptions林业害虫识别方法［J］.信息技术与信息化，2022（6）：46-51.SHEN H F.Xceptions forest pest identification method combining octave convolution and attention mechanism［J］.Information technology and informatization，2022（6）：46-51（in Chinese）. [百度学术]
温长吉，王启锐，陈洪锐，等.面向大规模多类别的病虫害识别模型［J］.农业工程学报，2022，38（8）：169-177.WEN C J，WANG Q R，CHEN H R，et al.Model for the recognition of large-scale multi-class diseases and pests［J］.Transactions of the CSAE，2022，38（8）：169-177（in Chinese with English abstract）. [百度学术]
彭红星，何慧君，高宗梅，等.基于改进ShuffleNetV2模型的荔枝病虫害识别方法［J］.农业机械学报，2022，53（12）：290-300.PENG H X，HE H J，GAO Z M，et al.Litchi diseases and insect pests identification method based on improved ShuffleNetV2［J］.Transactions of the CSAM，2022，53（12）：290-300（in Chinese with English abstract）. [百度学术]
刘晓华，杨成月，徐茹枝，等.基于强化学习的智能电网多接入边缘计算的位置隐私保护［J］.电力信息与通信技术，2023，21（1）：47-53.LIU X H，YANG C Y，XU R Z，et al.Location privacy protection of smart grid MEC based on reinforcement learning［J］.Electric power information and communication technology，2023，21（1）：47-53（in Chinese with English abstract）. [百度学术]
SANDLER M，HOWARD A，ZHU M L，et al.MobileNetV2：inverted residuals and linear bottlenecks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition，June 18-23，2018，Salt Lake City，UT，USA.Lake City：IEEE，2018：4510-4520. [百度学术]
WANG Q L，WU B G，ZHU P F，et al.ECA-net：efficient channel attention for deep convolutional neural networks［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），June 13-19，2020，Seattle，WA，USA.Seattle：IEEE，2020：11531-11539. [百度学术]
杨俊杰，张求东，彭传华，等.湖北柑橘害虫种类调查及主要害虫发生特点［J］.湖北农业科学，2013，52（16）：3827-3835.YANG J J，ZHANG Q D，PENG C H，et al.Preliminary report on general investigation of Citrus pest species，occurrence and damage characteristics in Hubei Province［J］.Hubei agricultural sciences，2013，52（16）：3827-3835（in Chinese with English abstract）. [百度学术]
WANG Q J，ZHANG S Y，DONG S F，et al.Pest24：a large-scale very small object data set of agricultural pests for multi-target detection［J/OL］.Computers and electronics in agriculture，2020，175：105585［2023-02-10］.https：//doi.org/10.1016/j.compag.2020.105585. [百度学术]