摘要
为评估日光温室蓝莓开花窗口期内授粉蜜蜂投放量的合理性，基于机器视觉对蓝莓的蜜蜂授粉次数进行统计。针对检测环境复杂、目标尺度小、易被遮挡等问题，对数据集进行改进泊松融合数据增强处理；并优化设计YOLOv5模型结构，通过引入GAM注意力机制和Transformer模块，增强模型特征提取能力，特征金字塔网络采用BiFPN结构及CARAFE模块补充上下文信息；使用EIoU损失函数和Soft NMS边界框筛选算法，提高边界框的定位精度，解决目标遮挡漏检问题。结果显示，改进后网络的平均精度均值达到96.6%，较原网络提高3.5个百分点，在GPU上对单张蓝莓授粉图像的平均检测时间为11.4 ms。研究结果表明，本研究建立的模型的识别准确度、检测速度及鲁棒性能满足对蓝莓的蜜蜂授粉次数的实时监测。
蓝莓花期授粉是温室蓝莓种植中至关重要的一个环节，借助蜜蜂授粉不仅均匀而且效率高，还可提高蓝莓的坐果率和果实品质，解决温室蓝莓在相对隔离条件下的授粉难题。蜜蜂的投放量直接影响授粉效果。目前蓝莓花期授粉次数统计大多数依靠人工，效率低且精度不高。因此，采用先进的信息技术手段，记录每朵花上蜜蜂的访花行为，实现日光温室蓝莓开花窗口期下的蜜蜂授粉次数统计，具有重要的现实意义。
现有目标检测算法主要包括基于图像特征的目标检测和基于深度学习的目标检测方
近年来随着人工智能技术的发展，以卷积神经网络为主干特征提取网络的目标检测算法在图像识别领域得到广泛应
为确保蓝莓授粉样本采集的可操作性与可验证性，本研究设计一套端到端数据采集设备，远程采集蓝莓温室大棚内蜜蜂授粉样本图片，并结合改进的YOLOv5进行检测识别，通过设计主干网络、颈部网络结构，从而融合各个尺度的特征，增强网络的特征表示能力，进一步结合注意力机制、Transformer等模块，将全局信息和关键特征进行有效融合，旨在实现模型准确率、检测速度以及鲁棒性的综合平衡，为快速精确识别蓝莓蜜蜂授粉目标提供新的研究思路。
本研究的数据来源于大连市金州区与庄河市蓝莓大棚种植基地，针对普通相机采集数据耗时耗力的问题，设计一套数据采集设备，该设备主要包括3部分：（1）iDS-2DC4223IW-/GLT（S5）型号摄像头，用于采集蓝莓授粉样本图像；（2）各类生长环境参数传感器，用于采集大棚内的各项环境参数数据；（3）USR-G805插卡式4GWIFI版工业路由器、电源模块和铁制支架部分，用于将数据传输至云端服务器。该数据采集设备实时收集大棚内蓝莓生长环境参数和蓝莓授粉样本图片，通过5G通信模块上传到云端服务器。并使用EOS 550D数码相机进行人工图像采集，进一步对数据集进行扩充，提高数据集丰富性。试验选取2个大棚，共放置3套数据采集设备，设置摄像头抓拍周期为10 s，图像分辨率为1 920像素×1 080像素，图像为JPG格式，数据采集设备采集图像1 929张，EOS 550D数码相机拍摄图像240张，图像分辨率为6 000像素×4 000像素，图像为JPG格式。经过人工数据清洗，删除不包含蓝莓授粉样本的图像，保留2 100张有效图像，使用LabelImg软件对图像进行人工标注，构建蓝莓授粉样本图像数据集，数据采集设备以及数据集的部分样本如
图1 数据采集设备以及部分数据集的样本示例
Fig.1 Part samples of the datasets and data acquisition equipment
A：数据采集设备 Data acquisition equipment；B，C：金州区样本 Sample of Jinzhou District；D：庄河市样本 Sample of Zhuanghe.
针对固定拍摄设备采集不到足够数量的蜜蜂访花行为图片，线上样本采集维度受限等问题，本研究提出一种蓝莓授粉样本图像的改进泊松融合数据增强方法，改进泊松融合数据增强方法结构如
图2 改进泊松融合数据增强方法结构
Fig.2 The structure of improved Poisson blending data enhancement method
1）改进的泊松融合算法。泊松融合算
| （1） |
2）泊松融合算法具体步骤。①通过差分方法，计算蜜蜂图像与蓝莓花朵图像的梯度场。②蜜蜂图像梯度场做Mask操作，提取待融合区域的梯度场。③蜜蜂待融合区域与蓝莓花朵图像的梯度场进行融合，得到合成图像的梯度场。④对合成图像的梯度场求偏导，计算合成图像的散度。⑤通过散度构建系数矩阵求解约束方程。
传统的泊松融合算法能较好地将蜜蜂图像融入到蜜蜂花朵图像中，但存在融合区域边界消失的问题，通过改进步骤②，首先获取蜜蜂Mask图像，对Mask图像进行闭运算处理得到Triamp
图3 改进泊松融合算法步骤图
Fig.3 Step of improved Poisson blending algorithm
最终得到融合后的蓝莓授粉样本图片如
图4 融合后的蓝莓授粉样本
Fig.4 Samples of blueberry pollination after fusion
YOLOv5网络由4个主要部分组成：输入端、Backbone、Neck、Prediction Head。图像输入网络后，Backbone主干网络在不同的图像粒度上聚集并形成图像特征，Neck颈部网络进行图像多尺度特征融合并传输到Prediction Head，Prediction Head对图像特征进行预测，生成边界框和预测类别。其中，Backbone采用CSPDarknet结构进行特征提取，Neck采用FPN+PA
1）主干网络的优化。①Bottleneck结构的优化蜜蜂尺寸较小或远距离拍摄导致蜜蜂在图像中的占比较小，并且由于池化层的存在，会使蜜蜂信息量进一步减少，导致深层特征对小目标的表达能力较弱。本研究通过改进C3模块中的Bottleneck结构，在Bottleneck结构中加入GAM注意力模块形成GAMBottleneck结构，引入GAMBottleneck结构的C3模块称之为GAMC3模块，在减少信息扩散的情况下能放大全局跨维度的交互特征，GAMC3结构如
图5 GAMC3模块结构图
Fig.5 GAMC3 module structure
GAM注意
图6 GAM注意力模块结构
Fig. 6 Structure of GAM Attention
②MHSA模块的引入。本研究引入BoTNe
图7 MSC3模块结构图
Fig. 7 MSC3 module structure
2）颈部网络的优化设计。为了进一步加强对小目标关键特征的提取，本研究采用权重分配的BiFP
FPN+PAN结构中采用卷积方式进行上采样，对于特征图每个位置采用相同的上采样核，不能很好地捕捉到特征图的语义信息，另外引入了大量参数和计算量，本研究采用CARAF
3）Prediction Heads的优化。为了进一步提高模型对中小目标的检测能力，捕获全局信息和丰富的上下文信息。本研究使用Transformer Prediction Head
图8 改进的YOLOv5网络结构
Fig.8 Structure of improved YOLOv5
4）损失函数和NMS的改进。YOLOv5网络中使用GIoU作为边界框的回归损失函数，如
| （2） |
本研究采用EIo
| （3） |
其中， Cw 和Ch 是真实框与预测框的最小外接矩阵的宽度和高度，b和
图9 损失值变化曲线
Fig.9 Loss value curve
A：定位损失 Localization loss；B：置信度损失 Confidence loss.
NMS算法利用得分高的边框抑制得分低且重叠度高的边框从而去除冗余的检测框，从而获得正确的检测结果，但当2个目标距离较近且存在部分重叠时，置信度较小的目标漏检的可能性较大。针对此问题，使用Soft NM
本试验的模型训练的试验环境为：Windows10操作系统、Intel Xeon W-2235处理器、Quadro RTX 4000显卡、编程语言为Python 3.8、深度学习模型采用 Pytorch1.10，采用CUDA10.2支持GPU加速。使用YOLOv5s.pt预训练权重进行迁移学习，将数据集根据4︰1的比例划分为训练集和验证集，采用SGD随机梯度下降进行网络参数的梯度优化，对模型参数进行初始化。设置训练epoch为300，初始学习率为0.01， batch size为4，动量为0.937，前3轮使用Warm up稳定前期训练参数，设定图片输入尺寸为640像素×640像素。
为了评估改进的YOLOv5s网络的检测性能，本试验采用精确率（precision，P）、召回率（recall，R）、平均精度均值（PmA）、蜜蜂授粉样本检测率、检测速度5个评价指标衡量改进的网络模型的检测性能，其中准确率、召回率的公式定义如式（
| （4） |
| （5） |
其中，TP（true positive）：正确检验框，表示已标定的预测框与标签框匹配。FP（false positive）：误检框，表示将背景预测成为物体的框。FN（false negative）：漏检框，表示原本需要检测到物体的框，没有检测出来。
精确率（P）为模型预测的所有目标中，预测正确的比例，有利于突出结果的相关性。查全率又称召回率（R），指所有的正样本目标中，预测正确的目标比例。为了结合这2个指标，引入了平均精度（PA）来测量检测精度，PmA为各类别PA的平均值，如
| （6） |
本研究进一步引入蓝莓授粉样本检测率与检测速度作为模型的评价指标，使用训练好的模型对选取的200张数据集图片进行检测，其中蜜蜂授粉样本图像179张，蜜蜂图像21张，实际蜜蜂授粉样本数量189个，统计识别正确的检测框数量、识别错误的检测框数量，计算得到样本检测率与误检率，衡量模型的实际检测效果。检测速度为模型在GPU上对单张图像测试时所需的推理时间。
YOLOv5模型可根据深度和宽度分为4种不同的模型：YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x。YOLOv5s作为最轻的模型，包含最少的参数，便于在实际应用场景中部署。其他网络模型都是在YOLOv5s的基础上不断加深、加宽，理论上随着网络深度和宽度的增加，网络特征提取和特征融合的能力也在不断增强，但检测能力越强，模型参数量和模型大小也呈线性增加，消耗了大量的计算资源。为了减少计算资源的消耗，本研究选择YOLOv5s作为改进模型，在不过多增加网络参数的前提下，实现对YOLOv5其他模型的性能超越，保证模型的轻量化以及高性能。由
| 模型 Models | 检测率/% Detection rate | 误检率/% False detection rate | 模型参数 Number of parameters | 平均精度均值/% PmA |
|---|---|---|---|---|
| YOLOv5s | 87.5 | 14 |
7.2×1 | 93.1 |
| YOLOv5m | 88.7 | 4 |
20.8×1 | 95.3 |
| YOLOv5l | 92.5 | 9 |
46.3×1 | 96.1 |
| YOLOv5x | 88.7 | 14 |
86.2×1 | 94.8 |
| 改进的YOLOv5s Improved-YOLOv5s | 95.5 | 4 |
8.7×1 | 96.6 |
本研究通过消融实验直观地观察不同的改进方法对YOLOv5s网络模型检测性能的优化作用，结果如
主干网络的优化Optimization of Backbone | 颈部网络的设计 Design of neck | Prediction Heads的优化 Optimization of Prediction Heads | 损失函数、NMS的改进 Improvement of loss function and NMS | 平均精度均值/% PmA |
|---|---|---|---|---|
|
√ √ √ √ |
√ √ √ |
√ √ |
√ |
93.1 95.2(+2.1) |
|
95.5(+0.3) 96.4(+0.9) | ||||
| 96.6(+0.2) |
图10 特征可视化对比图
Fig.10 Comparison of feature visualization
A：原图 Original figure； B：原主干网络 Original Backbone； C：优化后的主干网络 Optimized Backbone.
图11 改进前后的检测效果对比
Fig.11 Comparison of detection effect of before and after improvement
A，E：第一组遮挡目标检测效果对比Comparison of detection effect of occluded targets in group 1；B，F：第二组遮挡目标检测效果对比Comparison of detection effect of occluded targets in group 2； C，G：第三组遮挡目标检测效果对比Comparison of detection effect of occluded targets in group 3； D，H：误检情况下检测效果对比Comparison of detection effect under false detection condition.
为了进一步验证本研究改进算法的鲁棒性，对图像分别进行运动模糊、伽马变化处理，分析模型在弱光、遮挡模糊情况下的检测效果，具体检测效果如
图12 不同场景下的检测效果对比
Fig.12 Comparison of detection effect in different scenarios
A，E：第一组运动模糊后的检测效果对比 Comparison of detection effect after motion blur in group 1； B，F：第二组运动模糊后的检测效果对比 Comparison of detection effect after motion blur in group 2； C，G：第一组弱光条件下的检测效果对比 Comparison of detection effect under low light condition in group 1； D，H：第二组弱光条件下的检测效果对比 Comparison of detection effect under low light condition in group 2.
将改进的YOLOv5s算法与YOLOv4、Faster RCNN、SSD-MobilenetV3、YOLOX-S、EfficientDet-D1等主流的目标检测网络部署于同一服务器端并选用相同的试验环境与数据增强算法进行对比试验（
| 模型Model | 主干网络 Backbone | 精确率/%P | 召回率/%R | 平均精度均值/% PmA | 推理时间/ms Reason time |
|---|---|---|---|---|---|
|
SSD YOLOv4 Faster RCNN YOLOX-S EfficientDet-D1 改进的YOLOv5s Improved-YOLOv5s |
MobilenetV3 CSPDarknet53 ResNet50 Darknet53 EfficientNet Improved-CSPDarknet53 |
87.6 90.5 86.8 95.6 94.1 97.8 |
81.2 88.4 90.4 88.7 92.4 93.6 |
83.3 89.1 87.4 93.7 92.8 96.6 |
17.5 26.1 42.7 13.3 14.2 11.4 |
将本研究的数据增强方法分别与图像hsv增强（方案1）、图像随机角度变化增强（方案2）、图像mosaic增强（方案3）3种传统数据增强方法进行对比（
方法 Method | 精确率 Precision | 召回率 Recall | 平均精度均值PmA |
|---|---|---|---|
|
未数据增强 Without data enhancement | 94.4 | 85.0 | 90.3 |
| 方案1 Plan 1 | 97.0 | 80.0 | 88.2 |
| 方案2 Plan 2 | 92.5 | 92.3 | 93.1 |
| 方案3 Plan 3 | 94.9 | 92.5 | 92.5 |
| 本研究方法 The study | 97.3 | 91.1 | 93.6 |
本研究针对蓝莓授粉样本检测任务，首先提出一种改进泊松融合数据增强方法，通过蜜蜂数据集与蓝莓花朵数据集以改进的泊松融合方式生成蜜蜂授粉样本数据集，有效解决了样本价值性不高、模型训练样本不足的问题，提高了模型小目标的检测精度与鲁棒性。其次针对待检测图像环境背景复杂、蜜蜂目标较小、被叶片遮挡等问题，提出1种基于改进YOLOv5s的蓝莓授粉样本检测方法，将注意力机制GAM与MHSA模块与原始YOLOv5s主干网络融合，提高模型网络对特征信息的提取能力；引入BiFPN结构与Transformer模块，进一步强化模型网络对小目标关键特征的表达；采用EIoU损失函数计算预测框回归损失提高定位精度，并使用Soft NMS改善遮挡等复杂情况下漏检以及小目标物体识别效果差的问题。
本研究采用数据增强方法处理后的图像数据集，将网络模型的准确率提高3.3个百分点，与其他传统数据增强方法相比，进一步提高了网络的检测准确性和增强鲁棒性，说明改进泊松融合数据增强方法扩充的数据集更具有价值性，与神经网络的学习相配合可起到正向增强作用。所提出的改进YOLOv5s模型平均精度均值达到96.6%，对单张蓝莓授粉图片的检测时间为11.4 ms，能够提取到更关键更细致的目标特征，同时对小目标有较强的检测能力，在平均识别准确率以及检测速度上明显优于SS
在前期工作基础上，结合精准农业的发展蓝图以及现有的技术背景，本研究模型的计算复杂度还可进一步优化与提升，后续对模型进行轻量化处理，且在不损失准确性的情况下加速推理将是未来研究的重点，并进一步将模型部署在嵌入式设备上，最终完成真实环境下的检测任务，为蓝莓授粉统计终端应用提供有力的技术支撑。
参考文献 References
周中奎.基于机器学习的智能汽车目标检测与场景增强技术研究［D］.重庆：重庆邮电大学，2020.ZHOU Z K.Research on machine learning based object detection and augmented reality technology for intelligent vehicle［D］.Chongqing：Chongqing University of Posts and Telecommunications，2020（in Chinese with English abstract）. [百度学术]
吕宗旺，金会芳，甄彤，等.图像处理技术在粮食害虫识别中的应用进展［J］.河南工业大学学报（自然科学版），2021，42（3）：128-137.LÜ Z W，JIN H F，ZHEN T，et al.Application development of image processing technologies in grain pests identification［J］.Journal of Henan University of Technology（natural science edition），2021，42（3）：128-137（in Chinese with English abstract）. [百度学术]
王贵财，张德贤，李保利，等.粮虫视觉检测技术的现状与展望［J］.中国粮油学报，2014，29（4）：124-128.WANG G C，ZHANG D X，LI B L，et al.Present situation and prospects of storage pests based on vision inspection technology［J］.Journal of the Chinese cereals and oils association，2014，29（4）：124-128 （in Chinese with English abstract）. [百度学术]
张卫芳，郭敏.基于图割理论的储粮害虫图像分割［J］.科学技术与工程，2010，10（7）：1661-1664，1679.ZHANG W F，GUO M.Stored grain insect image segmentation method based on graph cuts［J］.Science technology and engineering，2010，10（7）：1661-1664，1679（in Chinese with English abstract）. [百度学术]
李文勇.基于机器视觉的果园性诱害虫在线识别与计数方法研究［D］.北京：中国农业大学，2015.LI W Y.On-line identification and counting of sex-pheromones lured orchard pest based on machine vision［D］.Beijing：China Agricultural University，2015 （in Chinese with English abstract）. [百度学术]
QIN Y，WU Y L，WANG Q F，et al.Method for pests detecting in stored grain based on spectral residual saliency edge detection［J］.Grain & oil science and technology，2019，2（2）：33-38. [百度学术]
白云飞，张翔，林建.基于改进的形态学二次重建蜜蜂蜂王模糊识别方法［J］.计算机应用与软件，2020，37（11）：139-145.BAI Y F，ZHANG X，LIN J.An improved morphology-based secondary reconstruction method for queen bee recognition［J］.Computer applications and software，2020，37（11）：139-145（in Chinese with English abstract）. [百度学术]
杨万里，段凌凤，杨万能.基于深度学习的水稻表型特征提取和穗质量预测研究［J］.华中农业大学学报，2021，40（1）：227-235.YANG W L，DUAN L F，YANG W N.Deep learning-based ex⁃traction of rice phenotypic characteristics and prediction of rice panicle weight［J］.Journal of Huazhong Agricultural University，2021，40（1）：227-235（in Chinese with English abstract）. [百度学术]
LEI F，TANG F F，LI S H.Underwater target detection algorithm based on improved YOLOv5［J/OL］.Journal of marine science and engineering，2022，10（3）：310［2022-09-12］.https：//doi.org/10.3390/jmse10030310. [百度学术]
张小花，李浩林，李善军，等.基于EfficientDet-D1的草莓快速检测及分类［J］.华中农业大学学报，2022，41（6）：262⁃269.ZHANG X H，LI H L，LI S J，et al.Rapid detection and classification of strawberries based on EfficientDet-D1［J］.Journal of Huazhong Agricultural University，2022，41（6）：262⁃269（in Chinese with English abstract）. [百度学术]
李瑞.小目标害虫图像自动识别与计数研究［D］.合肥：中国科学技术大学，2021.LI R.Research on automatic tiny pest recognition and counting［D］.Hefei：University of Science and Technology of China，2021（in Chinese with English abstract）. [百度学术]
尉迟姝毅.基于反向映射的图像间颜色迁移算法仿真［J］.计算机仿真，2021，38（1）：212-216.YUCHI S Y.Simulation of color transfer algorithms between images based on reverse mapping［J］.Computer simulation，2021，38（1）：212-216（in Chinese with English abstract）. [百度学术]
刘佳，刘孝保，阴艳超，等.面向不均衡样本空间的工件表面缺陷检测方法［J］.机械科学与技术，2022，41（5）：755-763.LIU J，LIU X B，YIN Y C，et al.Surface defect detection method of workpiece for unbalanced sample space［J］.Mechanical science and technology for aerospace engineering，2022，41（5）：755-763 （in Chinese with English abstract）. [百度学术]
CHEN G W，LIU Y，WANG J，et al.PP-matting：high-accuracy natural image matting［DB/OL］.arXiv，2022：2204.09433［2022-09-12］.https：//arxiv.org/abs/2204.09433. [百度学术]
CHEN Q F，LI D，TANG C K.KNN matting［J］.IEEE transactions on pattern analysis and machine intelligence，2013，35（9）：2175-2188. [百度学术]
ZHAO Y，SHI Y B，WANG Z L.The improved YOLOV5 algorithm and its application in small target detection［M］.［S.l.］：Intelligent Robotics and Applications.Cham：Springer International Publishing，2022：679-688. [百度学术]
LIU Y C，SHAO Z R，HOFFMANN N.Global attention mechanism：retain information to enhance channel-spatial interactions［DB/OL］.arXiv，2021：2112.05561［2022-09-12］.https：//arxiv.org/abs/2112.05561. [百度学术]
SRINIVAS A，LIN T Y，PARMAR N，et al.Bottleneck transformers for visual recognition［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），June 20-25，2021，Nashville，TN，USA.Nashville：IEEE，2021：16514-16524. [百度学术]
TAN M X，PANG R M，LE Q V.EfficientDet：scalable and efficient object detection［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），June 13-19，2020，Seattle，WA，USA.Seattle：IEEE，2020：10778-10787. [百度学术]
YING J，LI H，YANG H M，et al.GPK-YOLOv5s：content-aware reassembly of features and self attention for high altitude parabolic detection and tracking［J/OL］.MATEC web of conferences，2022，363：01012［2022-09-12］.https：//doi.org/10.1051/matecconf/202236301012. [百度学术]
ZHU X K，LYU S C，WANG X，et al.TPH-YOLOv5：improved YOLOv5 based on transformer prediction head for object detection on drone-captured scenarios［C］//2021 IEEE/CVF International Conference on Computer Vision Workshops （ICCVW），October 11-17，2021，Montreal，BC，Canada.Montreal：IEEE，2021：2778-2788. [百度学术]
ZHANG Y F，REN W Q，ZHANG Z，et al.Focal and efficient IOU loss for accurate bounding box regression［DB/OL］.arXiv，2021：2101.08158［2022-09-12］.https：//arxiv.org/abs/2101.08158. [百度学术]
LIN J R，YANG C M，LU Y，et al.An improved soft-YOLOX for garbage quantity identification［J/OL］.Mathematics，2022，10（15）：2650［2022-09-12］.https：//doi.org/10.3390/math10152650. [百度学术]
LIU W，ANGUELOV D，ERHAN D，et al.SSD：single shot MultiBox detector［M］.Cham：Springer International Publishing，2016：21-37. [百度学术]
GE Z，LIU S，WANG F，et al.Yolox：Exceeding yolo series in 2021［DB/OL］.arXiv，2021：2107.08430［2022-09-26］.https：//arxiv.org/abs/2107.08430. [百度学术]