基于多传感器信息融合的菠萝果茎切割点位置检测方法

焦锐，马瑞峻，陈瑜，伍恩慧，杨金鹏，温国政，潘雄; JIAO Rui; MA Ruijun; CHEN Yu; WU Enhui; YNAG Jinpeng; WEN Guozheng; PAN Xiong

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

基于多传感器信息融合的菠萝果茎切割点位置检测方法 PDF

- ORCID：
焦锐
✉
- ORCID：
马瑞峻
✉
- ORCID：
陈瑜
- ORCID：
伍恩慧
- ORCID：
杨金鹏
- ORCID：
温国政
- ORCID：
潘雄

华南农业大学工程学院，广州 510642

中图分类号： TP29

最近更新：2024-11-22

DOI：10.13300/j.cnki.hnlkxb.2024.05.003

摘要

夹切一体的菠萝（Ananas comosus （L.） Merr.）采摘器在进行田间采摘作业时，需要自主确定果茎切割点位置，而菠萝果茎处容易被植株叶片和苞叶遮挡，采用单一图像处理的方法难以准确识别到果茎切割点位置，为此提出一种多传感器信息融合的菠萝果茎切割点位置检测方法。将深度相机和多组光电传感器结合，利用改进的YOLOv5目标检测算法融合RGB-D深度信息，实现对菠萝冠芽顶部至果实底部长度测量，再利用光电传感器信号变化判断菠萝采摘器是否到达冠芽顶部位置，并将冠芽顶部作为起始位置，控制采摘器下降速度和时间，从而保证采摘器底部安装的切割刀准确抵达果茎切割点位置。台架试验结果表明，该方法对真实菠萝果茎切割点检测成功率达到85%，满足菠萝采摘机器人作业过程中果茎切割点检测准确性要求。

关键词

菠萝; 采摘器; 果茎切割点; 位置检测; 多传感器信息融合; YOLOv5

菠萝（Ananas comosus （L.） Merr.）采摘是一项任务繁重的工作，而当前多依靠人工采摘^［

1］，采收环境恶劣，在进行采摘时，果农需要做好防护，尤其在炎热的夏天，劳动强度大。随着现代数字化和信息化技术不断融入到农业生产中^{［参考文献 2

百度学术}2］，使用智能采摘机器人进行田间采摘，可提高采摘效率，减轻劳动强度，降低人工和时间成本。

菠萝的采摘方式主要有切割式、拧断式和掰断式等3种方式，围绕3种采摘方式研制的菠萝采收机械可分为人工辅助机械式采摘装置、采用驱动装置的菠萝采摘设备和自动收获机^［

3-4］。笔者所在实验室设计了一种夹切一体的菠萝采摘器，可搭载至采摘机器人上进行田间自主采摘，该采摘器虽可轻松采摘菠萝，但是需要切割刀准确定位菠萝果茎切割点位置，才能实现果实和果茎的有效分离^{［参考文献 5-6}5-6］。

在对果梗采摘点定位研究中，可分为对果梗区域直接进行采摘点识别或根据果实与果梗的连通关系预测采摘点位置2种方式。在直接对果梗采摘点识别研究中，宁政通等^［

7］提出通过改进掩膜区域卷积神经网络，并结合区域生长算法最后计算出葡萄果梗区域的最优采摘点。Luo等^{［参考文献 8

百度学术}8］研究了重叠葡萄串果梗切割点的检测，将重叠葡萄簇像素区域划分为2个独立区域，然后确定葡萄果梗的感兴趣区域，再使用几何约束法确定每个果梗感兴趣区域的切割点。Sun等^{［参考文献 9

百度学术}9］提出一种基于多尺度特征融合的柑橘分枝关键点检测，根据对柑橘果梗关键点检测结果生成候选区域，从而实现果梗采摘点的快速识别。Chen等^{［参考文献 10

百度学术}10］提出了一种基于轻量级多特征融合的深度神经网络香蕉茎分割方法，可直接对香蕉茎采摘点进行识别。

在通过果梗与果实连通关系进而识别果梗采摘点的研究中，在识别柑橘果实后，根据果实质心位置预测果梗所在区域，从而得到采摘点位置信息^［

11-13］。张勤等^{［参考文献 14

百度学术}14］通过目标检测算法，并利用番茄串与果梗的连通关系，快速识别可采摘点的感兴趣区域，融合果梗区域深度图和彩色图信息，得到采摘点精确坐标信息。戴宁^{［参考文献 15

百度学术}15］提出了一种图像处理方法，基于柚挂果姿态和质心位置确定感兴趣区域，进而通过果梗骨架信息提取确定柚子采摘点，实现对柚采摘点位置的识别。Bai等^{［参考文献 16

百度学术}16］提出根据串番茄果实质心坐标和半径，然后拟合出整串果实的轮廓线，再采用空间对称样条插值法和几何分析法对果梗采摘点估计。

上述研究方法中均采用图像处理方式获取采摘点位置信息，但菠萝植株叶片繁茂，裔芽及苞叶的影响导致果茎被严重遮挡，加上果茎与背景色相近，光照条件等因素影响，导致直接采用图像处理难以准确识别果茎切割点的位置，如何准确判断菠萝果茎切割点位置是目前亟待解决的难题之一。

本研究探索一种多传感器信息融合的菠萝果茎切割点检测方法，通过视觉图像获取菠萝冠芽及果实长度信息，通过光电传感器再对菠萝冠芽顶部位置进行检测，从而控制采摘器底部安装的切割刀能准确到达果茎切割点，并搭建试验台进行室内试验，验证该方法的有效性，旨在为实现菠萝智能化采摘提供技术支撑。

1 材料与方法

1.1 菠萝物理特性

菠萝属于灌木类树种，母株生长的叶片茂盛且韧性强，叶片上布满倒刺。菠萝植株结构如图1所示，可将其分为冠芽、叶片、果实、裔芽、苞叶、果茎，菠萝果实的生长位置处于剑状叶丛中，在采摘时需要实现和果茎的分离，田间测量统计数据表明，菠萝植株的高度在600~980 mm，菠萝冠芽的高度在50~120 mm，果实高度在140~270 mm^［

6］。

图1 菠萝植株结构

Fig.1 Plant structure of pineapple

1.冠芽Crown bud；2.叶片Leaf；3.果实Fruit；4.裔芽Naked bud；5.苞叶Bract；6.果茎Fruit stem.

1.2 菠萝果茎切割点检测方案设计

菠萝果茎切割点检测装置由菠萝采摘器、光电传感器、Intel RealSense D455深度相机、Arduino UNO控制器、神舟Z7笔记本电脑等部分组成。该套装置需搭载在田间采摘机器人上，如图2所示，作业时首先利用深度相机对菠萝冠芽及果实进行目标检测和长度测量，即图2中a到b的距离为H，再由机械臂引导采摘器从菠萝冠芽上方将其套住并缓慢下降，安装在采摘器底部的光电传感器对菠萝冠芽顶部a处进行检测，并作为采摘器下降的初始位置，控制采摘器沿菠萝冠芽生长方向进行下降，运动距离为（H+S） mm，果实底部脱落层部分存在裔芽，为保证顺利切割采摘，设置S为运动距离补偿余量，为10 mm，使采摘器底部的切割刀准确到达果茎切割点的位置并完成切割任务。

图2 果茎切割点检测示意图

Fig.2 Schematic diagram of cutting point detection

该套装置所采用的菠萝采摘器结构如图3所示，主要由连接架、夹持机构和切割机构等组成^［

6］。为对菠萝冠芽顶部准确定位，在采摘器切割机构下层圆环支架上，呈圆周阵列式均匀布置安装3组光电传感器，以提高检测精度，所采用的红外对射式光电传感器如图4所示，主要包括发射端和接收端，有效检测距离为30 cm。

图3 菠萝采摘器结构图

Fig.3 Structure of pineapple picker

1.连接支架Attachment bracket；2.切割电机及减速器Cutting motor and reducer；3.L形推杆L-shaped putter；4.下层圆环支架Lower ring support；5.光电传感器Photoelectric sensor；6.压力传感器Pressure sensor；7.弧形夹指Curved finger；8.切割刀Cutter knife；9.从动齿环Driven ring teeth；10.小齿轮Pinion；11.夹持电机及减速器 Clamping motor and reducer.

图4 红外对射式光电传感器

Fig.4 Infrared reflector photoelectric sensor

采摘器的工作过程为：当机械臂带动采摘器抵达果茎切割点处并停止运动后，夹持机构的夹持电机及减速器驱动小齿轮开始顺时针旋转，与小齿轮啮合的从动齿环逆时针旋转，进而推动与从动齿环铰接的L形推杆旋转，促使弧形夹指相向运动，对菠萝果实进行夹持，位于弧形夹指内部的压力传感器感知夹持力变化，当压力传感器测量值达到所设定阈值，弧形夹指停止运动，此时菠萝果实处于夹持稳定状态，触发切割机构中切割电机及减速器工作，使切割刀对果茎进行旋转切割，切割完成后，切割电机反转，刀具复位。

1.3 菠萝冠芽及果实长度测量方法

1）菠萝冠芽及果实长度测量流程。对菠萝冠芽及果实进行长度测量，流程如图5所示。在进行田间图像采集后，先进行预处理再送入网络模型训练，训练后的目标检测网络可对RGB图像中的菠萝冠芽及果实进行识别，并计算出图像中菠萝冠芽及果实所占的像素长度信息，融合检测目标深度信息便可计算出菠萝冠芽及果实长度^［

17-20］。

图5 基于机器视觉的菠萝冠芽及果实长度测量流程

Fig.5 Measurement process of pineapple crown bud and fruit length based on machine vision

但原始的目标检测网络采用水平矩形框来确定目标的位置和类别，而自然环境下生长的菠萝由于重力及外部环境等因素影响，会呈现出各种各样的倾斜状态，因此，采用多方向目标检测网络具有的方向性^［

21-24］，对菠萝冠芽及果实使用多方向矩形框进行拟合，以减少冗余信息。

2）模型改进。YOLOv5作为基于端到端的深度学习目标检测典型算法，部署灵活性好、运算速度快。其网络结构主要由骨干网络（Backbone）、颈部网络（Neck）以及预测网络（Prediction）组成。根据模型由小到大，YOLOv5分成YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x。考虑到田间环境下识别任务的实时性和效率，所以采用参数量和计算量较少的YOLOv5s模型进行改进。

为描述出不同倾斜状态菠萝冠芽及果实在图像中的方向性信息，使用长边定义法表示旋转框，标注格式为［ $x$ ， $y$ ， $h$ ， $w$ ，θ］，（ $x$ ， $y$ ）为标注框中心点的坐标值，（ $h$ ， $w$ ）为标注框的长度和宽度， $θ$ 描述长边与坐标轴中 $x$ 轴所成的夹角如图6所示，角度范围为［0°，180°）。

图6 长边定义法

Fig.6 Long side definition

但长边定义法会因为角度周期性的存在导致边界损失值激增，进而增加了回归的难度。为解决上述问题，采用环形平滑标签（circular smooth label，CSL），如图7所示，将角度损失值计算转化为分类问题，倾斜角θ一共划分为0~179共180类，CSL具体表达式为：

C_{S L} (x) = \{\begin{matrix} g (x), θ - r < x < θ + r \\ 0, o t h e r w i s e \end{matrix}

(1)

图7 环形平滑标签示意图

Fig.7 Schematic diagram of the ring smooth label

式（1）中， $g (x)$ 为窗口函数（本次选用高斯函数）， $r$ 为窗口函数的半径， $θ$ 为当前边界框的角度，通过设置窗口函数来对预测框和目标框的倾斜角进行平滑处理，避免由于角度周期性，而导致边界损失值激增影响网络训练。

3）引入注意力机制模块。菠萝田间背景复杂、菠萝植株叶片繁茂会造成遮挡等因素影响检测精度，通过引入注意力机制模块（图8），增强网络感受野，减少背景信息的干扰，使网络更关注于目标特征信息，提升模型对目标的提取能力。

图8 CBAM整体结构图

Fig.8 Overall structure of CBAM

卷积注意力机制（convolutional block attention module，CBAM）是一种简单而有效的轻量级神经网络注意力模块^［

25］，是通道注意力和空间注意力融合的注意力机制，使得模型可以自适应地调整特征通道的重要性，进而使得模型更加关注检测目标的特征，降低背景及空间分布不均等问题对检测精度带来的影响。因此，本研究算法嵌入该注意力机制模块以增强模型对目标的提取能力。

4）长度测量实现原理。本研究算法所检测到的菠萝冠芽及果实是位于图像坐标系中，可根据深度图读取目标物体到相机之间的距离，再经过变换计算实际长度。

使用图像大小到物体大小的转换模型原理，如图9所示， $O_{c}$ - $x_{c} y_{c} z_{c}$ 为相机坐标系， $o$ - $x y$ 为图像坐标系， $O_{p}$ - $u v$ 为像素坐标系。相机坐标系是1个以相机光心为原点 $O_{c}$ 、以光轴 $z_{c}$ 轴建立的1个三维直角坐标系，DF为像素坐标系中v方向上目标长度像素值，CB为菠萝冠芽及果实实际长度， $O_{c} A$ 为相机光心到目标物体之间的距离即图像深度值。而深度值的获取是根据Zhang^［

26］标定法标定相机后，将检测到的菠萝冠芽及果实RGB图像像素区域配准到深度图像中，提取深度图像中目标检测框中心周围30个点的深度值，将这30个深度值按数值从小到大排列，选取其中的中值作为相机到物体的距离。当相机焦距f、相机到物体的距离、目标长度所占像素值确定时，根据三角形

A B O_{c}

和三角形

o F O_{c}

、三角形

B C O_{c}

和三角形

F D O_{c}

相似可计算得出菠萝冠芽及果实长度。

图9 长度测量原理

Fig.9 Schematic diagram of length measurement

A:物体大小转换模型 Object size conversion model;B.深度值估计Depth value estimation.

1.4 菠萝冠芽顶部检测方法

在菠萝采摘器下降过程中，会经过菠萝的冠芽顶部、冠芽、果实、果茎部位，如图10所示。安装在采摘器下方光电传感器经过菠萝不同部位时，电平信号变化情况如图11所示，当处于冠芽顶部位置时，光电传感器之间从没有遮挡物到有遮挡物，传感器电平信号变化明显。

图10 采摘器下降过程示意图

Fig.10 Schematic diagram of picking process

A:经过冠芽顶部 Through the top of the crown bud;B:经过冠芽部位Through the crown bud site;C:经过果实部位 Through the fruit;D:抵达果茎部位 Reach the fruit stem.

图11 理想状态下3组传感器电平信号变化示意图

Fig.11 Schematic diagram of level signal change of three groups of sensors under ideal condition

2 结果与分析

2.1 菠萝冠芽及果实长度测量结果

1）网络模型训练与结果。2022年5月3日至5日，在湛江市徐闻县曲界镇某菠萝田进行图像采集。为提高图像采集效率，采用具有高清像素拍照功能的智能手机进行拍摄，距离菠萝0.4~1.0 m，分别在晴天和阴天进行图像采集工作。针对自然光照、遮挡等复杂环境进行多次采样，共拍摄图片2 682张。为增强模型的鲁棒性，对采集到的图像进行数据增强，通过逆时针90°、180°、270°旋转、水平翻转、图像向内或向外缩放、剪裁以及灰度处理等操作，对原始数据进行扩充，扩充后得数据为3 660张。使用roLabelImg对图像进行多方向旋转框标注后，按照主流的数据集划分方法，将训练集、验证集、测试集随机划分为8∶1∶1。

为分析本研究改进算法和原始算法对目标检测的差异，对采集到的数据集再用原始水平矩形框重新标注，在保证训练迭代次数为500次、初始学习率设置为0.01等参数和设备一致的前提下，对原始算法和改进后的算法模型进行训练并对在相同的测试集上进行结果对比。

实验平台配置为：CPU：Intel Xeon Silver 4210×2，10核20线程，最大睿频2.82 GHz；GPU：NVIDIA GeForce GTX3090，24 GB显存；运行内存64 GB；操作系统：Window10专业版64位操作系统；深度学习框架：Pytorch1.7；CUDA版本：11.3；编程语言：Python3.8。

检测结果的准确率（P）、召回率（R）、平均精度（mAP，后文中用P_mA表示）见表1。其中，YOLOv5为原始模型，CBAM-YOLOv5为引入卷积注意力机制的模型，R-YOLOv5为改进旋转框的模型，本研究算法则是结合了卷积注意力机制CBAM和旋转框的YOLOv5模型。

表1 模型的训练结果

Table 1 The training results of the model ( % )

模型 Model	P	R	P_mA
YOLOv5	76.1	74.0	80.9
CBAM-YOLOv5	77.5	82.3	83.5
R-YOLOv5	82.5	81.2	87.1
本研究算法This research algorithm	84.7	85.2	88.6

由表1可知，R-YOLOv5比YOLOv5的平均检测精度提高了6.2百分点，采用旋转框标注可减少冗余信息，进一步提高网络在训练时提取目标特征的能力，提高了模型的检测精度。在引入卷积注意力机制后，CBAM-YOLOv5模型和本研究改进模型的平均检测精度都有所提升，说明引入卷积注意力机制后可提高模型对目标特征的提取能力。本研究改进后的网络模型较之原始网络模型准确率、召回率、平均精度都有不同程度的提升，其中平均检测精度提高了7.7百分点，拥有更好的目标检测性能。

2）长度测量结果。2023年5月15日，为验证使用本研究改进的算法对菠萝冠芽及果实长度测量方法的有效性，对60个成熟度不一、大小不同的菠萝进行数据采集，深度相机摆放位置距菠萝0.5~1.0 m；同时也用卷尺对菠萝的冠芽顶部至果实底部长度进行人工测量，为减少人工测量误差，取3次测量平均值作为真实长度数据。本研究改进算法对菠萝冠芽及果实长度自动测量计算值和人工测量值两者间的相关性如图12所示，其中决定系数 $R^{2}$ 约为0.89、均方根误差RMSE为4.52 mm。对自动测量计算值和人工测量值进行误差分析，菠萝冠芽及果实长度测量平均绝对误差为11.06 mm，平均相对误差为4.35%，说明采用本方法能够较为准确地测量菠萝冠芽及果实长度。

图12 菠萝冠芽及果实长度自动测量计算值与人工测量值相关性

Fig.12 Correlation analysis between the calculated values of automatic measurement and manual measurement of pineapple crown bud and fruit length

2.2 菠萝冠芽顶部检测结果

2023年3月27日，在中山神湾镇某菠萝田进行光电信号采集试验，采用制作轻量化的亚克力板代替菠萝采摘器下层圆环支架，将3组光电传感器呈圆周阵列式均布粘贴至支架上（图13）。在距冠芽顶部30 mm处开始下降，对田间12个不同的菠萝进行信号采集，通过Arduino UNO控制器的数字引脚读取传感器输出的高低电平信号，并经过信号采集软件PLX-FAQ，可实时将电平信号传输至Excel表格中进行保存。

图13 信号采集装置

Fig.13 Field data acquisition

根据田间菠萝的生长状态，可分为2种，如图14所示，竖直生长的菠萝冠芽、果实、果茎在同一条直线，倾斜生长的菠萝冠芽、果实和果茎不在同一条直线上。

图14 菠萝的生长状态

Fig.14 The growing state of the pineapple

A:竖直生长 Vertical growth;B:倾斜生长 Inclined growth.

在信号采集装置经过菠萝冠芽顶部、冠芽、果实、果茎部位时，人为记录到达相应部位的时间。所采集到的3组光电传感器经过上述2种不同生长状态的菠萝不同部位时，电平信号变化如图15所示，图15为其中2个菠萝的试验结果。

图15 电平信号分析

Fig.15 Level signal analysis

A:竖直生长Vertical growth;B:倾斜生长Inclined growth.

经过冠芽顶部时，任意传感器电平信号出现由高到低的变化，即定义为检测到冠芽顶部。冠芽顶部叶片呈伞状向外张开生长，导致不同传感器电平信号变化存在短暂的时间差异。之后经过冠芽部位时，又出现高电平信号，是由于叶片与叶片之间的交叉间隙，致使传感器之间产生光学通路造成出现短暂的高电平信号。

如图15A所示，经过果实部位时，3组光电传感器之间的光学通路被遮挡，均输出低电平信号。如图15B所示，经过果实部位时，由于生长倾斜，导致1号传感器先被遮挡，从8.3 s开始，传感器之间的光学通路未被遮挡，输出高电平信号。2、3号传感器被遮挡，均持续输出低电平信号。

如图15A所示，经过果茎部位时，3组光电传感器保持输出低电平信号，导致果实和果茎处的电平信号相似，无法有效区分果实和果茎部位。如图15B所示，经过果茎部位时，1号传感器先输出高电平信号，之后被遮挡，持续了一段时间的低电平信号，又输出高电平信号。2号传感器之间的光学通路被遮挡，一直输出低电平信号。3号传感器先输出低电平信号，从17 s开始输出高电平信号。从17 s开始，1、3号传感器都无遮挡输出高电平信号，根据果茎直径比菠萝果实直径小的特点，可通过该电平信号判断为已经进入果茎部位。但是信号带有随机性，所以不能作为到达果茎部位的检测信号。

对采集到的所有试验结果的电平信号进行分析发现，3组光电传感器在经过冠芽顶部时，实际产生的电平信号变化和理想状态下的电平信号变化一致，可以作为到达冠芽顶部的识别信号。但在冠芽、果实、果茎部位有差异，田间菠萝生长环境复杂、状态各异，光电传感器电平信号容易受到遮挡物的影响，仅通过光电传感器电平信号变化难以对果茎部位准确判断。

2.3 台架试验结果

为验证本研究所提出方法的有效性，2023年7月2日，在华南农业大学工程学院搭建试验台（图16），对小、中、大3个不同的菠萝模型及20个真实菠萝进行试验。试验台采用xyz直角坐标式机械臂带动菠萝采摘器对菠萝果茎切割点进行检测，深度相机固定在车架高度0.85 m处，倾斜30°，用数据线将深度相机、Arduino UNO控制器和神舟Z7笔记本相连接，同时将3组光电传感器信号线与Arduino UNO控制器上的7、8、9三个数字引脚连接。

图16 果茎切割点定位试验

Fig.16 Location test of cutting point of fruit stem

A:菠萝模型 Pineapple model;B:真实菠萝 Real pineapple.

Arduino UNO控制器控制z轴机械臂带动菠萝采摘器从菠萝正上方以 $v$ =10 mm/s匀速自动向下降落，其中，z轴的有效行程为700 mm，定位精度为 $\pm$ 0.05 mm。在下降过程中检测到光电传感器电平信号发生变化时（到达冠顶），开始计时，使得采摘器在规定的时间t内下降一定距离后停止，t的计算见公式（2），采摘器停止运动时，其底部切割刀到达的位置即为切割点。

t = \frac{H + S}{v}

(2)

式（2）中： $H$ 即为菠萝冠芽及果实长度测量计算值，通过视觉图像处理自动获得。

台架试验结果见表2，其中序号1~3号为菠萝模型，序号4~23号为真实菠萝。 $S_{1}$ 为菠萝冠芽及果实长度自动测量计算值； $S_{2}$ 为菠萝冠芽及果实长度人工测量值； $S_{3}$ 为菠萝冠芽及果实长度自动测量误差，其值为自动测量计算值和人工测量值之间的差值； $S_{4}$ 为切割后残留的果茎长度，试验后经人工测量获得； $S_{5}$ 为冠芽顶部检测误差，其值为 $S_{4}$ 与 $S_{3}$ 、 $S$ 之间的差值，可经计算获得。果实底部存在裔芽影响切割，则所检测到的果茎切割点，距离果实底部脱落层10 mm以上才符合标准。

表 2 菠萝果茎切割点检测试验结果

Table 2 Results of pineapple stem cutting point test ( mm )

序号 Number	$S_{1}$	$S_{2}$	$S_{3}$	$S_{4}$	$S_{5}$
1	223	215	8	21	3
2	253	239	14	27	3
3	261	256	5	20	5
4	272	287	-15	-2	3
5	206	189	17	30	3
6	213	195	18	31	3
7	223	226	-3	11	4
8	286	279	7	22	5
9	241	265	-24	-11	3
10	286	273	13	26	3
11	275	261	14	29	5
12	246	235	11	24	3
13	279	251	28	44	6
14	259	251	8	22	4
15	263	249	14	27	3
16	252	236	16	29	3
17	260	262	-2	11	3
18	259	243	16	29	3
19	273	261	12	27	5
20	237	232	5	19	4
21	242	236	6	19	3
22	256	241	15	28	3
23	247	256	-9	6	5

试验误差主要来源：菠萝冠芽及果实长度自动测量误差、冠芽顶部检测误差。由表2可知，菠萝冠芽及果实长度自动测量误差在-24~28 mm，为主要误差；菠萝冠芽顶部检测误差在3~6 mm，为次要误差。在23次试验中，其中试验4、试验9、试验23对果茎切割点检测失败。试验4和试验9冠芽顶部检测误差均为3 mm，试验23冠芽顶部检测误差为5 mm，但菠萝冠芽及果实长度自动测量计算值小于人工测量值且误差较大，从而导致检测到的切割点位置不在果茎处。

试验13的菠萝冠芽及果实长度自动测量误差最大，为28 mm，试验17的菠萝冠芽及果实长度自动测量计算值绝对误差最小，为2 mm，平均自动测量绝对误差为7.56 mm，说明大部分菠萝冠芽及果实长度自动测量计算值大于人工测量值。这是由于在进行目标检测时，目标检测框的长边所占像素值总是大于实际菠萝冠芽顶部至果实底部所占的像素值。23次试验中仅有5次试验出现菠萝冠芽及果实长度自动测量计算值小于人工测量值，可能是菠萝部分被叶片遮挡，导致长度自动测量计算值比人工测量值小。

综合试验结果，所检测到的菠萝果茎切割点多数在距果实底部脱落层19~31 mm内，符合菠萝采摘时果茎留存标准。采用该方法对菠萝模型果茎切割点检测成功率为100%，真实菠萝果茎切割点检测成功率为85%。

3 讨论

本研究针对研制的菠萝采摘器难以对菠萝果茎切割点位置进行准确定位的问题，提出了一种多传感器信息融合的方法。利用深度相机结合目标检测实现对菠萝冠芽及果实长度的测量，融合运动补偿距离S，可获得冠芽顶部至果茎处的长度距离信息。结合3组光电传感器对冠芽顶部进行检测，当光电传感器信号出现变化，开始计时，在速度一定条件下，通过对菠萝采摘器运动行程的时间控制，实现切割刀能准确到达果茎切割点位置。搭建试验台进行台架试验，结果表明该方法对真实菠萝果茎切割点检测成功率达到85%。

本研究提出的多传感器信息融合方法可以准确获取果茎的切割点位置，能有效提高菠萝采摘器采摘精度，为菠萝采摘机器人进行田间采摘提供一定的理论依据。但本研究未涉及田间试验，后期将继续开展相关的研究，进一步提高该方法在实践应用中的准确性。

参考文献 References

马兴灶，连海山，弓满锋，等.菠萝采摘机械手结构设计与试验［J］.山东农业大学学报（自然科学版），2020，51（4）：727-732.MA X Z，LIAN H S，GONG M F，et al.Structural design and experiment of pineapple picking manipulator［J］.Journal of Shandong Agricultural University（natural science edition），2020，51（4）：727-732（in Chinese with English abstract）. [百度学术]

陈敏忠，郑爽，邓干然，等.湛江市菠萝田间生产机械化需求分析与展望［J］.现代农业装备，2021，42（2）：18-21.CHEN M Z，ZHENG S，DENG G R，et al.Analysis and prospect of pineapple mechanized production in Zhanjiang［J］.Modern agricultural equipment，2021，42（2）：18-21（in Chinese with English abstract）. [百度学术]

薛忠，陈如约，张秀梅.菠萝机械化种植与收获研究现状［J］.山西农业大学学报（自然科学版），2021，41（3）：110-120.XUE Z，CHEN R Y，ZHANG X M.Frontier of pineapple planting and harvesting mechanization in the world［J］.Journal of Shanxi Agricultural University（natural science edition），2021，41（3）：110-120（in Chinese with English abstract）. [百度学术]

周巧鸥，唐华，龙天畅，等.双排并联式菠萝收割机的设计［J］.机械工程师，2019（5）：49-50.ZHOU Q O，TANG H，LONG T C，et al.Design of double row parallel pineapple harvester［J］.Mechanical engineer，2019（5）：49-50（in Chinese with English abstract）. [百度学术]

刘天湖，刘伟，曾霆俊，等.多柔性指滚筒菠萝采收机构工作原理及设计［J］.农业工程学报，2022，38（8）：21-26.LIU T H，LIU W，ZENG T J，et al.Working principle and design of the multi-flexible fingered roller pineapple harvesting mechanism［J］.Transactions of the CSAE，2022，38（8）：21-26（in Chinese with English abstract）. [百度学术]

马创立.菠萝采摘机器人末端执行器设计与试验研究［D］.广州：华南农业大学，2022.MA C L. Design and experimental study of end-effector of pineapple picking robot［D］.Guangzhou：South China Agricultural University，2022（in Chinese with English abstract）. [百度学术]

宁政通，罗陆锋，廖嘉欣，等.基于深度学习的葡萄果梗识别与最优采摘定位［J］.农业工程学报，2021，37（9）：222-229.NING Z T，LUO L F，LIAO J X，et al.Recognition and the optimal picking point location of grape stems based on deep learning［J］.Transactions of the CSAE，2021，37（9）：222-229（in Chinese with English abstract）. [百度学术]

LUO L，TANG Y，LU Q，et al.A vision methodology for harvesting robot to detect cutting points［J］.Computers in industry，2018，99：130-139. [百度学术]

SUN Q X，CHAI X J，ZENG Z K，et al.Multi-level feature fusion for fruit bearing branch keypoint detection［J/OL］.Computers and electronics in agriculture，2021，191：106479［2023-08-09］.https：//doi.org/10.1016/j.compag.2021.106479. [百度学术]

CHEN M Y，TANG Y C，ZOU X J，et al.Three-dimensional perception of orchard banana central stock enhanced by adaptive multi-vision technology［J/OL］.Computers and electronics in agriculture，2020，174：105508［2023-08-09］.https：//doi.org/10.1016/j.compag.2020.105508. [百度学术]

熊俊涛，邹湘军，彭红星，等.扰动柑橘采摘的实时识别与采摘点确定技术［J］.农业机械学报，2014，45（8）：38-43.XIONG J T，ZOU X J，PENG H X，et al.Real-time identification and picking point localization of disturbance Citrus picking［J］.Transactions of the CSAM，2014，45（8）：38-43（in Chinese with English abstract）. [百度学术]

XIONG J T，LIU Z，LIN R，et al.Green grape detection and picking-point calculation in a night-time natural environment using a charge-coupled device （CCD） vision sensor with artificial illumination［J/OL］.Sensors，2018，18（4）：969［2023-08-09］. https：//doi.org/10.3390/s18040969. [百度学术]

罗陆锋，邹湘军，熊俊涛，等.自然环境下葡萄采摘机器人采摘点的自动定位［J］.农业工程学报，2015，31（2）：14-21.LUO L F，ZOU X J，XIONG J T，et al.Automatic positioning for picking point of grape picking robot in natural environment［J］.Transactions of the CSAE，2015，31（2）：14-21（in Chinese with English abstract）. [百度学术]

张勤，陈建敏，李彬，等.基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法［J］.农业工程学报，2021，37（18）：143-152.ZHANG Q，CHEN J M，LI B，et al.Method for recognizing and locating tomato cluster picking points based on RGB-D information fusion and target detection［J］.Transactions of the CSAE，2021，37（18）：143-152（in Chinese with English abstract）. [百度学术]

戴宁.基于图像处理的柚子采摘点识别方法研究［D］.武汉：华中农业大学，2020.DAI N.Research on recognition method of grapefruit picking point based on image processing［D］.Wuhan：Huazhong Agricultural University，2020（in Chinese with English abstract）. [百度学术]

BAI Y H，MAO S H，ZHOU J，et al.Clustered tomato detection and picking point location using machine learning-aided image analysis for automatic robotic harvesting［J］.Precision agriculture，2023，24（2）：727-743. [百度学术]

张真维，赵鹏，韩金城.基于双目视觉的树木高度测量方法研究［J］.林业工程学报，2021，6（6）：156-164.ZHANG Z W，ZHAO P，HAN J C.Research on measurement method of single tree height using binocular vision［J］.Journal of forestry engineering，2021，6（6）：156-164（in Chinese with English abstract）. [百度学术]

宋磊，李嵘，焦义涛，等.基于ResNeXt单目深度估计的幼苗植株高度测量方法［J］.农业工程学报，2022，38（3）：155-163.SONG L，LI R，JIAO Y T，et al.Method for measuring seedling height based on ResNeXt monocular depth estimation［J］.Transactions of the CSAE，2022，38（3）：155-163（in Chinese with English abstract）. [百度学术]

岳琳茜，李文宽，杨晓峰，等.基于改进YOLOv4的苹果检测与果径估测方法［J］.激光杂志，2022，43（2）：58-65.YUE L X，LI W K，YANG X F，et al.Apple detection and fruit diameter estimation method based on improved YOLOv4［J］.Laser journal，2022，43（2）：58-65（in Chinese with English abstract）. [百度学术]

卢伟，邹明萱，施浩楠，等.基于YOLOv5-TL的褐菇采摘视觉识别-测量-定位技术［J］.农业机械学报，2022，53（11）：341-348.LU W，ZOU M X，SHI H N，et al.Technology of visual identification-measuring-location for brown mushroom picking based on YOLOv5-TL［J］.Transactions of the CSAM，2022，53（11）：341-348（in Chinese with English abstract）. [百度学术]

宋怀波，焦义涛，华志新，等.基于YOLOv5-OBB与CT的浸种玉米胚乳裂纹检测［J］.农业机械学报，2023，54（3）：394-401.SONG H B，JIAO Y T，HUA Z X，et al.Endosperm crack detection method for seed dipping maize based on YOLOv5-OBB and CT technology［J］.Transactions of the CSAM，2023，54（3）：394-401（in Chinese with English abstract）. [百度学术]

徐佰祺.基于YOLO模型的遥感影像飞机目标检测技术研究［D］.郑州：战略支援部队信息工程大学，2022.XU B Q. Research on aircraft target detectiom in remote sensing image based on YOLO model［D］.Zhengzhou：Information Engineering University，2022（in Chinese with English abstract）. [百度学术]

孙顺远，陈浩.基于旋转目标检测的指针式仪表示数识别方法［J］.仪表技术与传感器，2023（3）：18-23.SUN S Y，CHEN H.Reading recognition method of pointer-type meters based on rotating object detection［J］.Instrument technique and sensor，2023（3）：18-23（in Chinese with English abstract）. [百度学术]

吴刚，吴云帆，陈度，等.基于机器视觉的玉米果穗性状参数测量方法研究［J］.农业机械学报，2020，51（S2）：357-365.WU G，WU Y F，CHEN D，et al.Research on measurement method of corn ear trait parameters based on machine vision［J］.Transactions of the CSAM，2020，51（S2）：357-365（in Chinese with English abstract）. [百度学术]

黄彤镔，黄河清，李震，等.基于YOLOv5改进模型的柑橘果实识别方法［J］.华中农业大学学报，2022，41（4）：170-177.HUANG T B，HUANG H Q，LI Z，et al.Citrus fruit recognition method based on the improved model of YOLOv5［J］.Journal of Huazhong Agricultural University，2022，41（4）：170-177（in Chinese with English abstract）. [百度学术]

ZHANG Z Y.A flexible new technique for camera calibration［J］.IEEE transactions on pattern analysis and machine intelligence，2000，22（11）：1330-1334. [百度学术]

联系我们

电话： 027-87287437，027-87287364
邮政编码： 430070
E-mail：hnlkxb@mail.hzau.edu.cn
地址：武汉市洪山区狮子山街1号

友情链接

期刊订阅 Email Alert 国际标准刊号：ISSN 1000-2421 国外邮发代号：BM 3816 国内刊号：CN 42-1181/S 国内发行代号：38-120

序号 Number	$S_{1}$	$S_{2}$	$S_{3}$	$S_{4}$	$S_{5}$
1	223	215	8	21	3
2	253	239	14	27	3
3	261	256	5	20	5
4	272	287	-15	-2	3
5	206	189	17	30	3
6	213	195	18	31	3
7	223	226	-3	11	4
8	286	279	7	22	5
9	241	265	-24	-11	3
10	286	273	13	26	3
11	275	261	14	29	5
12	246	235	11	24	3
13	279	251	28	44	6
14	259	251	8	22	4
15	263	249	14	27	3
16	252	236	16	29	3
17	260	262	-2	11	3
18	259	243	16	29	3
19	273	261	12	27	5
20	237	232	5	19	4
21	242	236	6	19	3
22	256	241	15	28	3
23	247	256	-9	6	5

序号 Number	$S_{1}$	$S_{2}$	$S_{3}$	$S_{4}$	$S_{5}$
1	223	215	8	21	3
2	253	239	14	27	3
3	261	256	5	20	5
4	272	287	-15	-2	3
5	206	189	17	30	3
6	213	195	18	31	3
7	223	226	-3	11	4
8	286	279	7	22	5
9	241	265	-24	-11	3
10	286	273	13	26	3
11	275	261	14	29	5
12	246	235	11	24	3
13	279	251	28	44	6
14	259	251	8	22	4
15	263	249	14	27	3
16	252	236	16	29	3
17	260	262	-2	11	3
18	259	243	16	29	3
19	273	261	12	27	5
20	237	232	5	19	4
21	242	236	6	19	3
22	256	241	15	28	3
23	247	256	-9	6	5

序号 Number	$S_{1}$	$S_{2}$	$S_{3}$	$S_{4}$	$S_{5}$
1	223	215	8	21	3
2	253	239	14	27	3
3	261	256	5	20	5
4	272	287	-15	-2	3
5	206	189	17	30	3
6	213	195	18	31	3
7	223	226	-3	11	4
8	286	279	7	22	5
9	241	265	-24	-11	3
10	286	273	13	26	3
11	275	261	14	29	5
12	246	235	11	24	3
13	279	251	28	44	6
14	259	251	8	22	4
15	263	249	14	27	3
16	252	236	16	29	3
17	260	262	-2	11	3
18	259	243	16	29	3
19	273	261	12	27	5
20	237	232	5	19	4
21	242	236	6	19	3
22	256	241	15	28	3
23	247	256	-9	6	5