摘要
针对国内禽蛋制品加工过程中,散装蛋水中上料时筐装蛋搬运自动化程度低的问题,设计一种自动上料机器人的视觉定位方案。该方案采用YOLOv5s和图像处理相结合的方法,在复杂环境中对散装禽蛋筐进行定位识别。建立最佳分割阈值T与图像平均灰度值M之间的关系模型,使用动态阈值分割法对图像中的堆垛整体进行分割,通过堆垛最小外接矩形的长宽比区分2种筐装禽蛋堆垛类型,堆垛类型识别准确率为100%。使用YOLOv5s对堆垛顶层的单个蛋筐进行定位识别,模型识别精确率为98.48%,检测单幅图片用时为0.005 4 s。根据YOLOv5s输出的定位结果对图片进行裁剪,通过图像分割将蛋筐边框分割出来并用Canny算子检测其边缘信息,计算所有蛋筐旋转角度,平均角度误差为0.41°。结合蛋筐高度得出筐装禽蛋堆垛中所有蛋筐的位姿信息。结果表明,基于YOLOv5s和图像处理的筐装禽蛋定位方法可以准确识别出筐装禽蛋堆垛中所有蛋筐的位姿信息,该系统具有较好的鲁棒性和可行性。
我国是全球最大的禽蛋生产国,禽蛋总产量在2022年已经达到了3 456万 t,占全球总产量43%以
机器视觉常被应用于搬运机器人进行物料的识别和定位。目前,关于筐装禽蛋视觉定位方面的研究目前鲜有报道。Fan
本研究提出了一种基于YOLOv5s和图像处理的筐装禽蛋上料机器人视觉定位识别方法,利用动态阈值分割法识别筐装禽蛋堆垛类型,并使用YOLOv5s网络对单个蛋筐进行识别定位,进一步结合图像处理技术得出蛋筐偏转角度,融合已知的蛋筐高度,对复杂光照条件下的多层堆垛中的顶层蛋筐进行位置识别。该视觉定位方法可以为筐装禽蛋自动上料机器人准确抓取蛋框把手槽提供视觉引导,并有助于框装禽蛋上料机器人实现自动作业。
1)系统组成。视觉采集系统主要由相机、支架、计算机和工厂照明设备组成,相机为Intel RealSense D435i实感深度相机,RGB图像视场角为64°×41°×77°(±3°),RGB分辨率为1 920像素×1 080像素,帧率为30 帧/s。试验过程中相机用支架定位于堆垛正上方,距地面高度为2 m,使用Intel RealSense Viewer软件控制相机拍照并保存,照明设备为白炽灯。
2)原始图像数据集。为了进行禽蛋堆垛的识别,需要采集相应的原始图像数据集。识别对象为简单重叠式码垛的筐装禽蛋堆垛,各层的摆放方式都相同,拍摄最上层蛋筐的俯视图即可。采集禽蛋筐图像存在着多种环境变量,如不同颜色的塑料筐(白色、红色、粉色、淡粉色等),不同批次的禽蛋筐有不同色,以及2种不同类型的堆垛方式(七花垛型、八花垛型)。此外,禽蛋加工厂内的光照环境是不稳定的,以自然光为主,灯光为辅(

图1 2种堆垛类型
Fig.1 Two stacking types
A:七花垛型Seven-flower stack type;B:八花垛型Eight-flower stack type.
本试验的筐装鸡蛋堆垛图片采集于湖北某蛋品加工企业。由于光照条件不稳定,工作时段从09:00到17:00,每隔2 h采集1次图像。通过开启或关闭照明灯光来模拟实际生产过程中的光照变化,并随机变换蛋筐的颜色和七花垛型和八花垛型摆放位置使采集的图像尽可能接近实际生产环境。现场共采集到样本图片150张。不同光照环境下采集2种堆垛类型的样本图像如

图2 不同光线下的样本图像
Fig.2 Sample images under different light
A:七花垛型,M=84.80 Seven-flower stack type,M=84.80;B:八花垛型,M=101.50 Eight-flower stack type,M=101.50;C:八花垛型,M=55.81 Eight-flower stack type,M=55.81;D:八花垛型,M=88.94 Eight-flower stack type,M=88.94.
3)定位识别流程。筐装禽蛋定位识别流程如

图3 蛋筐定位识别流程
Fig.3 Process of locating and identifying egg baskets
1)基于动态阈值的整体堆垛分割。选取灰度值T作为分割阈值,将图像分为黑、白2个区域。阈值分割方法计算公式如下:
(1) |
其中,为点的像素值,为分割后该点的像素值。

图4 阈值分割(A)与形态学操作(B)结果
Fig.4 Results of threshold segmentation(A) and morphological manipulation(B)

A:M=55.81,T=40;B:M=55.81,T=79;C:M=55.81,T=90.图5 不同阈值分割效果
Fig.5 Segmentation effects of different thresholds
随机选取40幅图片利用上述方法进行分割,利用Matlab R2016a作出不同光照下的40幅图片的(M,T)离散点分布图,然后使用最小二乘法对这些离散的点进行线性拟合,得出的拟合函数即为最佳分割阈值T与平均灰度值M之间的线性关系,表达式为:
, | (2) |
其中,40≤M≤110代表当平均灰度值M位于此区间内时,图像可以成功的被识别,能通过
2)堆垛类型区分。利用2种垛型的蛋筐堆垛最小外接矩形的长宽比k来进行区分。塑料筐的尺寸为460 mm×305 mm×240 mm,忽略蛋筐间的缝隙,七花垛型和八花垛型的最大外接矩形尺寸分别为1 070 mm×920 mm和1 225 mm×920 mm,计算得出长宽比分别约为1.16和1.33。在实际应用场景中,蛋筐之间的缝隙和蛋筐的摆放不整齐等因素均会导致长宽比与理想值有差距。对20张七花垛型图片与20张八花垛型图片计算长宽并进行统计(

图6 2种垛型的长宽比统计
Fig.6 Results of aspect ratio statistics of two stacking types
用上述模型可将筐装禽蛋堆垛分割出来,但无法准确识别蛋筐之间狭窄、不明显的缝隙从而将其分割并定位识别,故需要使用深度学习的方法进行研究。本研究基于YOLOv

图7 YOLOv5s网络结构
Fig.7 YOLOv5s network structure
1)图像预处理。YOLOv5s能识别出图片中各个蛋筐的中心点坐标,但无法得出其偏转角度,上料机器人搬运筐装禽蛋上料时,为了不与相邻蛋框发生干涉,机器人末端执行器需要从蛋筐内侧插入蛋框把手槽实现对蛋框的夹持和搬运,但堆垛时蛋筐的摆放角度并不完全固定,故需准确计算出各个蛋筐的偏转角度。本研究对YOLOv5s的识别结果进行改进,通过dt_boxes函数获得识别结果中各个目标矩形框的4个顶点坐标参数,并根据参数对这些蛋筐图片进行裁剪,按照从上到下、从左到右的顺序逐个输出,结果如

图 8 单个蛋筐裁剪结果
Fig.8 Cropping results of a single egg basket
2)角度识别。根据裁剪结果直接使用Canny算子对

图9 边缘检测结果对比
Fig.9 Comparison of results of edge detection
得出蛋筐边缘信息后,需进一步计算其最小外接矩形。设定蛋筐2个把手槽连线的方向为水平状态时,该蛋筐偏转角度为0°。根据
在最小外接矩形识别角度时,将长边中心线与y轴之间的夹角视为最小外接矩形旋转角度。如

图10 蛋筐不同摆放姿态示意图
Fig.10 Schematic diagram of different placement postures of egg baskets
试验平台硬件配置环境CPU型号为AMD Ryzen 7 5800X(主频3.8 GHz),GPU型号为NVIDIA GeForce RTX 3070(显存8 GB),操作系统为Windows 10,网络框架为Pytorch 1.12.1、CUDA 11.6,编译器和编译语言为Pycharm 2021.1.3、Python 3.7。使用改变图像亮度、添加高斯噪声和椒盐噪声的数据增强方法,将原始样本图像数据集扩充至1 050张,将数据集按照8︰1︰1的比例分为训练集、验证集和测试集。图片大小为640像素×640像素,训练批次大小(batch_size)设置为6,迭代次数(epoch)为100,学习率(learning rate)设置为0.01,权重衰减系数(weight_decay)设置为0.000 5。
将成功率S作为动态阈值分割法识别堆垛类型的评价指标;采用精确率(precision,P)、检测用时(detection time)、计算量(GFLOPs)和平均精度均值(mAP,公式中用PmA表示)作为YOLOv5s目标检测模型评价指标;手动标注图片偏转角度,将其与角度识别方法得出的结果作对比,用平均角度误差作为角度识别方法的评价指标。各项指标计算公式为:
(3) |
(4) |
平均精度均值 | (5) |
平均角度误差 | (6) |
式(
根据本文“1.2节”得出的动态阈值分割模型和基于最小外接矩形长宽比判别垛型的标准,对不同光照下的样本图像进行分割验证试验,结果如

图11 动态阈值分割法识别堆垛类型结果
Fig.11 Dynamic threshold segmentation method to identify stacking type results
A:M=42.37,T=70,k=1.37;B:M=73.09,T=91,k=1.3;C:M=101.5,T=110,k=1.19.
使用YOLOv5s迭代100次的定位损失(box_loss)值和平均精度均值(mAP)变化结果如

图12 YOLOv5s模型性能评估
Fig.12 YOLOv5s performance evaluation
为验证检测效果,分别利用YOLOv
模型 Model | 精确率/% Precision | 检测用时/s Detection time | 计算量/×1 | 平均精度均值/% mAP |
---|---|---|---|---|
YOLOv5s | 98.48 | 0.005 4 | 15.8 | 98.80 |
YOLOv5m | 95.24 | 0.009 9 | 50.2 | 98.60 |
YOLOv5l | 97.32 | 0.012 7 | 113.9 | 98.80 |
YOLOv4 | 94.31 | 0.186 0 | 244.6 | 97.81 |
由
YOLOv5s对堆垛顶层筐装禽蛋的识别结果如

图 13 YOLOv5s对光线较暗(A)及噪声高(B)目标识别结果
Fig.13 YOLOv5s achieves recognition results for targets with low light(A) and high noise(B)
利用本文“1.4节”中的角度识别方法进行单个蛋筐角度识别,部分结果如

图14 不同角度识别结果
Fig.14 Results of different angle recognition
A:横向放置 Horizontal placement;B:纵向放置 Vertical placement.
将10张八花垛型与10张七花垛型图片裁剪后的150张图片分别手动标注5次,得出角度均值,将其与角度识别方法得出的角度代入

图15 识别角度的误差分布
Fig.15 Error distribution in identifying angles
本研究设计了一种筐装禽蛋自动上料机器人视觉系统定位方法,将视觉系统分为堆垛类型识别、蛋筐定位识别与角度识别3个模块,实现了复杂环境下筐装禽蛋的定位识别。利用采集到的样本图像建立最佳分割阈值T与图像平均灰度值M之间的关系模型,并根据堆垛最小外接矩形长宽比比值区分七花堆垛与八花堆垛2种堆垛类型,将长宽比比值k设定为1.25时,堆垛类型识别准确率达100%。同时,基于准确率、检测用时、计算量和平均精度均值4种评价指标,对比YOLOv4、YOLOv5s、YOLOv5m和YOLOv5l的识别效果,结果表明,YOLOv5s在蛋筐识别过程中,其精确率达98.48%,平均精度均值为98.80%,检测单张图片用时0.005 4 s,检测速度和计算量均小于其他模型,适用于筐装禽蛋上料机械手视觉系统中。使用YOLOv5s识别单个蛋筐并裁剪后,用Canny算子检测蛋框边缘并提取最小外接矩形,该方法能成功识别出横向或竖向放置的蛋筐偏转角度,平均角度误差为0.41°。
本研究提出的定位方法可准确实现筐装禽蛋的识别,为视觉引导的上料机器人提供理论依据,该方法不局限于禽蛋加工领域中的蛋筐识别,对于其他筐装物料堆垛的识别都具有参考价值。
参考文献References
祝志慧,叶子凡,杨凯,等.种蛋孵化信息的无损检测研究进展[J].华中农业大学学报,2021,40(4):94-101.ZHU Z H,YE Z F,YANG K,et al. Progress of nondestructive detection of hatching information of breeding eggs[J]Journal of Huazhong Agricultural University,2021,40(4):94-101(in Chinese with English abstract). [百度学术]
袁宇涵,王岩,张亮,等.蛋制品加工技术与副产物综合利用研究进展[J].中国调味品,2022,47(10):192-197.YUAN Y H,WANG Y,ZHANG L,et al.Research progress on processing technology of egg products and comprehensive utilization of their by-products[J].China condiment,2022,47(10):192-197(in Chinese with English abstract). [百度学术]
马美湖,邱宁,黄茜,等.我国蛋品加工业发展情况及特点[J].农业工程技术,2015,35(5):26-31.MA M H,QIU N,HUANG Q,et al.Development and characteristics of egg processing industry in China[J].Agriculture engineering technology(agricultural product processing industry),2015,35(5):26-31(in Chinese). [百度学术]
黄晨轩,岳巧娴,孙浩政,等.蛋制品及其加工技术研究进展[J].畜牧兽医科学(电子版),2021(7):4-7.HUANG C X,YUE Q X,SUN H Z,et al.Research progress of egg products and their processing technology[J].Graziery veterinary sciences(electronic version),2021(7):4-7(in Chinese with English abstract). [百度学术]
谢璐,陈文凯.蛋品加工设备行业发展现状及趋势[J].中国禽业导刊,2014,31(6):36-37,39.XIE L,CHEN W K.Development status and trends of egg processing equipment industry [J].Guide to Chinese poultry,2014,31(6):36-37(in Chinese). [百度学术]
励慧敏.蛋及蛋制品加工与发展[J].食品研究与开发,2014,35(11):127-129.LI H M.The processing and development of eggs and egg products[J].Food research and development,2014,35(11):127-129(in Chinese with English abstract). [百度学术]
刘翌阳,陶伟煜.近期中国鸡蛋市场形势分析及未来展望[J].农业展望,2019,15(5):8-13.LIU Y Y,TAO W Y.Recent China’s egg market situation and its future prospect[J].Agricultural outlook,2019,15(5):8-13(in Chinese with English abstract). [百度学术]
卢宜祠.中国鸡蛋深加工市场分析与展望[J].中国禽业导刊,2018,35(20):16-17. LU Y C.Analysis and outlook of China’s egg deep processing market[J].Guide to Chinese poultry,2018,35(20):16-17(in Chinese). [百度学术]
王树才.禽蛋加工装备存在的问题与思考[J].养殖与饲料,2019(1):4-7.WANG S C.Problems and thinking of egg processing equipment[J].Animals breeding and feed,2019(1):4-7(in Chinese). [百度学术]
陈子琦.鸡蛋加工生产线自动上料装置的分析与机电一体化仿真研究[D].武汉:华中农业大学,2017.CHEN Z Q.Analysis and mechatronics simulation of automatic feeding machine on egg line[D].Wuhan:Huazhong Agricultural University,2017(in Chinese with English abstract). [百度学术]
FAN X J,LIU X G,WANG X L,et al.An automatic robot unstacking system based on binocular stereo vision[C]//Proceedings 2014 IEEE International Conference on Security,Pattern Analysis,and Cybernetics (SPAC).October 18-19,2014.Wuhan:IEEE,2014:86-90. [百度学术]
LI J Q,KANG J,CHEN Z,et al.A workpiece localization method for robotic de-palletizing based on region growing and PPHT[J].IEEE access,2020,8:166365-166376. [百度学术]
REN S Q,HE K M,GIRSHICK R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[J].IEEE transactions on pattern analysis and machine intelligence,2017,39(6):1137-1149. [百度学术]
罗会兰,陈鸿坤.基于深度学习的目标检测研究综述[J].电子学报,2020,48(6):1230-1239.LUO H L,CHEN H K.Survey of object detection based on deep learning[J].Acta electronica sinica,2020,48(6):1230-1239(in Chinese with English abstract). [百度学术]
LIU W,ANGUELOV D,ERHAN D,et al.SSD:single shot MultiBox detector[M]//Computer Vision–ECCV 2016.Cham:Springer International Publishing,2016:21-37. [百度学术]
REDMON J,DIVVALA S,GIRSHICK R,et al.You only look once:unified,real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR),June 27-30,2016,Las Vegas,NV,USA.[S.l.]:IEEE,2016:779-788. [百度学术]
REDMON J,FARHADI A.YOLO9000:better,faster,stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),July 21-26,2017,Honolulu,HI.[S.l.]:IEEE,2017:6517-6525. [百度学术]
REDMON J,FARHADI A.YOLOv3:an incremental improvement[DB/OL].arXiv,2018:1804.02767[2023-04-07].https://doi.org/10.48550/arXiv.1804. 02767. [百度学术]
龙健宁.基于机器视觉的智能物流分拣搬运系统的研究与应用[D].广州:华南理工大学,2021.LONG J N.Research and application of intelligent sorting and handling in logistics system based on machine vision[D].Guangzhou:South China University of Technology,2021(in Chinese with English abstract). [百度学术]
肖施睿,刁云峰,程文明,等.基于YOLOv5的物流托盘实时检测方法研究[J].制造业自动化,2023,45(2):17-21.XIAO S R,DIAO Y F,CHENG W M,et al.Pallet detection using YOLOv5 for logistics operations[J].Manufacturing automation,2023,45(2):17-21(in Chinese with English abstract). [百度学术]
JOCHER G.YOLOv5[EB/OL].(2021-10-14)[2023-04-07].https://github.com/ultralytics/yolov5. [百度学术]
董文轩,梁宏涛,刘国柱,等.深度卷积应用于目标检测算法综述[J].计算机科学与探索,2022,16(5):1025-1042.DONG W X,LIANG H T,LIU G Z,et al.Review of deep convolution applied to target detection algorithms[J].Journal of frontiers of computer science and technology,2022,16(5):1025-1042(in Chinese with English abstract). [百度学术]
BOCHKOVSKIY A,WANG C Y,LIAO H Y M.YOLOv4:optimal speed and accuracy of object detection[DB/OL].arXiv,2020:2004.10934[2023-04-07].https://doi.org/10.48550/arXiv. 2004.10934. [百度学术]