网刊加载中。。。

使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,

确定继续浏览么?

复制成功,请在其他浏览器进行阅读

无接触式猪体体尺测量技术研究进展  PDF

  • 李熙莹 1
  • 刘恒 1
  • 苏淑妍 1
  • 司景磊 2
1. 中山大学智能工程学院,深圳 518107; 2. 广西农垦永新畜牧有限公司,南宁 530000

中图分类号: S817.3

最近更新:2024-11-22

DOI:10.13300/j.cnki.hnlkxb.2024.05.019

  • 全文
  • 图表
  • 参考文献
  • 作者
  • 出版信息
EN
目录contents

摘要

随着视觉传感器和计算机视觉等领域的科技进步,无接触式猪体体尺检测相关的硬件设备和技术方法都发生了巨大的变化。视觉感知升级为三维立体视角,相应的设备也从黑白相机更新为深度设备。设备类型通常决定了基本的实施方案和技术方法,然而目前该领域的研究大多聚焦具体的算法细节,难以满足实际的工程需求。本文以视觉传感器类型为核心,概述了无接触式猪体体尺测量方面不同的工程部署方法,总结了设备使用方法、采集数据的环境条件和方式等,同时对猪体体尺测量的5个三维点云技术任务进行分析,并归纳了目前研究的优缺点、提升空间以及与实际工程应用相结合的方案,最后展望了深度学习与三维点云技术相结合的研究难点。通过对比发现,深度设备和三维点云技术是未来工程应用的方向,基于深度学习的点云分割、点云补全、关键点检测等技术具有良好的应用前景,为无接触式猪体体尺测量技术的后续研究提供了参考。

肉类中的蛋白质是人类必需的营养成分之一,也是人类膳食结构的重要部

1。随着工业化和城市化的发展,世界人口数量和生活水平不断提高,人们对动物性食品的需求不断增长。根据联合国粮农组织(FAO)提供的数据,截至2020年底,世界肉类总产量已经超过33 000万t。其中,猪肉作为全球三大肉类之一,占全球肉总产量的33%2。我国是养猪大国,养猪基数大、猪肉消费占比高。国家统计局数3显示,2022年中国全年猪肉产量5 541万t,同比增加4.6%,生猪出栏69 995万头,同比增加4.3%,能繁殖母猪存栏4 390万头,同比增加1.4%。因此,全球畜牧业生产,特别是猪肉的生产与安全,对粮食安全有着重要的影4

合理的猪体生理信息监测是确保猪肉安全的关键环节之一。通过监测猪体生理信息,可以实现猪的生长发育状况监

5、疾病预6和生产性能评7等。其中,猪的体尺参数测量是生理信息监测的主要内容,测量参数包括体高、体长、体宽、胸围、臀围和腹围8,这些参数对指导实际生产如评价生长状9、性状选10和参数预11具有重要意义。

传统的猪体体尺测量通常是通过皮尺、卷尺和测量杖等工具进行人工测

12。在养殖数量大、测量频率高和待测体尺参数多的情况下,传统的人工体尺测量方式耗时耗力,且工作量巨大。同时,猪的应激反应也会导致人工测量的精度下降。此外,这种接触式的测量为人和牲畜之间细菌和病毒的传播提供了可13。因此,传统的猪体体尺测量方式亟需进一步的改进。

为减少牲畜的应激影响,无接触式的牲畜体尺测量方法已开始研究和推广

8-91214-19。无接触式测量是在对象处于正常活动的前提下,使用先进的光学传感器对检测对象的表面实现二维或三维的成像,同时结合计算机视觉算法,达到体尺测量的目16。不同牲畜体尺测量要求具有一定的差异17-18。一是养殖环境,牛羊一般养殖在室外牧场,而猪的养殖环境一般是半封闭或封闭的室内场地,由于生猪养殖环境缺少自然光照,可忽略阳光直射对设备工作造成的影响,应选取工作场景亮度不足条件下的测量设备和方案。二是体形体态,由于生猪的体形比奶牛和肉牛的小,且活泼好动,对测量设备的采样率和算法适应性要求更高。三是体表,牛羊需考虑被毛对体尺测量的影响;而猪毛一般较稀疏,不会完全遮挡体表,但生猪体表一般沾有粪便、泥点等,需要考虑其产生的噪声对数据真实性的干扰。

近年来,随着无接触式猪体体尺测量技术的发展,对该技术在实际生产中应用的需求越来越旺盛。目前,针对无接触式体尺测量的研究主要聚焦于算法细节,例如数据的预处理、获取目标数据、体尺计算方式

19-20,但没有特别关注工程部署方面的条件限制和可行性技术方案的需求。因此,本文从工程部署角度概述了近年来不同的无接触式猪体体尺测量方法研究进展,将算法细节和工程部署需求相结合,突出在工程应用中相关算法差异,并对三维体尺测量技术进行详细的技术分析,以期更好地提升无接触式猪体体尺测量技术的成熟度、准确度和便利性,为该技术在监测猪体生理信息方面的应用提供参考。

1 无接触式体尺测量原理及硬件技术

无接触式体尺测量主要利用视觉传感器进行视频图像数据采集。视觉传感器一般分为两大类:RGB设备和深度设

20。RGB设备即普通相机,通过内部的成像元件将光线转换为数字信号并存21,其成像原理简单、材料成本低、发展时间长且设备种类繁多,技术十分成熟,通常是便携、低成本视觉系统的重要组成部分。但RGB设备输出的是二维图像数据,这极大限制了计算机感知和理解三维现实世界的能22。深度设备利用3D表面成像技术实现设备到物体表面距离的测量,即深度测量。深度信息能够反映物体的三维空间关系和特征,可以改善计算机在二维图像上感知能力受限的问题。3D表面成像技术的基本原理可以分为三大23:三角测量、飞行时间和干涉法。

基于三角测量的3D表面成像技术本质上是一种几何计算,通过测量三角形的角度和基线,计算确定目标的距离。三角测量的计算原理用公式(1)表示,Z表示深度,b是基线长度,d1d2分别是入射光束在相机1和相机2的位置,f是相机的焦

24

Z=bfd2-d1 (1)

基于飞行时间的3D表面成像技术,顾名思义,是通过计算光的飞行时间来测量深度。光源发射出已知速度的光束,经由测量物体的表面反射回传感器上,根据来回时间t来计算深度Z

25。而深度Z和时间t之间的关系可以用函数f表示,即公式(2)

Z=f t (2)

基于干涉法的3D表面成像技术一般通过干涉仪将相干光束一分为二,其中1条射向参考镜,另1条射向样品,再将2条光束反射回分束器,通过波的相位信息来确定深度,其精度在纳米范

26。但这种方法不适用于牲畜的体尺测量。

无接触式的猪体体尺测量技术的发展已有30多年,从最早的黑白相机到深度相机,从单个设备到多个设备,从灰度图到三维点云图,从机器学习到深度学习,视觉传感器的转型升级和算法技术的发展促使工程实施方案发生了明显的变化,不同阶段的工程实施方案具有显著的特

27-28。本文将无接触式猪体体尺测量工程部署方法分为两大类,分别为基于RGB设备的部署方法和基于深度设备的部署方法,如图1所示。为了条理清晰地回顾无接触式的猪体体尺测量技术的发展,以视觉传感器作为切入点进行阐述。

图1  无接触体尺测量技术发展脉络

Fig. 1  Non-contact pig body size measurement technology and its development thread

2 工程部署方法

2.1 基于RGB设备的部署方法

1)单RGB相机。在早期的研究中,无接触式猪体体尺测量并没有构成一项独立的研究。研究者将单个相机安装在进食站处,在饲养环境下对猪进行日常监测、计数

29-30,把长度或面积等图像测量数据作为估计猪活体质量等指标的参31。这些研究没有明确地对测量体尺进行学术性的定义,但其基于图像进行测量的思想为无接触式体尺测量提供了思32

直至VIA系统(visual image analysis system,VIA system

33的出现,基于RGB图像的体尺测量技术独立出来并成为研究热点。VIA系统中,主要有两大部分,第一部分为安装在食槽顶部的RGB相机,第二部分为计算机内的图像分析软件,用于计算和处理采集设备采集的图像。该系统首先对采集的猪体背部图像进行失真矫正,再通过图像算子的处理以及灰度图像的阈值选取获得目标猪体的背部轮廓。同时,为了得到更准确的结果,使用图像腐蚀和膨胀等简单操作对背部轮廓图像进行处理。最终,该系统通过背部的轮廓图获得猪体形态数据。Doeschl34对VIA系统所计算的猪体体尺测量指标进一步明确,定义了线性测量指标和面积测量指标。VIA系统创造性地给出了一种早期的无接触式猪体体尺测量方案,通过单RGB相机采集猪体背部图像,对猪日常活动的干扰较小,可应用于现场饲养环境。但是该系统的人工图像处理过程过于复杂,同时由于图像质量低和分析算法低效还会产生误差。单RGB相机只能拍摄猪体的某个视角,大多数研究将相机放置于顶部拍摄俯视图以获取猪体背部图像,所获取的猪体体尺数据或猪体图像特征有限。

2)双RGB相机。为了获取更多的猪体体尺数据,部分研究改为使用双RGB相机。这种双相机的组合方式主要有2种。

第1种组合方式是在食槽顶部拍摄的基础上再增加一个侧面进行拍摄。Chen

35开发了一种基于机器视觉技术的猪体生长监测系统,通过一对相机得到的俯视图和侧视图计算体高、体长、胸宽和臀宽,并根据这些体尺参数预测猪的肉产量。类似的,Tian36也从双视角RGB相机采集猪体图像,然后转换成二值图像以获得感兴趣区域和猪体的边缘,最后根据猪体边缘的位置计算猪体的体高、体长、胸宽和臀宽。与基于单个RGB相机的猪体体尺测量方法不同,这种方法可以同时在侧视图上计算体高,可获得更多的体尺数据。

第2种组合方式是双目视觉系统,即类似人眼结构,将2个相机放置在有一定间距的同一个视角,左右相机参数相同。双目视觉系统通过立体匹配算法对2个RGB相机的图像进行匹配,基于三角原理把双相机视差转换为深度,最后将深度信息重新映射到原始图像中以得到3D点云图像。李卓

37使用双目视觉系统获得猪体深度图像,利用帧差法提取猪只高度信息,并基于猪体轮廓的拐点筛选体尺检测关键点,计算体长、体宽、体高、臀宽、臀高5个体尺参数。Shi38-40的团队基于双目视觉系统展开了多项猪体体尺测量研究,通过双RGB相机获取猪体的深度图,使用深度阈值获取猪体图像区域以消除图像背景的干38,然后在猪体深度图中确定测量关键点,最后基于关键点的位置计算体长、体宽、臀宽、肩宽、臀高等多项体尺参39。该团队还构建了一种无接触式的猪体体尺检测系40,实现了工程化和自动化。该系统把滑轨放置于饮水区域围栏的上方,当该系统工作时,滑轨上带有双目视觉相机的电气柜在不同的围栏处停止并进行图像采集,同时使用软件程序实现电气柜的控制以及采集图像的校准和体尺测量。与VIA系统的人工图像阈值处理和传统的灰度阈值分割不同,双目视觉利用深度信息可以得到更加精确的猪体背部轮廓图像,测量更多的猪体体尺数据。

3)多个RGB相机。为了得到更加完整的猪体三维图像,可以将多对RGB相机应用在多个视角分别获取视差图像,进而构建猪体三维图像。Wu

41开发了由6个高分辨率相机组成的立体成像系统,分别拍摄猪的侧视图、俯视图和后视图,并通过视差计算深度以获得猪的三维图像。尽管多个RGB相机可以得到更完整的猪体三维图像,但是与单个或一对RGB相机相比,所需设备的数量更多,且需要更复杂的测量环境和测量系统,因此,该方法难以应用到实际养殖和农业生产中。

2.2 基于深度设备的部署方法

1)单深度相机。面向消费者的3D深度相机在问世后受到了业界的广泛关注,研究者将其应用于无接触式的猪体体尺测量和猪活体质量预测中。Condotta

42通过Kinect v1深度相机获取的深度图和点云数据计算猪的体积,从而进一步估计猪的活体质量。Okayama43将点云数据与猪的姿态角度相结合,以减少活体质量估计的误差。Li44将Kinect v2深度相机放置于饮水区的上方采集深度图像,将深度图转为点云数据后计算肩宽、体高和体长。单深度相机和双目视觉系统类似,都是从单个方向上获取猪体的深度图或点云数据。其主要区别除了基本原理不同外,3D深度相机避免了双相机匹配的计算过程。利用单深度相机可以构建一个简单、有效且可靠的无接触式猪体体尺测量系统。然而受视角单一的影响,这种方式只能获取有限的猪体部分点云,因此只能测量部分猪体体尺。

2)双深度相机。为了获取更完整的猪体点云数据,有研究使用了2个深度相机。Pezzuolo

45将2个Kinect v1深度相机放置于猪的喂食区上方和侧方,测量的体尺数据包括体长、腹围、肩宽和臀高。相比单深度相机的方法,该研究获取的点云数据更完整,因此还可以获得猪体的腹围数据。

除了这种常规的基于双深度相机的研究,Wang

46将其设计成便携式的猪体体尺检测系统,把2个Xtion Pro深度相机固定在一个V型背携式金属支架上进行移动式数据采集。该研究首先对2个相机进行配准,再使用欧几里得聚类剔除背景,从而获得目标猪体点云。为了让整个流程自动化,还需要使用主成分分析算法对猪的姿态进行归一化,最终确定归一化点云的测量关键点,以此来计算体长、体宽和体高。

3)3个深度相机。为了能够基本完整地采集到目标猪体的表面点云数据,需使用3个深度相机。常见的方式是先将3个深度相机分别放置于一个通道的两侧和顶部,然后进行配准,测量时让猪逐头通过该通道,当行至最佳位置时捕获点云数据,再利用随机样本一致性算法等技术提取猪的点云,最后根据关键点计算体长、体高、体宽和腹围的体尺数

47。Hu48通过改进的深度学习网络PointNet++对猪体的不同部位进行点云分割,以避免其他点云部分干扰关键点的确定,分别测量了体长、体高、体宽、胸围、腹围、臀围等体尺数据。三维视角的深度相机组合能够获取比较丰富的体尺数据。

2.3 工程部署方法对比

从视觉传感器角度看,不同的工程部署方法所使用的设备数量、设备类型大有不同;从算法技术角度看,随着设备的更新,新技术和更高效的算法逐渐替代了传统方法。总的来说,不同的工程部署方法不仅与视觉传感器设备和测量算法技术紧密相连,还决定了测量环境、采集数据类型、可测量体尺数据。表1对不同工程部署方法的特点进行汇总。对于无接触体尺测量方法评价,通常采用算法测量结果与人工测量结果进行对比。表2中列举了不同工程部署方法的体尺测量性能指

837404446-49。由于表2中各个文献使用了不同的自建数据集,且其中一些研究为了避免猪的非标准姿态、数据缺失、噪声等带来的较大误差,在评估其方法性能时采取了数据过滤的措施,因此表2中结果仅供参考。通过对比各种工程部署方法的优缺点及应用效果可以看出,使用三维视角的深度相机系统采集的三维点云可获取更丰富、准确的猪体体尺数据,更能满足实际的体尺测量需求。

表1  无接触式猪体体尺测量不同工程部署方法的特点汇总
Table 1  Summary of characteristics of non-contact pig body size measurement at different engineering solutions

设备类型和数量

Types and

quantity of device

采集视角

Collection angle

数据类型

Data format

可测量的体尺参数

Measurable body size parameters

优点

Advantages

缺点

Disadvantages

单RGB 俯视 RGB图像 体长、体宽 是一种简易有效的采集方式 获取的体尺数据十分有限;依赖手工方式的图像处理
双RGB 俯视、侧视 RGB图像 体长、体宽、体高 与一个RGB设备相比,可获取体高的体尺数据 无法计算三围的体尺数据;依赖人工方式的图像处理
双RGB 俯视 三维点云 体长、体宽、体高 获得的背部图像更清晰,可获取体高的体尺数据 依赖良好的双目匹配算法;无法计算三围的体尺数据
多RGB 俯视、侧视、前视 三维点云 体长、体宽、体高、胸围、臀围、腹围 可较为完整地对猪体表面进行建模 需要双目匹配算法;设备多;场地复杂;难以实际应用
单深度 俯视 三维点云 体长、体宽、体高 可对猪背表面部分进行建模,计算的体尺更准确 无法计算三围体尺数据
双深度 俯视、侧视 三维点云 体长、体宽、体高、胸围、臀围、腹围 通过更多的点云数据对三围数据进行拟合估算 估算的三围体尺数据存在一定的误差
三深度 俯视、左视、右视图 三维点云 体长、体宽、体高、胸围、臀围、腹围 可较为完整地对猪体表面进行建模 需要固定的测试环境和数据采集通道
表2  不同工程部署方法的指标对比
Table 2  Comparison of indicators at different engineering solutions

设备类型

Device types

设备数量

Device quantity

体尺指标测量结* Measurement results of body size parameters*

文献

References

体长/%

Body length

体宽/%

Body width

体高/%

Body height

胸围/%

Thoracic circumference

臀围/%

Rump circumference

腹围/%

Abdominal circumference

RGB设备 1 0.92

前:2.75

中:1.39

后:3.03

- - - - [8]
RGB设备 2 2.48

前:1.11

后:1.09

前:2.45

后:2.69

- - - [40]
RGB设备 2 1.89

前:3.05

后:2.25

前:2.58

后:2.09

- - - [37]
深度设备 1 0.70 1.80 3.30 - - - [44]
深度设备 2 2.40

前:5.8

后:4.7

前:7.40

后:4.80

- - - [49]
深度设备 2 -

前:10.30

后:5.87

7.01 - - - [46]
深度设备 3 2.57

前:4.56

中:5.19

后:5.26

前:2.18

后:2.28

2.85 2.50 3.14 [48]
深度设备 3 2.97 4.13 3.35 - - 4.67 [47]

注:  表中数值表示为相对误差。体宽和体高一项结果中的“前”“中”“后”分别表示前体宽(体高)、中体宽(体高)和后体宽(体高)。Note: The values in the table are relative errors. The "front", "middle" and "back" in the result of body width and body height represent the front body width (body height), middle body width (body height) and back body width (body height), respectively.

3 基于点云的三维体尺测量技术

基于深度设备的部署方法使用以点云为基础的三维体尺测量技术,其可测量的数据丰富,精度较高,具有更为广泛的应用前

50。这类方法可划分为5个技术步骤:目标猪体提取、猪体数据补全、猪体姿态归一化、关键点检测和体尺计算(图2)。

图2  基于点云的三维体尺测量技术步骤

Fig. 2  Technical steps of 3D body size measurement based on point cloud

3.1 目标猪体提取

在数据采集的过程中,原始点云数据不仅包括目标猪体,还包括地面、栏杆、屋内天花板等现场环境的其他物体,如果测量位置位于饲养区等猪的日常活动区域,点云数据还可能包括非测量对象猪

51。因此,目标猪体提取是无接触式测量的必要步骤。例如,Condotta42直接选取某个深度范围的数据;Li44使用方差分类算法消除非猪点云,通过区域生长法分割同一点云下的多只猪;Wang46使用欧几里得聚类提取猪体点云。上述方法均是基于人工操作或者传统机器学习的算法,难以具备高精度和强泛化能力。在实际的应用中,猪在进食和饮水时,其点云呈现与栏杆、地面等物体接触的状态,还有猪的多种姿态和多只猪混合圈养等特点均使得猪体信息提取存在一定的难度。因此,由于环境的复杂性、猪体的多种姿态和多场景应用等因素,使得上述传统目标猪体提取方法难以满足日后实际测量的需求。

3.2 猪体数据补全

点云数据本身是稀疏的,且受被测对象特性、处理方法和环境的影响,采集的点云数据存在缺失。当前研究的猪体数据缺失一般是数据采集方式导致的。单深度相机或双深度相机的拍摄方式难以兼顾所有的角度,只能获得局部的猪体点云。三维视角的深度相机一般需要狭长的拍摄通道,该通道可由绳子、铁链或木板等材料围成,以尽量使通道不遮挡猪体的关键部位,因此这种拍摄方式下,猪体点云会呈现条纹状的缺失。除此之外,反射、透射、分辨率和角度等原因也会导致点云数据的缺失。李孟飞

52使用模型猪作为实验对象,结合了3次B样条曲线拟合和边缘检测,提出一种基于阈值分析的猪侧视点云补全方法,补全因栏杆遮挡而缺失的部分点云数据,有效减小了猪体胸围和腹围的测量误差。在无接触式猪体体尺测量的领域中针对缺失点云补全的相关研究较少,然而猪体数据的补全有助于确定测量关键点,有利于提高测量体尺的精度,还能够在设备数量有限的情况下为获取更多的数据提供支持。因此,猪体数据的补全对于后续的测量任务以及推动下游应用至关重要。

3.3 猪体姿态归一化

当完成猪的点云数据采集后,为了更好地利用计算机视觉技术实现点云测量关键点的自动提取,提高测量体尺的自动化程度,需要对猪体进行姿态的归一化,即对点云进行三维旋转和三维平移,使得猪体在点云坐标系中呈现的姿态统一,便于后续处理。目前,传统的姿态归一化方法主要有三

53:第一类是基于主成分分析的经典姿态归一化方54;第二类是基于3D点云对称特征的姿态归一化方55-57;第三类是基于特定几何信息的方58-60。在复杂的环境下,上述方法难以捕获目标的关键特征。另外,受点云数据质量的影响,其归一化效果不稳定,容易导致归一化主轴不准确。为了进一步提高猪体姿态归一化方法的性能,王可61提出了一种基于地面法向量的局部坐标系矫正方法,用于修正主成分分析方法带来的误差或错误。Guo62将对称特征的姿态归一化方法与猪体的前方朝向相结合,提出了一种自动猪体归一化框架,其性能优于传统方法。这些基于传统方法改进的姿态归一化方法仍然受到传统方法缺陷的制约,难以进一步推广至更为复杂的环境下。

3.4 猪体测量关键点检测与体尺测量

猪体体尺测量实质上是基于体尺的几何定义,对测量关键点的位置和距离进行度量。因此,在完成目标猪体提取、数据补全和姿态归一化后,需要先检测猪体的测量关键点,才能进行猪体体尺的计算。以体长测量为例,Hu

48首先确定耳根部中点和尾部中点,再将猪体背部边缘的点云分为前、中、后三部分,然后分别计算每个部分的体长关键点,最后拟合得到背部的体长曲线以计算体长。这类传统的猪体测量关键点检测方法具有严格的定义,解释性强。其准确测量的前提是需要准确的猪体点云数据,如果存在噪声数据干扰,则会对测量产生较大的影响。

3.5 其 他

在基于深度相机的猪体体尺测量的研究中,使用的三维点云数据不包含颜色信息,导致使用这种点云数据的网络无法提取物体的颜色特征。而现在的消费级深度传感器一般同时具备RGB相机和深度相机,这为同时捕获深度信息和颜色信息提供了硬件支持。因此,在牲畜体尺测量的研究中,可以把RGB数据与点云数据相结

63,将RGB相机与深度相机进行配准,使得每个点信息除三维坐标外还有RGB三通道值。在猪体体尺测量领域暂时没有利用类似的数据类型进行的相关研究,但在猪体体尺测量的各项任务中,通过多模态特征融合算法使模型能够同时学习点云的空间特征及颜色特征,将有利于提高三维体尺测量部署方法的精度。

4 展 望

综上所述,使用视觉传感器和先进的计算机视觉技术进行无接触式猪体体尺测量,可以有效解决传统猪体体尺测量中费时费力、精度低和存在接触风险等问题。设备是工程实施方案的主要核心,工程实施方案会随着设备的更新而升级。使用三维视角深度相机的部署方法能够获取更丰富且准确的猪体体尺数据。但目前无接触式猪体体尺测量领域应用的相关技术与前沿的深度学习方法结合尚不够深入。而深度学习方法凭借神经网络强大的特征提取和学习能力,使计算机能更好地处理各种点云任务。在未来的研究中,结合点云数据处理相关领域的深度学习方法,有望能提升无接触式猪体体尺测量技术的成熟度、准确度和便利性。

1)点云分割。与规则刚体目标相比,猪体点云存在无序性和密度不均匀等特点,传统方法提取的特征较为简单,难以处理复杂的点云数据以提取目标猪体。在实际工程的应用上,还需要算法具备较强的泛化能力和迁移能力,即能够适用于不同周龄、品种的猪及各种环境等。此外,深度学习的点云分割方法还存在分割模型复杂导致计算成本高、标注大量的点云样本十分耗时等问题。尽管面临以上挑战,深度学习方法由于其高效的特征学习能力,在点云语义分割领域展现出优良的效果,可以感知更深层的点云语义信息,因此由传统方法转向深度学习方法是猪体点云分割的未来主流方向。除了猪体点云提取,点云分割还可应用于猪体不同部位的分割,即部件分割任务,以辅助猪体体尺测量。

2)点云补全。点云补全是通过局部点云对整体点云进行生成和估计,可以有效地提高猪体点云数据质量。目前主要面临两大挑战:一是结构特征的挑战,点云补全任务需要网络学习局部点云的结构特征,但点云数据具有无序性和非结构性,这使得点云补全任务更难完成。二是点云细粒度的挑战,即网络需要学习点云的几何对称性、规则排列和表面光滑度等细粒度细节。点云数据补全在近几年已经取得了重大的进展,将该技术应用到猪体体尺测量中是该领域未来的重点之一。

3)点云姿态归一化。为了实现猪体体尺测量的自动化,猪体姿态归一化是必要的步骤。在无接触式猪体体尺测量中,猪体是一种复杂的非刚体,感知其姿态需要大量的特征信息,且实际养殖中同个栏位的数量较多、养殖密度较大,目标个体容易被遮挡,难以进行姿态归一化。因此,使用考虑遮挡的端到端网络对猪体进行姿态归一化成为了该领域的趋势。

4)关键点检测。传统的猪体测量关键点检测方法具有严格的定义,解释性强,其准确测量的前提是需要准确的猪体点云数据,因此,这种方法严重依赖于上游任务的准确完成,诸如猪体点云提取、猪体表面点云去噪等。深度学习在点云关键点检测任务中展现了更为优异的检测性能,可以解决传统方法的缺点。猪体测量关键点检测可视为点云分类任务,即构建函数将点云数据映射为猪体的各个关键点,还可以视为点云的兴趣点检测任务,辅助研究人员进行关键点检测结果的判断。

目前在猪体体尺测量领域中,深度设备的应用更加广泛且效果良好,以深度学习为核心的算法正逐渐占据主导地位。在未来的研究中,深度设备与深度学习算法相结合的无接触式猪体体尺测量方式将有更大的发展和提升空间。

参考文献References

1

罗洁霞.居民膳食蛋白质供需平衡分析[D].北京:中国农业科学院,2018.LUO J X.A supply and demand analysis of Chinese resisdents' dietary protein[D].Beijing:Chinese Academy of Agricultural Sciences Dissertation,2018(in Chinese with English abstract). [百度学术] 

2

FAO.World food and agriculture:statistical yearbook 2022[M].Rome:FAO,2022. [百度学术] 

3

王贵荣.粮食生产再获丰收 畜牧业稳定发展[EB/OL].WANG G R.Grain production again bumper harvest animal husbandry stable development[EB/OL].(2023-01-18)[2023-08-01].https://www.stats.gov.cn/xxgk/jd/sjjd2020/202301/t20230118_1892279.html(in Chinese) . [百度学术] 

4

梁晓云.动物检疫现状与猪肉安全问题[J].畜牧兽医科学(电子版),2019(20):155-156.LIANG X Y.Current situation of animal quarantine and safety issues of pork[J].Graziery veterinary sciences(electronic version),2019(20):155-156(in Chinese). [百度学术] 

5

王建华,白俊艳,张云飞.杜洛克猪生长发育性能的影响因素分析[J].当代畜禽养殖业,2022(5):8-11.WANG J H,BAI J Y,ZHANG Y F.Analysis of influencing factors on growth and development performance of Duroc pigs[J].Modern animal husbandry,2022(5):8-11 (in Chinese). [百度学术] 

6

谢超.常见的猪疾病的预防及治疗措施[J].中国畜牧业,2023(6):79-80.XIE C.Prevention and treatment of common pig diseases[J].China animal industry,2023 (6):79-80 (in Chinese). [百度学术] 

7

马再兴.基于动态贝叶斯网络的生猪价格与产量预测[D].武汉:华中农业大学,2019.MA Z X.Prediction of hog price and produce based on dynamic Bayesian network[D].Wuhan:Huazhong Agricultural University,2019 (in Chinese with English abstract). [百度学术] 

8

刘同海,滕光辉,付为森,等.基于机器视觉的猪体体尺测点提取算法与应用[J].农业工程学报,2013,29(2):161-168.LIU T H,TENG G H,FU W S,et al.Extraction algorithms and applications of pig body size measurement points based on computer vision[J].Transactions of the CSAE,2013,29(2):161-168(in Chinese with English abstract). [百度学术] 

9

DOESCHL-WILSON A,WHITTEMORE C,KNAP P,et al.Using visual image analysis to describe pig growth in terms of size and shape[J].Animal science,2004,79(3):415-427. [百度学术] 

10

何凡.人工培育藏猪种群SLA⁃DRBPOU1F1基因SNP与生长发育性状的关联分析[D].成都:四川农业大学,2013.HE F.Polymorphisms of SLA⁃DRB and POU1F1 genes and its associations with several growth traits in artificial populations of Tibetan Pigs[D].Chengdu:Sichuan Agricultural University,2013 (in Chinese with English abstract). [百度学术] 

11

孟庆利,张军,王志云,等.不同品种的后备种猪体尺预测体重校正公式的研究[J].养猪,2020(4):33-35.MENG Q L,ZHANG J,WANG Z Y,et al.A study on the correction formula for predicting body weight of reserve pigs of different breeds[J].Swine production,2020(4):33-35 (in Chinese). [百度学术] 

12

王晨阳.猪非接触式体尺测定和发情鉴定的应用研究[D].杨凌:西北农林科技大学,2022.WANG C Y.Application of non-contact body size measurement and estrus identification in pigs[D].Yangling:Northwest A&F University,2022(in Chinese with English abstract). [百度学术] 

13

张文燕.猪痢疾的传播途径及影响因素[J].当代畜牧,2023(1):77-78.ZHANG W Y.The transmission routes and influencing factors of swine dysentery[J].Contemporary animal husbandry,2023(1):77-78 (in Chinese without English abstract). [百度学术] 

14

秦昊.基于双Kinect的三维测量装置研究[D].长春:长春工业大学,2020.QIN H.Research of three dimensional measuring device based on dual Kinect camera [D].Changchun:Changchun University of Technology,2020 (in Chinese with English abstract). [百度学术] 

15

尹令,蔡更元,田绪红,等.多视角深度相机的猪体三维点云重构及体尺测量[J].农业工程学报,2019,35(23):201-208.YIN L,CAI G Y,TIAN X H,et al.Three dimensional point cloud reconstruction and body size measurement of pigs based on multi-view depth camera[J].Transactions of the CSAE,2019,35(23):201-208 (in Chinese with English abstract). [百度学术] 

16

司永胜,安露露,刘刚,等.基于Kinect相机的猪体理想姿态检测与体尺测量[J].农业机械学报,2019,50(1):58-65.SI Y S,AN L L,LIU G,et al.Ideal posture detection and body size measurement of pig based on Kinect[J].Transactions of the CSAM,2019,50(1):58-65(in Chinese with English abstract). [百度学术] 

17

石炜,张显宇,杨晶安,等.基于A-Unet的牛体尺测量方法研究[J].畜牧与饲料科学,2023,44(4):76-84.SHI W,ZHANG X Y,YANG J A,et al.Establishment of an A-Unet based cattle body size measurement method[J].Animal husbandry and feed science,2023,44(4):76-84 (in Chinese with English abstract). [百度学术] 

18

陆明洲,光二颖,陈子康,等.基于双视角图像的山羊体尺自动测量方法[J].农业机械学报,2023,54(8):286-295.LU M Z,GUANG E Y,CHEN Z K,et al.Automatic measurement method of goat body size based on double vision angle camera image[J].Transactions of the CSAM,2023,54(8):286-295 (in Chinese with English abstract). [百度学术] 

19

初梦苑,司永胜,李前,等.家畜体尺自动测量技术研究进展[J].农业工程学报,2022,38(13):228-240.CHU M Y,SI Y S,LI Q,et al.Research advances in the automatic measurement technology for livestock body size[J].Transactions of the CSAE,2022,38(13):228-240(in Chinese with English abstract). [百度学术] 

20

谢秋菊,周红,包军,等.基于机器视觉的畜禽体质量评估研究进展[J].农业机械学报,2022,53(10):1-15.XIE Q J,ZHOU H,BAO J,et al.Review on machine vision-based weight assessment for livestock and poultry[J].Transactions of the CSAM,2022,53(10):1-15 (in Chinese with English abstract). [百度学术] 

21

苏艳琼,陆昆婕,肖威,等.基于智能手机的光学传感器的研究进展[J].中国医学工程,2022,30(6):42-47.SU Y Q,LU K J,XIAO W,et al.Research progress of smartphone-based optical sensor[J].China medical engineering,2022,30(6):42-47 (in Chinese with English abstract). [百度学术] 

22

李敏.三维激光点云数据的去噪算法研究[J].信息技术与信息化,2022(9):47-50.LI M.Research on denoising algorithms for 3D laser point cloud data[J].Information technology and informatization,2022 (9):47-50 (in Chinese without English abstract). [百度学术] 

23

VAZQUEZ-ARELLANO M,GRIEPENTROG H W,REISER D,et al.3D imaging systems for agricultural applications:a review[J/OL].Sensors,2016,16(5):618[2023-08-01].https://doi.org/10.3390/s16050618. [百度学术] 

24

DAVIES E.The application of machine vision to food and agriculture:a review[J].The imaging science journal,2009,57(4):197-217. [百度学术] 

25

CONDOTTA I C,BROWN-BRANDL T M,PITLA S K,et al.Evaluation of low-cost depth cameras for agricultural applications[J/OL].Computers and electronics in agriculture,2020,173:105394[2023-08-01].https://doi.org/10.1016/j.compag.2020.105394. [百度学术] 

26

THILAKARATHNE B L S,RAJAGOPALAN U M,KADONO H,et al.An optical interferometric technique for assessing ozone induced damage and recovery under cumulative exposures for a Japanese rice cultivar[J].Springer plus,2014,3(1):1-12. [百度学术] 

27

TIAN H,WANG T,LIU Y,et al.Computer vision technology in agricultural automation:a review[J].Information processing in agriculture,2020,7(1):1-19. [百度学术] 

28

WANG T,CHEN B,ZHANG Z,et al.Applications of machine vision in agricultural robot navigation:a review[J/OL].Computers and electronics in agriculture,2022,198:107085[2023-08-01].https://doi.org/10.1016/j.compag.2022.107085. [百度学术] 

29

SCHOFIELD C.Evaluation of image analysis as a means of estimating the weight of pigs[J].Journal of agricultural engineering research,1990,47:287-296. [百度学术] 

30

VAN DER STUYFT E,SCHOFIELD C,RANDALL J M,et al.Development and application of computer vision systems for use in livestock production[J].Computers and electronics in agriculture,1991,6(3):243-265. [百度学术] 

31

SCHOFIELD C,MARCHANT J,WHITE R,et al.Monitoring pig growth using a prototype imaging system[J].Journal of agricultural engineering research,1999,72(3):205-210. [百度学术] 

32

FROST A,SCHOFIELD C,BEAULAH S,et al.A review of livestock monitoring and the need for integrated systems[J].Computers and electronics in agriculture,1997,17(2):139-159. [百度学术] 

33

MARCHANT J,SCHOFIELD C,WHITE R.Pig growth and conformation monitoring using image analysis[J].Animal science,1999,68(1):141-150. [百度学术] 

34

DOESCHL A,GREEN D,WHITTEMORE C,et al.The relationship between the body shape of living pigs and their carcass morphology and composition[J].Animal science,2004,79(1):73-83. [百度学术] 

35

CHEN J,PENG Y,TIAN F,et al.An imaging system for monitoring livestock growth based on optical vision technology[C]//American Society of Agricultural and Biological Engineers Annual International Meeting 2013.July 21-24,2013,Kansas City,Missouri,USA.Michigan:ASABE,2013:444-449. [百度学术] 

36

TIAN F,PENG Y,CHEN J,et al.Development of machine vision system to detect meat mass of pig prior to slaughtering[C]//American Society of Agricultural and Biological Engineers Annual International Meeting 2014.July 13-16,2014,Quebec,Canada.Michigan:ASABE,2014:2244-2249. [百度学术] 

37

李卓,杜晓冬,毛涛涛,等.基于深度图像的猪体尺检测系统[J].农业机械学报,2016,47(3):311-318.LI Z,DU X D,MAO T T,et al.Pig dimension detection system based on depth image[J].Transactions of the CSAM,2016,47(3):311-318(in Chinese with English abstract). [百度学术] 

38

SHI C,TENG G,LI Z.An approach of pig weight estimation using binocular stereo system based on LabVIEW[J].Computers and electronics in agriculture,2016,129:37-43. [百度学术] 

39

SHI C,ZHANG J,TENG G.Division of pig growth stages according to body component variation using computer vision[J].Pakistan journal of zoology,2020,52(3):1071-1078. [百度学术] 

40

SHI C,ZHANG J,TENG G.Mobile measuring system based on LabVIEW for pig body components estimation in a large-scale farm[J].Computers and electronics in agriculture,2019,156:399-405. [百度学术] 

41

WU J,TILLETT R,MCFARLANE N,et al.Extracting the three-dimensional shape of live pigs using stereo photogrammetry[J].Computers and electronics in agriculture,2004,44(3):203-222. [百度学术] 

42

CONDOTTA I C,BROWN-BRANDL T M,SILVA-MIRANDA K O,et al.Evaluation of a depth sensor for mass estimation of growing and finishing pigs[J].Biosystems engineering,2018,173:11-18. [百度学术] 

43

OKAYAMA T,KUBOTA Y,TOYODA A,et al.Estimating body weight of pigs from posture analysis using a depth camera[J/OL].Animal science journal,2021,92(1):e13626[2023-08-01].https://doi.org/10.1111/asj.13626. [百度学术] 

44

LI G,LIU X,MA Y,et al.Body size measurement and live body weight estimation for pigs based on back surface point clouds[J].Biosystems engineering,2022,218:10-22. [百度学术] 

45

PEZZUOLO A,GUARINO M,SARTORI L,et al.On-barn pig weight estimation based on body measurements by a Kinect v1 depth camera[J].Computers and electronics in agriculture,2018,148:29-36. [百度学术] 

46

WANG K,GUO H,MA Q,et al.A portable and automatic Xtion-based measurement system for pig body size[J].Computers and electronics in agriculture,2018,148:291-298. [百度学术] 

47

SHI S,YIN L,LIANG S,et al.Research on 3D surface reconstruction and body size measurement of pigs based on multi-view RGB-D cameras[J/OL].Computers and electronics in agriculture,2020,175:105543[2023-08-01].https://doi.org/10.1016/j.compag.2020.105543. [百度学术] 

48

HU H,YU J,YIN L,et al.An improved PointNet++ point cloud segmentation model applied to automatic measurement method of pig body size[J/OL].Computers and electronics in agriculture,2023,205:107560[2023-08-01].https://doi.org/10.1016/j.compag.2022.107560. [百度学术] 

49

GUO H,MA X,MA Q,et al.LSSA_CAU:an interactive 3D point clouds analysis software for body measurement of livestock with similar forms of cows or pigs[J].Computers and electronics in agriculture,2017,138:60-68. [百度学术] 

50

LI K,TENG G.Study on body size measurement method of goat and cattle under different background based on deep learning[J/OL].Electronics,2022,11(7):993[2023-08-01].https://doi.org/10.3390/electronics11070993. [百度学术] 

51

NARVAEZ F Y,REINA G,TORRES-TORRITI M,et al.A survey of ranging and imaging techniques for precision agriculture phenotyping[J].Transactions on mechatronics,2017,22(6):2428-2439. [百度学术] 

52

李孟飞,康熙,王彦超,等.基于阈值分析的曲线拟合和边缘检测生猪侧视点云补全[J].农业机械学报,2021,52(S1):81-88.LI M F,KANG X,WANG Y C,et al.Side-view point cloud completion method combining cubic B-spline curve fitting and edge detection based on threshold analysis [J].Transactions of the CSAM,2021,52(S1):81-88(in Chinese with English abstract). [百度学术] 

53

VRANIC D V,SAUPE D,RICHTER J.Tools for 3D-object retrieval:Karhunen-Loeve transform and spherical harmonics[C].2001 IEEE Fourth Workshop on Multimedia Signal Processing(Cat.No.01TH8564).Cannes,France.New York:IEEE,2002:293-298. [百度学术] 

54

PAPADAKIS P,PRATIKAKIS I,PERANTONIS S,et al.Efficient 3D shape matching and retrieval using a concrete radialized spherical projection representation[J].Pattern recognition,2007,40(9):2437-2452. [百度学术] 

55

SFIKAS K,THEOHARIS T,PRATIKAKIS I.ROSy+:3D object pose normalization based on PCA and reflective object symmetry with application in 3D object retrieval[J].International journal of computer vision,2011,91(3):262-279. [百度学术] 

56

BEVILACQUA V,ANDRIANI F,MASTRONARDI G.3D head pose normalization with face geometry analysis,genetic algorithms and PCA[J].Journal of circuits,systems,and computers,2009,18(8):1425-1439. [百度学术] 

57

SFIKAS K,THEOHARIS T,PRATIKAKIS I.Pose normalization of 3D models via reflective symmetry on panoramic views[J].The visual computer,2014,30:1261-1274. [百度学术] 

58

HEJRATI M,RAMANAN D.Categorizing cubes:revisiting pose normalization[C]//2016 IEEE winter conference on applications of computer vision(WACV).March 7-10,2016,Lake Placid,NY,USA.New York:IEEE,2016:1-9. [百度学术] 

59

ZHANG M,ZHANG L,MATHIOPOULOS P T,et al.Perception-based shape retrieval for 3D building models[J].ISPRS journal of photogrammetry and remote sensing,2013,75:76-91. [百度学术] 

60

FARRUGIA T,BARBARAR J.Pose normalisation for 3D vehicles[C]//AZZOPARDI G, PETKOV N.International conference on computer analysis of images and patterns.Cham:Springer International Publishing,2015:235-245. [百度学术] 

61

王可,郭浩,刘威林,等.基于点云旋转归一化的猪体体尺测点提取方法[J].农业工程学报,2017,33(S1):253-259.WANG K,GUO H,LIU W L,et al.Extraction method of pig body size measurement points based on rotation normalization of point cloud[J].Transactions of the CSAE,2017,33(S1):253-259(in Chinese with English abstract). [百度学术] 

62

GUO H,LI Z,MA Q,et al.A bilateral symmetry based pose normalization framework applied to livestock body measurement in point clouds[J].Computers and electronics in agriculture,2019,160:59-70. [百度学术] 

63

RUCHAY A,KOBER V,DOROFEEV K,et al.Accurate body measurement of live cattle using three depth cameras and non-rigid 3D shape recovery[J/OL].Computers and electronics in agriculture,2020,179:105821[2023-08-01].https://doi.org/10.1016/j.compag.2020.105821. [百度学术]