基于激光雷达和Kinect相机点云融合的单木三维重建

彭孝东，何静，时磊，赵文锋，兰玉彬; PENG Xiaodong; HE Jing; SHI Lei; ZHAO Wenfeng; LAN Yubin

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

基于激光雷达和Kinect相机点云融合的单木三维重建 PDF

- ORCID：
彭孝东 ^1,2,3
✉
- ORCID：
何静 ^1,2
- ORCID：
时磊 ^1,2
- ORCID：
赵文锋 ^1,3
- ORCID：
兰玉彬 ^1,2
✉

1. 华南农业大学电子工程学院(人工智能学院),广州 510642； 2. 国家精准农业航空施药技术国际联合研究中心,广州 510642； 3. 农村农业部华南智慧农业公共研发中心,广州 510520

中图分类号： TP391.4

最近更新：2023-03-31

DOI：10.13300/j.cnki.hnlkxb.2023.02.028

摘要

为了更好地建立单木三维彩色模型，获得准确表型参数，提出了一种基于Kinect v2相机和激光雷达的单木点云信息融合检测方法。首先由激光雷达采集樱树单木所在区域的完整环境点云，生成点云地图；由Kinect相机采集樱树单木多视角点云得到完整的三维彩色点云；然后以激光雷达点云位置为基准，通过选取对应同名点的方式对2种点云进行初始配准，使点云之间具有良好的初始位置关系，再使用最近点迭代（iterative closest point， ICP）算法对点云进行精配准；最后使用彩色点云对雷达点云进行点云着色融合处理，实现樱树单木的三维重建。结果显示：与只使用Kinect v2相机生成的樱树单木表型参数对比，融合后的樱树单木的株高、冠幅和胸径的平均相对误差分别降低了1.52、6.46和18.17个百分点。研究结果表明，Kinect v2深度彩色相机和激光雷达在单木三维重建上能实现优势互补，提升点云配准精度，同时，既能降低光照气候条件的影响，又能增加测量距离，单木表型参数更准确。

关键词

Kinect相机; 激光雷达; 三维点云; 点云融合; 冠层特征信息; 作物表型检测; 数字果园; 精准农业

随着计算机技术的发展，激光雷达和Kinect相机等高精度传感器在三维重建方面的应用越来越广泛^［

1］，并逐步应用于农林作物的三维重建，为农林作物表型监测提供了新方法^{［参考文献 2

百度学术}2］。目前Kinect相机基于点云的单木三维重建逐渐成为研究热点之一。研究表明，使用Kinect相机采集单木图像信息进行树木表型研究，发现Kinect相机具有短距离内精度高、能获取环境色彩信息和深度信息等优点，但也有拍照视距短和光照要求高的劣势^{［参考文献 3-4}3-4］。激光雷达则具备探测范围广和不易受光照条件影响的特点，也广泛应用于单木三维重建。通过激光雷达获取单木点云信息对单木三维信息进行研究，虽然能获得较精确的三维参数，但却无法获取色彩信息^{［参考文献 5-7}5-7］。显然，将Kinect相机和激光雷达融合能实现二者的优势互补^{［参考文献 8

百度学术}8］。多传感器融合（multi sensor fusion，MSF）通过获得空间或时间上的多传感器数据信息，从多信息的视角进行数据获取、表示、处理和优化，在一定准则下进行协调、组合、互补来克服单一传感器的不确定性和局限性，得到各种信息的内在联系和规律，进而实现相应的决策和估计，使系统获得比单一传感器更充分的信息，最终实现信息的优化^{［参考文献 9-10}9-10］。通过激光信息和视觉信息的融合，实现对道路、植株及大型建筑等多种对象的三维重建，有效抑制了相机强光干扰，完善了激光点云信息，使重建结果更完整^{［参考文献 11-15}11-15］。因此，将多传感器融合应用于农林作物的表型监测、三维重建上比单一传感器会有更精确有效的结果。

本研究以Kinect v2相机（以下简称Kinect相机）和激光雷达为主要设备，结合二者数据优势，以樱树单木为研究对象，提出一种基于激光雷达和Kinect相机的单木点云三维信息融合方法，旨在为后续单木表型特征研究提供三维重建基础，为数字果园发展提供技术支撑。

1 材料与方法

1.1 试验设备

1）激光雷达。试验采用的激光雷达为美国Velodyne公司的VLP-16机械式激光雷达。激光雷达发射16束激光获得360°水平视场角和30°垂直视场角的三维空间点云信息，测量百米范围内的目标场景时精度可达 3 cm，水平方向角度分辨率0.1°~0.4°。

2）Kinect v2相机。本研究使用的相机型号为Kinect 2.0，该相机是Microsoft公司于2014年发布的一款RGB-D相机，能同时获得彩色图像和深度图像。其中，彩色相机可以获得当前场景的RGB色彩信息，深度相机可以获得每个像素的深度信息。彩色图像和深度相机分辨率分别为1 920像素×1 080像素、512像素×424像素，视场角为84°×54°和70°×60°。深度分辨率高达1 mm，测量范围为0.5~4.5 m。

1.2 试验环境

试验场地位于广东省广州市天河区内一片20 m×50 m成行种植的樱树林中，属于亚热带季风气候，适合樱树生长。为降低光照对Kinect相机的影响，室外试验选取阴天无风条件下进行。Kinect相机获取彩色图像和深度图像数据，激光雷达获取场景的激光点云数据，PC端进行数据采集和处理，如图1所示。试验总体流程图如图2所示，首先使用Kinect相机采集果树多角度的彩色图像和深度图像，以这2种图像为基础生成彩色点云，在经过多角度点云配准和去噪等预处理之后得到和真实果树一致的彩色点云。然后使用16线激光雷达基于LeGO-LOAM方法对试验场景进行整体建图，得到试验场景的三维地图点云，再经过点云去噪等预处理后得到完整的果树点云。最后将Kinect获得的点云和激光雷达获得的点云进行多源点云配准融合处理，处理后获得完整的樱树单木彩色点云，实现了对果树特征的数字化描述，在构建的点云中能直接获取株高、冠幅和胸径等表型特征。此外，也在实验室环境下设置了预试验，选取实验室内的仿真树为目标对象，在无风自然光条件下进行数据采集。

图1 试验场景

Fig.1 Experimental scene

1.目标树 Target tree； 2.Kinect相机 Kinect camera； 3.激光雷达Lidar； 4.PC端 The PC.

图2 点云融合流程图

Fig.2 Point cloud fusion flowchart

1.3 试验原理

1）使用Kinect的樱木3D点云获取。Kinect相机是一种广泛应用的消费级RGB-D相机，能同时获取目标的色彩信息以及每个像素点的深度信息。由于彩色相机和深度相机均采用针孔相机模型，因此需要对相机进行标定来提高配准精度。依据Zhang^［

16］的标定法制作棋盘格，在同一试验场景下同时采集深度相机和彩色相机的棋盘格图像，将采集到的彩色图像和深度图像使用Mahtlab软件进行坐标系转换，得到深度相机和彩色相机之间的相对变换矩阵。图像中任意点的三维坐标（x， y， z）可根据对应的深度信息得到，对于深度图中的任意像素点（x_d， y_d），其三维坐标计算如下：

\{\begin{array}{l} x = \frac{(x_{d} - c_{x d}) \times d e p t h (x_{d}, y_{d})}{f_{x d}} \\ y = \frac{(y_{d} - c_{y d}) \times d e p t h (x_{d}, y_{d})}{f_{y d}} \\ z = d e p t h (x_{d}, y_{d}) \end{array}

（1）

式（1）中， $d e p t h (x_{d}, y_{d})$ 为该像素点所对应的深度值， $(c_{x d}, c_{y d})$ 为图像光心坐标， $f_{x d}$ 、 $f_{y d}$ 为相机焦距。

标定后得到相机的内参数、外参数和畸变参数。用内参数和畸变参数消除相机畸变，得到校正后的彩色图像和深度图像。由外参数实现2种图像的对齐，得到同一视角场景下的三维彩色点云数据。

在使用Kinect相机进行数据采集时，共采集6个方向的数据。对Kinect彩色点云配准融合前需要对采集的数据进行预处理，依次进行以下5个步骤：①删除背景和地面等冗余点云；②配准多角度Kinect彩色点云生成樱树单木彩色点云；③对樱树单木彩色点云进行滤波去噪；④对Kinect彩色点云进行点云平滑；⑤对Kinect彩色点云进行点云下采样^［

17-18］。

原始的彩色点云中存在冗余背景信息以及少量的噪声，因此需要先去除背景和噪声，在预处理阶段使用直通滤波算法和欧式聚类算法^［

19］去除Kinect彩色点云和激光雷达点云的背景信息。在去除背景信息和噪声后，只剩下目标樱树单木的三维点云。由于Kinect相机视场角有限，需多次拍摄才能获得完整图像信息，本研究采用60 °间隔共6次环绕拍摄，融合后得到完整的目标樱树单木的三维彩色点云，并通过滤波去噪消除无效离群点。试验结果表明，使用的统计离群移除算法结合半径滤波算法的效果最好。Kinect相机生成的点云在一些细节上会存在误差，导致点云的表面不平滑，可使用最小二乘法对点云进行平滑处理。多帧点云融合后点云数量增加会导致后续与激光雷达点云配准时运行速度变慢，因此，需先对Kinect点云进行下采样处理，加速后续处理速度。三维激光雷达生成的地图点云也需要进行背景分割、滤波去噪和点云平滑，以得到目标樱树单木的三维点云，处理过程和Kinect彩色点云处理方法基本类似。

2）激光雷达数据采集与处理。Velodyne VLP-16激光雷达通过激光连续对不同方位进行扫描获得整个场景的成像，扫描原理如图3所示。

图3 激光雷达扫描原理图

Fig.3 Schematic diagram of lidar scanning

点云Q是激光雷达扫描得到的三维点 $\{P_{i} = [x_{i}, y_{i}, z_{i}, I], P_{i} \in Q\}$ 的集合。每个点包含1个相对于传感器中心的三维坐标向量 $(x_{i}, y_{i}, z_{i})$ ，以及1个相关的特征向量I，即激光器的反射强度。计算点 $P_{i}$ 的三维坐标向量：

\{\begin{array}{l} x_{i} = L c o s (w) c o s (ϕ) \\ y_{i} = L c o s (w) s i n (ϕ) \\ z_{i} = L s i n (w) \end{array}

（2）

式（2）中，w为激光器在垂直方向上的俯仰角， $ϕ$ 为原始测量数据中绕Z轴的旋转角度，L为激光雷达扫描得到的点距。

为了获得目标当前所在场景激光雷达点云，本研究使用LeGO-LOAM框架对点云进行建图，激光雷达顺着樱树的种植行“之”字形路径来回采集数据。将激光雷达采集的包含目标樱树单木的数据通过LeGO-LOAM方法生成完整的三维树林点云地图。LeGO-LOAM框架是LOAM的改进版，LeGO-LOAM相对于LOAM的提升主要在于轻量级和地面优化，其核心在于4个部分，分别是分割、特征提取、雷达里程计和建图。LeGO-LOAM框架的建图流程如图4所示，具体为：（1）分割模块将1帧点云重投影到图像中进行地面分割，将非地面点分割出来。（2）特征提取模块对非地面点云使用和LOAM同样的方法提取边缘点和平面点。（3）雷达里程计模块基于提取的特征点，使用2次优化算法（Levenberg-Marquardt algo，LM）进行优化处理，得到姿态变换矩阵。（4）建图模块将得到的特征点进一步处理，建立2帧点云间的约束关系，构建全局地图。

图4 LeGO-LOAM建图流程

Fig.4 LeGO-LOAM drawing process

3）Kinect彩色点云和激光点云融合。完成点云预处理后需要对点云进行配准，将两类点云融合在一起。首先对两类点云同名点进行粗配准；其次使用ICP算法进行精细配准；最后将Kinect彩色点云的颜色融合到激光雷达点云中。

目前的点云配准算法中应用最为广泛的是Besl等^［

20］提出的ICP算法，该算法对重叠率较高的点云有精确的配准效果，但对点云的初始位置要求较高，对数据量较大的点云配准速度较慢。本研究在处理前对Kinect彩色点云进行了体素下采样，在保证点云原有特征的同时降低点云数量。采用同名点匹配的粗配准方法，提高2种点云的重叠率，实现优化点云初始位置的目标，精配准时不易陷入局部最优解，使ICP算法更好的完成。

①粗配准。点云配准过程包括粗配准和精配准2个步骤。粗配准目的是空间对齐激光雷达输出和Kinect相机点云的数据^［

21］。获得数据后，选取对应点云的同名点，将同名点对齐即可对数据进行粗配准，后续进行精配准即可。传感器设置三维示意图如图5所示，其中目标樱树单木T与激光雷达的距离为D。

图5 传感器放置示意图

Fig.5 Schematic diagram of sensor placement

假设Kinect相机与激光雷达垂直对齐，距离D为：

D = L \cdot c o s β \cdot c o s γ_{L} = R \cdot c o s γ_{K} + Δ x

（3）

Δ y = L \cdot c o s β \cdot s i n γ_{L} - R \cdot c o s α \cdot s i n γ_{K}

（4）

式（3）～（4）中， $Δ x$ 为Kinect相机和激光雷达中心的纵向间隔， $Δ y$ 为Kinect相机和激光雷达中心的水平间隔，L为由激光雷达测量到单木T的距离，R为由Kinect相机测量到目标单木T的距离， $α$ 、 $β$ 分别为由Kinect相机和激光雷达测量的单木T的经度， $γ_{K}$ 、 $γ_{L}$ 分别为由Kinect相机和激光雷达测量的单木T的纬度。

单木T的垂直高度为：

H_{T} = H_{L} - L \cdot s i n β = H_{K} - R \cdot s i n α

（5）

式（5）中，H_K为Kinect相机的垂直高度，H_L为激光雷达的垂直高度，H_T为单木T的垂直高度。

粗配准的目的是找到参数 $Δ x$ 、 $Δ y$ 、H_L和H_K获得旋转矩阵使2种点云在1个坐标系下，提供较好的初始迭代位置。

②ICP精配准。ICP算法的实质是点与点之间的匹配，对点云集进行旋转和平移，以最小二乘为基础的最优化配准，直至点与点之间的距离达到预先设定的阈值。寻找1组旋转矩阵R和平移向量T使其匹配误差收敛，已知2个待配准点云P和Q，点云P中的点P_i从点云Q中查找距离P_i欧氏距离最小的点Q_i，并以P_i和Q_i作为对应点对获取变换矩阵，剔除一些距离较远的点对，不断迭代运算，极小化误差函数，使得多次迭代后得到的目标函数最小，最终得到最优变换矩阵，使两点云重合。点云P和点云Q的坐标形式为：

\{\begin{array}{l} P = {P_{i} \in R, i = 1,2, \cdot \cdot \cdot, N_{P}} \\ Q = {Q_{i} \in R, i = 1,2, \cdot \cdot \cdot, N_{q}} \end{array}

（6）

P和Q的均方匹配误差为：

f (R, T) = \frac{1}{N_{P}} \sum_{i = 1}^{N_{P}} {‖Q_{i} - (P_{i} R + T)‖}^{2}

（7）

使得函数f收敛的旋转矩阵R和平移向量T即为所求。

1.4 单木表型参数计算流程

1）株高计算流程。提取校准过坐标系的单木点云，地面即为XOY平面。对所有的点云进行遍历，查找Z值最大的点云，Z值即为室内仿真柑橘树的高度。

2）冠幅计算流程。通过最小外接矩方式获取单木点云在X、Y、Z轴方向上的长度，分别对应目标的东西方向长度、南北方向长度和高度。相对柑橘树来说，冠幅的计算方式就是最小外接矩的X轴或者Y宽度，本研究选取X轴方向上的宽度作为冠幅。

3）胸径计算流程。以地面即XOY平面作为基准面，在Z轴正方向上50 cm设置阈值，只保留地面以上50 cm的点云，点云顶端截面上X轴最大值和最小值的差值即为胸径的大小。

2 结果与分析

2.1 点云预处理

Kinect相机采集的彩色图像和深度图像如图6A、6C所示，标定后的彩色图像和深度图像结果如图6B、6D所示。从图6可知，校正后的图片在边框附近出现了明显的变化，图像内容更加真实，径向畸变和切向畸变得以校正。

图6 Kinect相机采集的数据

Fig.6 Data collected by the Kinect camera

A：彩色图像Color image；B：标定后的彩色图像Color image after calibration；C：深度图像Depth image；D：标定后的深度图像Depth image after calibration.

使用仿真树进行预试验，仿真树株高1.7 m，冠层直径1.6 m。其中，图7A为Kinect生成的1帧点云图像，图7B为使用欧式聚类和直通滤波后分离出的单木点云图像。

图7 Kinect彩色点云背景分割结果

Fig.7 Kinect color point cloud background segmentation result

A：分割前点云Point cloud before segmentation；B：分割后点云Point cloud after segmentation.

图8A、B为使用Kinect相机位于不同方向拍摄同一株仿真树的点云（已去除背景），图8C表示相邻2帧点云配准的效果图。可以看出2帧点云配准效果良好，证明ICP方法配准可以适用于本研究环境，但Kinect彩色点云在边缘处有明显噪点，后续配准完成后可进行滤波去噪。多帧点云配准完整结果如图9所示，其中图9A为多帧点云融合位置示意图，不同颜色代表不同角度获取的点云，还原整体色彩点云如图9B所示。通过和实际的颜色相比，色彩还原度较好，枝叶清晰可见，符合需求，但噪点较多，后期与雷达点云配准前需要进行预处理。

图8 部分不同角度点云配准效果图

Fig.8 Partial effect of point cloud registration from different angles

A：1帧点云The frame of a point cloud；B：旋转30°后另1帧点云Another frame of point cloud after 30° rotation；C：配准后点云Point cloud after registration.

图9 总体融合效果图

Fig.9 Overall fusion effect diagram

A：多帧点云融合结果 Multi-frame point cloud fusion results； B：整体彩色点云 Overall color point cloud.

仿真树的点云在进行去噪后，虽然直观的特征更加明显，但是表面的点云还是不平整的，存在很多凹凸不平的点，如图10A所示。试验发现点云平滑参数设置为0.02 m时结果最好，平滑处理后，粗糙不平的表面点云会变得平整光滑且不会变形，如图10B所示。点云平滑过程的拟合函数会将部分点云的坑洞进行填补，让点云看起来平整。对图10A、B分别截取部分进行对比，能明显看出处理后的点云更加平滑集中，果实信息也更加明显，对噪声有明显抑制作用，有利于后续处理。

图10 点云平滑处理前后效果对比

Fig.10 Comparison of the effect before and after point cloud smoothing

A：去噪结果 Denoising result； B：平滑处理后点云 Point cloud after smoothing.

仿真树点云在经过前面的处理步骤后已经能很好地显示，利用前面处理得到的点云进行特征提取能够很好地保存仿真树的三维特征信息，但点云往往是无序存在的，直接提取特征会消耗大量的计算资源，尤其是在对邻域的搜索过程上，因此，需对点云进行下采样处理。经过处理后，点云的数量会大大减少，但并不会影响到点云隐含的三维特征。在进行下采样处理时，发现体素值的大小设置为0.01 m时稀疏效果最好，能在不影响点云特征的情况下尽可能减少点云数量。处理后结果对比示意图如图11所示。图11A仿真树处理前点云的数量为190 397，图11B处理后点云的数量为42 867，点云数量仅为处理前的22.5%。这对于后续的计算速度会有极大的提升，对比图11C，将图11B中点云等比例缩小后与原点云状态一致，并未改变其特征，因此，方法适用于本研究点云预处理。

图11 下采样处理前后对比

Fig.11 Comparison before and after sampling

A：处理前效果 Effect before treatment； B：处理后效果 The effect after treatment； C：等比例缩小结果 Equal scale reduction results.

2.2 点云配准

以仿真树为例，先对处理后的激光雷达无色点云和Kinect彩色点云进行配准，再将彩色点云中的颜色融合到激光雷达的点云上，实现点云着色，最后合并2个点云，实现完整仿真树点云的融合。图12A为实际场景中目标仿真树图像，图12B为激光雷达地图点云预处理后的仿真树结果图，图12C为Kinect融合并预处理后的仿真树彩色点云。

图12 待配准点云

Fig.12 Point cloud to be registered

A：实物图 Real figure； B：雷达点云预处理结果 Lidar point cloud preprocessing results； C： Kinect点云预处理结果 Kinect point cloud preprocessing results.

以激光雷达点云为基点，配准Kinect点云转换到雷达点云坐标。如图13所示，红色点云为激光雷达点云，蓝色点云为未配准时初始Kinect点云位置。图13A表示融合后Kinect彩色点云融合在激光雷达点云场景下位置变化的俯视图，可以看出Kinect彩色点云较好地融合在当前雷达点云场景中。图13B表示Kinect点云较初始位置变化对比侧视图。图14A展示了配准结果，红色点为激光雷达点云，由于视角问题，部分雷达点云被彩色点云覆盖，可以看出配准结果较好。完成初步配准后使用ICP配准法进一步完善融合结果，并使用统计滤波去除不匹配噪点，再基于近邻搜索算法匹配融合点云颜色，最终融合结果如图14B所示。

图13 融合位置对比图

Fig.13 Comparison of fusion positions

A：配准场景结果 Result of registration scenario； B：雷达点云配准前后位置 Location of the lidar point cloud before and after registration.

图14 点云融合结果

Fig.14 Point cloud fusion results

A：配准结果 The registration result； B：融合结果 The fusion result.

2.3 融合结果精度分析

由于仿真树不规则，不容易进行精确地量化比较，本研究分别将10个大小不同的规则长方体以不同距离放置在相机前面进行测量。比较由Kinect相机预处理后的点云和使用本研究融合算法后的点云，解算结果显示：当采集距离为1.5 m时，Kinect获取点云精度误差为16.97%，本研究融合算法得出的相对误差为8.08%；当采集距离为3 m时，Kinect获取点云精度误差为22.3%，本研究融合算法得出的相对误差为13.97%。显然，相对单一Kinect相机，相对精度平均提升8.89个百分点；采集距离为3 m时精度平均提升8.31个百分点。总体而言，融合结果的精度相对单一的Kinect相机结果得到了提升，平均提升4.26个百分点。

测量结果和实际结果如图15所示，可以看出当测量距离较近时精度较高，这是因为距离较远时，由于Kinect自身结构缺陷，导致误差在后续数据处理时被放大或缩小。本研究融合算法能在一定程度上提高测量准确度，融合后的点云特征更接近人工实际测量值，说明本研究的方法可取得良好的融合效果。

图15 不同数据精度比较

Fig.15 Comparison of different data precisions

2.4 室外试验

仿真树预试验验证了本方法的可行性，本研究以樱树单木为研究对象，对室外樱树进行樱树单木测量。通过SLAM方法生成的场景三维地图点云如图16A所示，选择其中1行樱树为试验对象，如图16B所示共计10棵，蓝色为选定目标樱树单木的点云。将选定区域通过直通滤波分离背景后如图16C所示，再将每棵樱树分别配准Kinect彩色点云，图16D所示为其中1棵樱树的融合结果。图16E为选定区域的10棵樱树融合结果东西方向侧视图，结合生成的三维点云地图融合结果俯视图如图16F所示。

图16 点云预处理过程图

Fig.16 Point cloud pretreatment process diagram

A：激光雷达点云数据 Lidar point cloud data； B：选定区域The selected area； C：选定区域雷达点云侧视图 Side view of radar point cloud in selected area； D：1棵融合结果侧视图 Side view of fusion results of a tree； E：选定区域融合结果侧视图 Side view of fusion result of selected area； F：选定区域融合结果俯视图 Top view of fusion results for selected area.

樱树部分表型参数如图17所示，冠幅为东西方向冠层最宽处长度，株高为单木最高处距离地面高度，胸径为距离地面50 cm处树干直径。图18A~C分别表示10棵树在株高、冠幅和胸径方面的结果对比，其中方块为人工测量的实际值，圆形为单独使用Kinect相机融合的彩色单木点云的结果，三角形为融合Kinect彩色单木点云与激光雷达点云数据的结果。

图17 参数计算示意图

Fig.17 Schematic diagram of parameter calculation

图18 单一Kinect点云数据和融合点云数据的结果对比

Fig.18 Comparison of single Kinect point cloud data and fusion point cloud data

A：株高 Plant height； B：冠幅 Crown amplitude； C：胸径 Diameter at breast height.

从株高测量来看，Kinect彩色点云与人工测量方法相比，试验结果的平均绝对误差为11.4 cm，平均相对误差为4.17%；本研究方法与人工测量方法相比，试验结果的平均绝对误差为6.8 cm，平均相对误差为2.65%。从冠幅测量来看，Kinect彩色点云与人工测量方法相比，试验结果的平均绝对误差为18.1 cm，平均相对误差为8.78%；本研究方法与人工测量方法相比，试验结果的平均绝对误差为4.7 cm，平均相对误差为2.32%。从胸径测量来看，Kinect彩色点云与人工测量方法相比，试验结果的平均绝对误差为1.1 cm，平均相对误差为23.85%；本研究方法与人工测量方法相比，试验结果的平均绝对误差为0.3 cm，平均相对误差为5.68%。从上述计算结果可知，本研究方法较Kinect彩色点云株高、冠幅和胸径的平均相对误差分别降低了1.52、6.46、18.17个百分点。

3 讨论

单木表型参数估测能为果树生长监测、数字果园和智慧农业发展等提供数据支持。本研究以樱树为研究对象，使用基于激光雷达和Kinect相机融合的樱树单木三维点云重建方法，克服单一传感器缺陷，实现优势互补。2种传感器的有效融合不仅提高了樱树单木三维数据信息的精准度，还解决了激光雷达传感器点云色彩信息不完整的问题。试验结果表明，Kinect相机能得到彩色点云，但检测距离有限，光照条件也会影响测量结果。激光雷达则不受光照天气条件影响，同时能远距离测量。Kinect相机融合激光雷达能得到更好的单木三维重建效果。激光雷达生成的地图点云较稀疏，测量时可能会遗漏樱树单木某些特征点的位置信息，且不能得到单木的色彩信息，给完整三维信息的探测带来了困难，结合Kinect相机数据能更好地完善目标各种信息，完成单木三维重建。在后续的研究中可以考虑改进雷达生成地图点云算法，以实现更准确的三维重建效果。

参考文献References

徐焕良，马仕航，王浩云，等.基于几何模型的绿萝叶片外部表型参数三维估测［J］.农业机械学报，2020，51（12）：220-228.XU H L，MA S H，WANG H Y，et al.Three-dimensional estimation of money plant leaf external phenotypic parameters based on geometric model［J］.Transactions of the CSAM，2020，51（12）：220-228（in Chinese with English abstract）. [百度学术]

LUO S Z，WANG C，XI X H，et al.Fusion of airborne LiDAR data and hyperspectral imagery for aboveground and belowground forest biomass estimation［J］.Ecological indicators，2017，73：378-387. [百度学术]

付昱兴，李承明，朱江，等.Alpha-shape算法构建枣树点云三维模型［J］.农业工程学报，2020，36（22）：214-221.FU Y X，LI C M，ZHU J，et al.Three-dimensional model construction method and experiment of jujube tree point cloud using Alpha-shape algorithm［J］.Transactions of the CSAE，2020，36（22）：214-221（in Chinese with English abstract）. [百度学术]

王纪章，顾容榕，孙力，等.基于Kinect相机的穴盘苗生长过程无损监测方法［J］.农业机械学报，2021，52（2）：227-235.WANG J Z，GU R R，SUN L，et al.Non-destructive monitoring of plug seedling growth process based on kinect camera［J］.Transactions of the CSAM，2021，52（2）：227-235（in Chinese with English abstract）. [百度学术]

吴升，赵春江，郭新宇，等.基于点云的果树冠层叶片重建方法［J］.农业工程学报，2017，33（S1）：212-218.WU S，ZHAO C J，GUO X Y，et al.Method of fruit tree canopy leaf reconstruction based on point cloud［J］.Transactions of the CSAE，2017，33（S1）：212-218（in Chinese with English abstract）. [百度学术]

刘刚，张伟洁，郭彩玲.基于动态K阈值的苹果叶片点云聚类与生长参数提取［J］.农业机械学报，2019，50（4）：163-169，178.LIU G，ZHANG W J，GUO C L.Apple leaf point cloud clustering based on dynamic-K-threshold and growth parameters extraction［J］.Transactions of the CSAM，2019，50（4）：163-169，178（in Chinese with English abstract）. [百度学术]

吴志鹏，付威，娄朝霞，等.基于激光雷达的枣树轮廓测量平台的设计与试验［J］.农机化研究，2020，42（12）：52-57.WU Z P，FU W，LOU Z X，et al.Design and test of a lidar-based date tree profile measuring platform［J］.Journal of agricultural mechanization research，2020，42（12）：52-57（in Chinese with English abstract）. [百度学术]

WU Y T，WANG Y Y，ZHANG S W，et al.Deep 3D object detection networks using LiDAR data：a review［J］.IEEE sensors journal，2021，21（2）：1152-1171. [百度学术]

WANG J H，GAO Y. Multi-sensor data fusion for land vehicle attitude estimation using a fuzzy expert system［J］. Data science journal， 2005， 4（1）：127-139. [百度学术]

MOON H S，KIM Y B，BEATTIE R J.Multi sensor data fusion for improving performance and reliability of fully automatic welding system［J］.The international journal of advanced manufacturing technology，2006，28（3/4）：286-293. [百度学术]

GAO H B，CHENG B，WANG J Q，et al.Object classification using CNN-based fusion of vision and LIDAR in autonomous vehicle environment［J］.IEEE transactions on industrial informatics，2018，14（9）：4224-4231. [百度学术]

赵新，李杰，岳丹丹，等.三维激光雷达果园路面不平度采集试验与分析［J］.华中农业大学学报，2022，41（2）：227‐236. The road roughness acquisition test and analysis of three-dimensional lidar orchard pavement［J］.Journal of Huazhong Agricultural University，2022，41（2）：227‐236 （in Chinese with English abstract）. [百度学术]

ZHAO X M，SUN P P，XU Z G，et al.Fusion of 3D LIDAR and camera data for object detection in autonomous vehicle applications［J］.IEEE sensors journal，2020，20（9）：4901-4913. [百度学术]

刘慧，潘成凯，沈跃，等.基于SICK和Kinect的植株点云超限补偿信息融合［J］.农业机械学报，2018，49（10）：284-291.LIU H，PAN C K，SHEN Y，et al.Plant point cloud information fusion method based on SICK and Kinect sensors［J］.Transactions of the CSAM，2018，49（10）：284-291（in Chinese with English abstract）. [百度学术]

史蒲娟，翟瑞芳，常婷婷，等.基于单目视觉和激光扫描技术的油菜植株模型重建及株型参数测量［J］ .华中农业大学学报，2017，36（3）：63-68.SHI P J，ZHAI R F，CHANG T T，et al.3D model generation and phenotypic measurement of rapeseed plant based on monocular vision and laser scanning technology［J］.Journal of Huazhong Agricultural University，2017，36（3）：63-68 （in Chinese with English abstract）. [百度学术]

ZHANG Z.A flexible new technique for camera calibration［J］.IEEE transactions on pattern analysis and machine intelligence，2000，22（11）：1330-1334. [百度学术]

师翊，何鹏，胡少军，等.基于角度约束空间殖民算法的树点云几何结构重建方法［J］.农业机械学报，2018，49（2）：207-216.SHI Y，HE P，HU S J，et al.Reconstruction method of tree geometric structures from point clouds based on angle-constrained space colonization algorithm［J］.Transactions of the CSAM，2018，49（2）：207-216（in Chinese with English abstract）. [百度学术]

王甲福，秦昊.基于八叉树的均值聚类点云精简方法［J］.自动化应用，2019（4）：81-82，99.WANG J F，QIN H.Octal tree-based mean clustering point cloud simplification method［J］.Automation application，2019（4）：81-82，99（in Chinese）. [百度学术]

郭海，樊江川，李英伦，等.基于RGB-D点云的田间原位玉米株高测量试验研究［J］.农机化研究，2021，43（10）：102-109.GUO H，FAN J C，LI Y L，et al.Experimental study on measuring plant height in field based on RGB-D point cloud［J］.Journal of agricultural mechanization research，2021，43（10）：102-109（in Chinese with English abstract）. [百度学术]

BESL P J，MCKAY N D.A method for registration of 3-D shapes［J］.IEEE transactions on pattern analysis and machine intelligence，1992，14（2）：239-256. [百度学术]

ZHOU H，ZHANG J X，GE L Z，et al.Research on volume prediction of single tree canopy based on three-dimensional （3D） LiDAR and clustering segmentation［J］.International journal of remote sensing，2021，42（2）：738-755. [百度学术]

联系我们

电话： 027-87287437，027-87287364
邮政编码： 430070
E-mail：hnlkxb@mail.hzau.edu.cn
地址：武汉市洪山区狮子山街1号

友情链接

期刊订阅 Email Alert 国际标准刊号：ISSN 1000-2421 国外邮发代号：BM 3816 国内刊号：CN 42-1181/S 国内发行代号：38-120