基于BiSeNet的糖心苹果截面糖心特征提取方法

尹治棚，张文斌，赵春林; YIN Zhipeng; ZHANG Wenbin; ZHAO Chunlin

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

基于BiSeNet的糖心苹果截面糖心特征提取方法 PDF

- ORCID：
尹治棚 ¹
✉
- ORCID：
张文斌 ²
✉
- ORCID：
赵春林 ¹

1. 昆明理工大学机电工程学院,昆明 650500； 2. 红河学院工学院/云南省高校高原机械性能分析与优化省重点实验室,蒙自 661199

中图分类号： TP391

最近更新：2023-03-31

DOI：10.13300/j.cnki.hnlkxb.2023.02.026

摘要

为解决因糖心苹果截面糖心特征分布不规则导致的种植过程中对糖心品质评估方法精度低、复杂等问题，以380个糖心苹果作为试验样本，基于BiSeNet模型对苹果糖心特征进行提取与占比计算，分别评估该方法在理论研究与实践研究两方面的多项性能指标，并与FCN、PPLiteSeg与DeepLabV3这3种网络模型进行对比。结果显示，BiSeNet无论是在训练时间还是训练准确度都优于其他3种网络模型，用时130 s，准确率98.36%，交并比85.1%。在实际占比计算中，平均占比计算误差为4.04%，低于其他3种模型，且无较大偏差值。结果表明，基于BiSeNet的糖心苹果截面糖心特征提取方法在提供具体糖心占比的同时，可为糖心苹果的糖心特征等无损检测提供更精确的评估方法和比对目标。

关键词

糖心苹果; BiSeNet; 糖心特征提取; 无损检测; FCN; PPLiteSeg; DeepLabV3; 精准评估

糖心苹果因其糖心的独特口感风味而被大量种植，产量也逐年增加^［

1-2］。苹果内部糖心含量对苹果的种植管理、采摘后的品质划分问题有着重要的意义。目前，种植过程中对于苹果糖心含量评估的方法往往为人工肉眼粗略判别糖心大小，高糖心占比被评定为高品质糖心苹果，低糖心占比定为普通品质。但因苹果内部糖心分布不规则、不连续的特性，导致在研究或种植中无法精确评估苹果糖心质量，对糖心品质评估时误差大，品质划分不准确。比如，使用肉眼观察很容易受到形状与分布不同的干扰，产生极大的误差；运用传统灰度、聚类分解、分水岭等色彩分解法难以使果核部分、果肉边缘氧化部分与糖心等颜色接近的部分分离，同时也无法去除光照因素干扰。这使得对比多个复杂形状糖心的占比大小成为了难题，而在此基础上的具体占比值更是难以通过人工识别。

随着糖心苹果研究的日渐深入，对苹果内部糖心含量等指标进行无损检测需要更精确的方法来验证。因此，目前在缺乏相关糖心含量精确评估方法的前提下，需要一种更简单、直观、精确、低成本的验证方法，以获得同批次糖心苹果的内部品质指标。

在现有的研究中，对苹果截面糖心含量进行评估较为准确的仅有全卷积神经网络（FCN，fully convolutional networks ）方法，但在Peng等^［

3］的试验中对于苹果糖心部分提取的平均交并比指标（MIoU，mean intersection over union）仅为73.7，实际运用仍有不足。旷视科技在2018年提出了一种具有实时双边语义分割能力的网络模型：BiSeNet。BiSeNet与传统的单通道网络相比，包含一个小步长的空间路径与一个快速下采样的语义路径。其中，小步长的空间路径可通过保留空间位置信息生成较高分辨率的特征图，快速下采样的语义路径则可获得可观的感受野，兼顾了特征准确度和较快的运算速度^{［参考文献 5

百度学术}5］。在实际应用中，BiSeNet也可很好地进行分割工作，例如张育敬等^{［参考文献 4

百度学术}4］使用BiSeNet完成了轻量级的水利分割，戴牧宸等^{［参考文献 5

百度学术}5］使用BiSeNet对海岸线图像完成了很好的提取，于蒙等^{［参考文献 6

百度学术}6］运用BiSeNet对室内障碍物进行了分割处理，较好完成了目标。

因此，本研究基于BiSeNet模型对糖心苹果截面的糖心特征进行提取，并在实际应用中与具有良好表现的FCN、PPLiteSeg与空洞卷积（DeepLabV3）模型^［

7-13］从理论与实践两方面进行评价指标对比，分析各模型在理论与实际应用中的优劣，以探究更好的糖心特征提取方法，旨在为糖心苹果的品质划分、无损检测中的糖心含量验证提供相对精确、可靠、快捷的参考方案。

1 材料与方法

1.1 试验材料和处理方法

试验样本为产自云南省红河哈尼族彝族自治州蒙自市的380个新鲜采摘的糖心苹果。为保证试验方法的可移植性，苹果大小不做相应限制。

参考常汉^［

14］的试验方法，采用380个苹果样本进行检验，结果表明苹果果核种子的纵向高度一般位于苹果中部或者偏下位置；糖心位置一般位于果核周围，且鲜有高于果柄根部以上，如图1黑虚线所示。糖心在黑虚线以下往往呈先递增后递减趋势。为避免横切时苹果种子以及位置过于偏下导致糖心特征体现不佳的问题，本研究选择在偏苹果最大果径上方与偏果柄根部下方黑实线位置进行横切以获得最大糖心横切面积。黑实线与横切效果如图1所示。在采集到截面图片后，对图片进行一定的降噪处理，以去除光线以及噪点干扰。

图1 苹果横切面（A）和纵切面（B）示意图

Fig.1 Apple horizontal（A） and vertical section（B） diagram

黑虚线表示糖心纵向分布分割线 Black dotted line indicates watercore longitudinal distribution segmentation line；黑实线表示实验横切位置线 Black solid line indicates experimental crosscutting position.

1.2 实验平台

实验环境为Pytorch1.12.1、Cuda11.6、Python3.9；处理器为英特尔酷睿I7-11800H；内存16 G 3 200 MHz；GPU NVIDIA RTX3070 Laptop，显存8 G。

1.3 试验方法与技术路线

将获得的380个苹果样本进行横切，对每1个单独的苹果样本拍摄1张分辨率为512像素×512像素的截面图片，并将拍摄的截面图片进行初步的颜色聚类分解与灰度处理，提取近似的糖心部分特征，再经过人工纠正修改获得真实值图片。将380个样本划分为270张训练集、80张验证集、30张后续验证评估。

分别使用BiSeNet、FCN、DeepLabV3、PPLiteSeg对相同批次的糖心截面进行语义分割训练，对比各个模型的训练时间、训练准确率、训练Loss值；通过训练好的模型对全新的糖心苹果截面图进行分割验证，计算通过各方法分割获得的糖心截面占比，然后对比各方法的准确率；最后通过对比各方法的优缺点，得出糖心苹果截面的最优糖心分割模型。本研究的技术路线与内容如图2所示。

图2 试验技术路线

Fig.2 Experimental technical route

本研究分为理论研究与实验研究两部分，采用全卷积神经网络（FCN）、空洞卷积（DeepLabV3）、PPLiteSeg与BiSeNet分别进行训练或计算。由于各个神经网络模型在训练数达到1 000之后，后续的训练数继续提升对于模型准确率的提升较小，所以各个模型的训练数均设置为1 000，batch-size均为4。训练后，评估各个模型的训练时间、可视化准确率变化，进一步评估模型MIoU。经理论研究后使用30张测试图片对训练出的模型进行实际验证，根据各种方法得出的结果图，再进行糖心占比计算，评估各种模型的验证时间及实际占比，计算准确度。其中BiSeNet模型对于苹果截面的运算流程如图3所示。

图3 BiSeNet运算流程图

Fig.3 BiSeNet operation flow

1.4 模型评价指标

1）训练时间。训练时间是指模型迭代一定次数所需的时间，相对训练时间越短且训练量越大的情况下，模型的优势越明显。

2）准确率。准确率是指模型的精度指标。

3）交叉熵损失。本研究采用的Loss函数均为交叉熵损失。交叉熵主要是用来判定实际输出值与期望输出值的接近程度。交叉熵的值越小表明与真实值越接近。交叉熵损失计算公式见式（1）：

H (p, q) = - \sum_{x} (p (x) l o g q (x))

(1)

其中， $p$ 为期望输出值， $q$ 为实际输出值， $x$ 为样本编号。

4）交并比（MIoU）。交并比（MIoU）是指真实值与预测值的交集与并集之比，在一定程度上反映了预测值的准确性。计算公式如下：

M I o U = \frac{1}{k} \sum_{i = 0}^{k} \frac{P ⋂ G}{P ⋃ G}

(2)

其中， $P$ 为预测区域， $G$ 为真实区域， $k$ 为样本数。

1.5 验证试验过程

验证试验第一步，使用公式（3）计算出实际占比与验证占比：

占比 = \frac{糖心 部分 面积}{截面 面积} \times 100 %

(3)

第二步，使用实际占比值与验证的结果值进行比对，计算出相对误差，体现出验证结果的误差大小。计算验证值的相对误差值（ $R E$ ）计算公式见式（4）：

R E = \frac{验证 占比 - 实际 占比}{实际 占比}

(4)

第三步，计算各个模型的平均相对误差，以评估单个模型的准确程度。平均相对误差计算公式见式（5）：

平均 相对 误差 = \frac{\sum_{i = 0}^{n} |R E_{i}|}{n}

(5)

其中， $i$ 表示样本编号， $n$ 表示样本数， $R E_{i}$ 表示相对误差值。

第四步，使用公式（6）计算出各个模型的方差，以反映模型验证糖心占比的稳定程度。

S^{2} = \frac{{\sum_{i = 0}^{n} (X_{i} - \bar{X})}^{2}}{n}

(6)

其中， $i$ 表示样本编号， $n$ 表示样本数， $X_{i}$ 各样本误差值， $\bar{X}$ 表示平均误差。

2 结果与分析

2.1 训练时间及准确率评估

训练时间记录结果显示：训练时间最短的为BiSeNet，为130 s；DeepLabV3为142 s；PPLiteSeg为167 s；训练时间最长为FCN，为539 s。训练试验中的训练数-准确率结果如图4所示。在训练数-准确率对比训练过程中，准确率曲线的变化可以反映同一训练数时各模型间的准确率差距。由图4可知，各种模型的准确率曲线呈平缓上升趋势，在相同训练数下模型的准确度近似，模型之间的准确率差距较小。最终准确率最高的为BiSeNet，达到98.36%；FCN的准确率为98.07%；DeepLabV3的准确率为98.06%；准确度最低的为PPLiteSeg（97.93%）。结果表明，BiSeNet有明显的训练时间短的优势，并在相同时间里准确率大多都高于其他模型。

图4 训练数-准确率对比

Fig.4 Training number-accuracy comparison

2.2 训练Loss对比

试验获得的训练数-损失值对比数据曲线见图5。由图5可见，4种模型对应的各条曲线最初呈快速下降趋势，但之后趋于平稳。其中，BiSeNet曲线表现最平滑、稳定，损失值也处于最低值，最终位置达到0.046；其次为FCN，最终值为0.074；再次是PPLiteSeg，最终值为0.250；损失值最高为DeepLabV3，达到0.285。综合结果可知，BiSeNet更为接近真实值。

图5 训练数-损失值对比

Fig.5 Training number-loss value comparison

2.3 交并比MIoU评估

使用MIoU对各个模型进行评估，获得了训练数-MIoU评估图（图6）。由图6可见，BiSeNet的MIoU值最高，为0.851，且同训练数里绝大部分都高于其他模型；DeepLabV3的MIoU值0.830与FCN的0.829近似，PPLiteSeg模型的MIoU值0.818为最低。理论研究结果（表1）表明，BiSeNet在训练效果上更加接近真实值，拥有更高的可信度。

图6 训练数-MIoU评估

Fig.6 Training number - MIoU assessment

表1 理论研究结果

Table 1 Theoretical research results table

模型 Model	训练时间/s Verification time	训练准确率/% Training accuracy	训练损失值 Training loss	交并比 MIoU
BiSeNet	130	98.36	0.046	0.851
FCN	539	98.07	0.074	0.829
PPLiteSeg	167	97.93	0.250	0.818
DeepLabV3	142	98.06	0.285	0.830

2.4 验证结果对比

与理论结果对比不同，实际结果对比将使用各种方法对准备阶段的30个糖心苹果样本进行预测，使用获得的截面图数据进行占比计算，再对各种方法计算获得的理论值与实际值进行评估对比。

分别使用FCN、DeepLabV3、PPLiteSeg与BiSeNet对30个样本进行计算和验证。由表2可见，BiSeNet验证30个样本的时间为3.087 s，FCN的验证时间为5.182 s，PPLiteSeg为3.098 s，DeepLabV3为3.094 s。由此可知，BiSeNet在样本验证中所用时间最短，具有略微的优势。

表2 实际研究结果

Table 2 Actual research results table

模型 Model	实际验证时间/s Actual verification time	实际平均误差/% Actual average error	实际验证方差 Actual verification variance
BiSeNet	3.087	4.04	33.17
FCN	5.182	4.07	41.18
PPLiteSeg	3.098	7.45	173.38
DeepLabV3	3.094	6.88	59.63

苹果糖心截面的验证样本的示意图见图7，采用各个模型进行验证分割获得的结果示意图见图8。

图7 苹果截面图与参考图

Fig.7 Original and annotations

A：原截面图Original cross section diagram；B：实际糖心区域 The actual watercore region；C：苹果灰度截面 Apple gray cross section.

图8 各模型分割示意图

Fig.8 Each model segmentation diagram

A：BiSeNet； B：FCN； C：PPLiteSeg； D：DeepLabV3.

根据各模型预测出的截面图片，再进行实际的占比计算。在验证试验中，使用30个验证样本进行计算，结果显示，BiSeNet的平均误差为4.04%，方差为33.17；FCN的平均误差为4.07%，方差为41.18；PPLiteSeg的平均误差为7.45%，方差为173.38；DeepLabV3的平均误差为6.88%，方差为59.63（表2）。

验证试验的相对误差结果如图9所示。结合计算数值与相对误差图可知，BiSeNet与FCN的平均误差与方差较低，且无单个较大误差样本；说明两者准确度与稳定性都更好，但BiSeNet的平均误差更小，方差也较小，意味着BiSeNet相较于FCN有较优的准确率以及更好的稳定性。而PPLiteSeg与DeepLabV3的平均误差与方差相对FCN与BiSeNet较高，并且在两者之中都有个别较大值。这证明在实际验证阶段，4种模型中BiSeNet准确率更高且更加稳定，是相对较优的方法。

图9 相对误差图

Fig.9 Relative error diagram

结合理论与实践研究的结果（表1、表2），以训练准确度、训练时间、交并比、实际验证时间、实际验证精度为评价指标绘制了4种模型的综合对比图（图10），用时越低、精度越高表示数值越高，在雷达图中表现为线段越朝外围则代表数值越高、模型性能越优秀。从图10可以看出，BiSeNet在5个方面均优于其余3种对比模型，是较为综合全面的模型。

图10 验证试验结果对比

Fig.10 Comparison of experimental results

3 讨论

本研究以380个糖心苹果样本为材料，使用350个样本用作训练与验证，分别对比了BiSeNet、FCN、PPLiteSeg与DeepLabV3这4种网络的训练时间、训练精度、训练Loss值、MIoU的理论试验结果，在此基础上使用30个样本进行实际验证，对比了模型的实际验证时间；并以验证样本截面图像为对象进行实际占比计算试验，以计算结果的平均误差和方差来评估模型的实际计算精度。BiSeNet在用于糖心苹果的糖心截面分割与占比计算时，训练时间为130 s、精度为98.36%；相对于其他对比模型，训练时间更短、准确度更高。在实际占比计算中，平均误差为4.04%，方差为33.17，相较于对比模型，计算准确度更高、结果更稳定。

糖心苹果的糖心截面是以苹果果肉为背景的平面特征，不同样本的糖心截面特征仅为分布位置与占比面积的区别。因此，截面糖心特征提取的方法可忽略其在三维分布上的提取性能。BiSeNet在小步长空间路径与快速采样的语义路径的支持下保留了更高分辨率的特征与可观的感受野，使BiSeNet相较于FCN的全卷积结构、DeepLabV3的空洞卷积结构、PPLiteSeg的金字塔池化结构能更好地在苹果截面的运算中提取糖心特征，并且BiSeNet的轻量型结构可使其在糖心特征提取时耗时更少。以上因素的综合影响使得BiSeNet各方面性能均优于FCN、DeepLabV3、PPLiteSeg这3种模型。

综合理论与实验研究结果可知，基于BiSeNet的糖心苹果截面糖心特征提取方法是一种较优的计算糖心占比的方法。在现有相关判断方法欠缺的情况下，该方法可简单直观地为糖心苹果的糖心度判断提供相应依据，也可为糖心苹果进行糖心度无损检测提供相对精确的对比目标。但对于整个糖心苹果内部糖心含量而言，单一截面糖心特征评价依然较为片面，因此在后续的研究中，对糖心的整体三维模型进行重构将是糖心苹果研究的关键。

参考文献References

冯建文，韩秀梅，宋莎，等.贵州高海拔区糖心苹果果实品质特征及成因分析［J］.南方农业学报，2021，52（5）：1273-1281.FENG J W，HAN X M，SONG S，et al.Fruit quality characters and causes of watercore apple in high altitude areas of Guizhou［J］.Journal of southern agriculture，2021，52（5）：1273-1281 （in Chinese with English abstract）. [百度学术]

谢季云.1-MCP处理对不同采收期阿克苏糖心苹果贮藏品质的影响［D］.乌鲁木齐：新疆农业大学，2018.XIE J Y.Effects of 1-MCP treatment on storage quality of Aksu sugar apples at different harvest periods［D］.Urumqi：Xinjiang Agricultural University，2018 （in Chinese with English abstract）. [百度学术]

PENG Z，CAI C.An effective segmentation algorithm of apple watercore disease region using fully convolutional neural networks［C］//2017 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference （APSIPA ASC）.December 12-15，2017，Kuala Lumpur，Malaysia：IEEE，2018：1292-1299. [百度学术]

张育敬，陶青川.基于改进BiSeNet的轻量级水利语义分割算法［J］.现代计算机，2022，28（7）：53-58.ZHANG Y J，TAO Q C.Lightweight water conservancy semantic segmentation algorithm based on improved BiSeNet［J］.Modern computer，2022，28（7）：53-58 （in Chinese with English abstract）. [百度学术]

戴牧宸，冷祥光，熊博莅，等.基于改进双边网络的SAR图像海陆分割方法［J］.雷达学报，2020，9（5）：886-897.DAI M C，LENG X G，XIONG B L，et al.Sea-land segmentation method for SAR images based on improved BiSeNet［J］.Journal of radars，2020，9（5）：886-897 （in Chinese with English abstract）. [百度学术]

于蒙，樊成，李雄，等.基于改进BiSeNet的室内障碍物图像语义分割方法［J］.华中科技大学学报（自然科学版），2022，50（6）：133-138.YU M，FAN C，LI X，et al.Semantic segmentation method of indoor obstacle images based on improved BiSeNet［J］.Journal of Huazhong University of Science and Technology （natural science edition），2022，50（6）：133-138 （in Chinese with English abstract）. [百度学术]

王汉谱，瞿玉勇，刘志豪，等.基于FCN的图像语义分割算法研究［J］.成都工业学院学报，2022，25（1）：36-41.WANG H P，QU Y Y，LIU Z H，et al.Research on image semantic segmentation algorithm based on FCN［J］.Journal of Chengdu Technological University，2022，25（1）：36-41 （in Chinese with English abstract）. [百度学术]

何宏，刘敖，邱佳，等.基于MFD-FCN的车道线检测方法［J］.湖南工程学院学报（自然科学版），2022，32（2）：48-53.HE H，LIU A，QIU J，et al.Lane line detection method based on MFD-MCN［J］.Journal of Hunan Institute of Engineering （natural science edition），2022，32（2）：48-53 （in Chinese with English abstract）. [百度学术]

邓天民，蒲龙忠，万桥.改进FCN的车道线实例分割检测方法［J］.计算机工程与设计，2022，43（10）：2935-2943.DENG T M，PU L Z，WAN Q.Lane line instance segmentation detection method of improved FCN［J］.Computer engineering and design，2022，43（10）：2935-2943 （in Chinese with English abstract）. [百度学术]

谭国金，欧吉，艾永明，等.基于改进DeepLabV3+模型的桥梁裂缝图像分割方法［J/OL］.吉林大学学报（工学版），2022：1-10.TAN G J，OU J，AI Y M，et al.Bridge crack image segmentation method based on improved DeepLabV3+ model［J/OL］.Journal of Jilin University （engineering and technology edition），2022：1-10［2022-12-04］.https：//doi.org/10.13229/j.cnki.jdxbgxb20220205（in Chinese with English abstract）. [百度学术]

赵为平，陈雨，项松，等.基于改进的DeepLabV3+图像语义分割算法研究［J/OL］.系统仿真学报，2022：1-12［2022-12-04］.ZHAO W P，CHEN Y，XIANG S， et al. Based on an improved semantic segmentation algorithm for DeepLabV3 images［J/OL］. Journal of system simulation，2022：1-12［2022-12-04］. https：//doi.org/10.16182/j.issn1004731x.joss.22-0690 （in Chinese with English abstract）. [百度学术]

WANG H，YU F，XIE J，et al.Road extraction based on improved DeepLabV3 plus in remote sensing image［J］.The international archives of the photogrammetry，remote sensing and spatial information sciences，2022，3：67-72. [百度学术]

YAN C Y，CHEN Z H，LI Z L，et al.Tea sprout picking point identification based on improved DeepLabV3+［J/OL］.Agriculture，2022，12（10）：1594［2022-12-04］.https：//doi.org/10.3390/agriculture12101594. [百度学术]

常汉.水心病苹果水心程度与可溶性固形物含量在线无损检测方法与分级装备研究［D］.杭州：浙江大学，2021.CHANG H.Research and development of on-line non-destructive detecting method and grading equipment of apple watercore and soluble solids content［D］.Hangzhou：Zhejiang University，2021 （in Chinese with English abstract）. [百度学术]

申秋慧，张宏军，徐有为，等.知识图谱嵌入模型中的损失函数研究综述［J/OL］.计算机科学，2022：1-16［2022-12-04］. SHEN Q H，ZHANG H J，XU Y W，et al. Review of loss function studies in the knowledge graph embedding model［J/OL］. Computer science，2022：1-16［2022-12-04］.http：//kns.cnki.net/kcms/detail/50.1075.TP.20221109.1443.014.html（in Chinese with English abstract）. [百度学术]

联系我们

电话： 027-87287437，027-87287364
邮政编码： 430070
E-mail：hnlkxb@mail.hzau.edu.cn
地址：武汉市洪山区狮子山街1号

友情链接

期刊订阅 Email Alert 国际标准刊号：ISSN 1000-2421 国外邮发代号：BM 3816 国内刊号：CN 42-1181/S 国内发行代号：38-120