摘要
针对葡萄叶片类间相似度高导致的类内品种分类精度低的问题，构建一种改进的统计纹理残差学习网络（statistical texture residual learning network， STRLNet）的葡萄叶片分类方法。首先在ResNet50骨干网络的基础上添加SE注意力机制，然后构建底层信息的特征增强层，最后将增强后的底层特征与骨干网络提取的高层语义信息相融合，输出连接到用于存储分类特性的全连接层上。利用采集的11种成熟期葡萄叶片数据集进行训练测试，结果显示，STRLNet在提高网络空间性能的同时可充分利用底层特征信息，对构建的葡萄叶片数据集的分类准确率可以达到92.26%，相较于ResNet骨干网络提高了约2.8个百分点，与VGG16、Inception v4和ResNet等主流分类网络相比在葡萄叶片细粒度分类中具有更高的准确性。研究结果表明，在多品种的葡萄叶片分类任务中，改进后的模型相较于骨干网络可以关注到更多的特征信息，相较于主流分类网络模型可以获得更高的分类精度，模型性能得到进一步的提升。
葡萄是世界上最有价值的园艺作物之一，联合国粮食及农业组织的统计数据库（https：//www.fao.org/faostat/zh/#data）显示，2020年全球葡萄产量为7 803万t，其中我国是全球第二大葡萄生产国。不同品种的葡萄价值差异很大，同时也影响到所酿葡萄酒的品质。移植的葡萄幼苗需要2~3 a才能结果，但是其叶子却可以在几个月内成熟。因此，通过叶片实现早期品种鉴定可以排除误种情况、保护育种者的权益、促进葡萄产业健康发展。同时葡萄品种识别对葡萄资源统计、新品种鉴定及葡萄遗传资源保护都有重要意
目前，基于叶片的常用分类方法有2种：基于图像特征分析和基于深度学习。图像特征分析方法通常使用数学模型和图像处理技术来分析特征，从图像中提取有用的信息。现有研究以叶片形状作为主要提取特
为进一步改进葡萄叶片识别模型，本研究提出一种充分利用底层特征的新残差学习网络，构建底层信息的特征增强层，同时添加SE注意力机制，通过融合操作，将底层信息与高层信息结合起来，并利用构建的11个葡萄品种的数据集对模型进行评价，旨在构建一套高精度的细粒度识别模型，实现不同葡萄品种的精准分类，为农业、葡萄酒行业提供技术参考。
建立一个包含11个葡萄品种的成熟叶片数据集。这些图像采集自西北农林科技大学的葡萄种植园，每类葡萄叶采集50~120片，将叶片带回实验室后，使用固定的拍摄台进行拍摄，以确保图像中的叶片相对大小一致，每张图像的分辨率为3 000像素×3 000像素，拍摄物距约0.3 m。所有叶片的正面和背面均被采集，经过筛选去除叶片区域不完整的数据后，共留下873张叶片图像作为基础数据集。阳光玫瑰、户太八号、瑞都红玉、魏可、赤霞珠、甜蜜蓝宝石、霞多丽、爱隔丽、媚丽、意大利、克伦生无核样本数分别为52、72、106、86、99、38、74、94、90、84、78张。对每幅实验图像按照类别对应的编码（1~11）进行类别的标注，获得11种不同标签值的数据集图像，在网络学习训练过程中，按照整片树叶进行学习。葡萄叶片品种的图像如
图1 11个葡萄品种叶片样品
Fig. 1 11 cultivars of grape leaves used in the experiment
A：阳光玫瑰 Shine-Muscat； B：户太八号Hutai 8； C：瑞都红玉 Ruiduhongyu； D：魏可 Wink； E：赤霞珠 Cabernet Sauvignon；F：甜蜜蓝宝石 Moon Drops； G：霞多丽 Chardonnay；H：爱隔丽 Ecolly； I：媚丽 Meili；J：意大利 Italia； K：克伦生无核 Crimson Seedless.每个分图里左侧为叶片正面，右侧为叶片背面。In each drawing， the left side is the front side of the blade， and the right side is the back side of the blade.
采用双线性插值
以分类领域中广泛应用且表现良好的ResNet50结构作为骨干网络。该网络主要由49个卷积层和1个最大池化层组成。在ResNet50的卷积模块中通过添加SE注意力机
图2 ResNet50se内部结构
Fig.2 ResNet50se internal structure
葡萄叶的形状和纹理特征在葡萄分类中起重要作
模型结构如
图3 统计纹理残差学习网络结构
Fig.3 Statistical texture residual learning network
所使用的硬件平台为Intel（R） Xeon（R） Silver 4116 CPU @ 2.10GHz，进行模型测试的CPU为NVIDIA TESLA V100 16 GB。所有实验使用Python3.8.5在TensorFlow2.2.0深度学习框架下实现。经过测试，超参数设置如下：优化器为随机梯度下降法，实验室数据集训练批次设置为64，学习率为1
对于图像分类问题，预测的结果一般有4种情况：真正例（true positive， TP）、真负例（true negative， TN）、假正例（false positive， FP），假负例（false negative， FN）。其中，TP为每个类别中正确分类的叶片图像数量，即预测为正，实际也为正；而TN则表示除相关类别之外的所有其他类别中正确分类的图像的总和，即预测为负，实际也为负；FN给出了相关类别中错误分类的图像的数量，即预测为负，实际为正；FP给出了除相关类别之外的所有其他类别中错误分类的图像数量，即预测为正，实际为负。
所用的基本评价指标有准确率（accuracy，A）、精确率（precision，P）、召回率（recall，R）和F1分数（F1-score）。A代表分类正确的样本占整体样本的比例，用来评估模型的好坏。P是针对预测结果而言的，其含义是在所有预测为正的样本中实际为正样本的概率。R是针对原样本而言的，表示在实际为正的样本中被预测为正样本的概率。F1-score是P和R的调和平均数，是对这2项指标的综合考虑。这些指标的计算公式如下：
| （1） |
| （2） |
| （3） |
| （4） |
在主干网络选择中，对常见的和高性能的分类模型进行测试，以找到一个适合对葡萄叶片进行分类的主干网络模型。这些模型用统一的超参数，当验证集损失稳定时停止训练。然后使用验证集损失值最低的模型在测试集进行准确率计算。测试结果显示，模型VGG16、Inceptionv4、ResNet34、ResNet101、ResNet50在葡萄叶片数据集分类的准确率分别为72.62%、86.23%、86.68%、88.47%、90.12%。测试结果表明，ResNet50和ResNet101在自建葡萄叶片数据集下表现最好，ResNet50作为平均准确率最高的模型，需要的计算资源较少，因此，更适合葡萄叶片细粒度分类场景。
在采集到的葡萄叶片数据集的基础上，对叶片正面、背面图像分类精度进行实验测试，以测试叶片正反面对分类精度的影响。分别选择正面叶片、背面叶片以及每张叶片正反两面3种数据集进行模型的训练并以对应的测试集进行分类准确率的比较，叶片正面图像数据集、叶片反面图像数据集和叶片正反两面数据集的分类精度分别为92.34%、93.08%、92.96%。根据计算结果可知，正反叶面图像在分类精度上相近，考虑到对整体叶片进行充分学习，选择叶片正反两面图像作为训练数据集。
为验证所提出的以ResNet50为骨干网络的改进策略对分类性能的影响，在数据集上展开消融实验，以对比细粒度分类模型不同结构的模型性能。选择分类精度可以达到约90.12%的ResNet50作为基础网络，首先在ResNet50基础上增加了SE注意力机制，得到的ResNet50se模型相较ResNet50在分类能力上具有小幅提升，精确度达到90.25%。其次，简单地将主干网络ResNet50se的Layer 1输出的浅层特征SLF与基础网络的最终输出连接起来，修改后可将性能小幅提升至91.12%左右。最后，在SLF之后插入TEM模块，进一步将分类精度提高到92.96%。
为分析模型在分类层前的高维特征，即最后1层卷积的关注焦点，使用Grad-CA
图4 主干分类器和STRLNet分类器的Grad-CAM图对比
Fig.4 Grad-CAM of the backbone and the STRLNet classifiers
A：ResNet50分类网络对赤霞珠叶片特征提取的Grad-CAM图；B：STRLNet分类器对相同叶片的Grad-CAM对比图。高亮区域为重点关注区域。A： Grad-CAM map of Cabernet Sauvignon leaf features extracted by ResNet50 classification network； B： Grad-CAM map of STRLNet classifier for the same leaf. The highlighted area as the focused area.
模型在训练过程中对11个葡萄品种叶片分类的准确性如
| 编号Number | 品种名Cultivar | 精确率 Precision | 召回率 Recall | F1-分数 F1-score |
|---|---|---|---|---|
| 1 | 阳光玫瑰Shine⁃Musca | 100 | 100 | 100 |
| 2 | 户太八号 Hutai 8 | 92.53 | 86.11 | 89.20 |
| 3 |
瑞都红玉 Ruiduhongyu | 96.03 | 91.50 | 93.71 |
| 4 | 魏可 Wink | 94.87 | 87.05 | 90.79 |
| 5 |
赤霞珠 Cabernet Sauvignon | 100 | 100 | 100 |
| 6 |
甜蜜蓝宝石 Moon Drops | 78.57 | 86.84 | 82.50 |
| 7 | 霞多丽 Chardonnay | 98.64 | 98.64 | 98.64 |
| 8 | 爱格丽 Ecolly | 98.93 | 97.89 | 98.41 |
| 9 | 媚丽 Meili | 86.86 | 95.55 | 91.00 |
| 10 | 意大利 Italia | 99.23 | 96.26 | 97.72 |
| 11 |
克伦生无核 Crimson Seedless | 88.50 | 98.71 | 93.33 |
图5 葡萄叶片数据集的统计纹理残差学习网络的混淆矩阵
Fig.5 Confusion matrix of the statistical texture residual learning network for the grape leaf dataset
根据混淆矩阵结合数据集进行分析，品种3“瑞都红玉”与品种4“魏可”、品种6“甜蜜蓝宝石”、品种2“户太八号”与品种9“媚丽”的叶片特征相似，模型易出现相互干扰的情况。品种4中有叶片图像被误分类为品种3，但是品种3却并没有出现误分类为品种4的情况，说明品种4所提取到的分类特征与其他品种特征相比并无明显差异，易被其他品种干扰。从
图6 STRLNet分类器在不同品种的Grad-CAM图
Fig.6 STRLNet classifer Grad-CAM plots of classifiers in different varieties
A：阳光玫瑰 Shine⁃Musca； B：瑞都红玉 Ruiduhongyu； C：赤霞珠 Cabernet Sauvignon； D：魏可 Wink。从左到右分别为原图、Grad-CAM热力图和原图与热力图的结合图。Figures from left to right are the original map， Grad-CAM heat map and the combined map，respectively.
由于在叶片图像的采集过程中，会出现重叠或者边缘区域不完整等情况，因此，仅使用叶片图像对葡萄品种进行细粒度分类存在一定的局限性，这部分容易错误分类的图像给所有的分类模型都带来了困难。同时，STRLNet分类器是在ResNet50骨干网络基础上增加了分支模块，所以运行所需要的显存空间比单一网络大。但是相较于ResNet50骨干网络，改进后的分类器关注度更均匀地集中在葡萄叶片边缘和中心区域，尤其对中心叶脉处的关注度很高，增强了对特征信息的提取。改进后的网络模型在葡萄叶片数据集上的精确率可以达到92.96%，相较ResNet骨干网络的提高了约2.8个百分点。
对比Yousefi
本研究构建的基于叶片的葡萄品种分类模型，有助于快速区分不同葡萄品种；结合叶片的形态学特征创新分类方法，可以帮助研究者更好地认识葡萄叶片、区分葡萄品种。通过农业图像分类数据集PlantVillag
因为不同品种叶片相似度较高，所以目前分类结果中仍存在一些错误分类的情况。从Grad-CAM热力图可以看出， STRLNet并不能充分提取所有种类的特征信息，例如品种4魏可。在今后的研究中，可尝试先对原始图像数据集通过图像分割处理提取图像边缘、纹理信息，再通过连接特征图进行特征融合，以增加特征信息的提取，进一步提高分类的精确性。
参考文献References
MACLEOD N，BENFIELD M，CULVERHOUSE P.Time to automate identification［J］.Nature，2010，467（7312）：154-155. [百度学术]
KAYA A，KECELI A S，CATAL C，et al.Analysis of transfer learning for deep neural network based plant classification models［J］.Computers and electronics in agriculture，2019，158：20-29. [百度学术]
AAKIF A，KHAN M F.Automatic classification of plants based on their leaves［J］.Biosystems engineering，2015，139：66-75. [百度学术]
SALEEM G，AKHTAR M，AHMED N，et al.Automated analysis of visual leaf shape features for plant classification［J］.Computers and electronics in agriculture，2019，157：270-280. [百度学术]
WU S G，BAO F S，XU E Y，et al.A leaf recognition algorithm for plant classification using probabilistic neural network［C］//2007 IEEE international symposium on signal processing and information technology，December 15-18，2017，Giza，Egypt.New York：IEEE，2008：11-16. [百度学术]
ZHAO Z Q，MA L H，CHEUNG Y M，et al.ApLeaf：an efficient android-based plant leaf identification system［J］.Neurocomputing，2015，151：1112-1119. [百度学术]
张善文，张晴晴，齐国红.基于Fourier描述子和LBP相结合的植物叶片识别方法［J］.江苏农业科学，2019，47（14）：273-276.ZHANG S W，ZHANG Q Q，QI G H.Plant leaf recognition method based on Fourier descriptor and LBP［J］.Jiangsu agricultural sciences，2019，47（14）：273-276 （in Chinese）. [百度学术]
KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet classification with deep convolutional neural networks［J］.Communications of the acm，2017，60（6）：84-90. [百度学术]
HALL D，MCCOOL C，DAYOUB F，et al.Evaluation of features for leaf classification in challenging conditions［C］//2015 IEEE winter conference on applications of computer vision，January 5-9，2015，Waikoloa，HI，USA.New York：IEEE，2015：797-804. [百度学术]
PEREIRA C S，MORAIS R，REIS M J C S.Deep learning techniques for grape plant species identification in natural images［J/OL］.Sensors （Basel，Switzerland），2019，19（22）：4850［2022-11-26］.https：//doi.org/10.3390/s19224850. [百度学术]
郑一力，张露.基于迁移学习的卷积神经网络植物叶片图像识别方法［J］.农业机械学报，2018，49（S1）：354-359.ZHENG Y L，ZHANG L.Plant leaf image recognition method based on transfer learning with convolutional neural networks［J］.Transactions of the CSAM，2018，49（S1）：354-359 （in Chinese with English abstract）. [百度学术]
YANG H W，HSU H C，YANG C K，et al.Differentiating between morphologically similar species in genus Cinnamomum （Lauraceae） using deep convolutional neural networks［J］.Computers and electronics in agriculture，2019，162：739-748. [百度学术]
PENG Y S，WANG Y.An industrial-grade solution for agricultural image classification tasks［J/OL］.Computers and electronics in agriculture，2021，187：106253［2022-11-26］.https：//doi.org/10.1016/j.compag.2021.106253. [百度学术]
LI H H，WEI Y N，ZHANG H M，et al.Fine-grained classification of grape leaves via a pyramid residual convolution neural network［J］.International journal of agricultural and biological engineering，2022，15（2）：197-203. [百度学术]
GRIBBON K T，BAILEY D G.A novel approach to real-time bilinear interpolation［C］//Proceedings of IEEE international workshop on electronic design，test and applications，January 28-30，2004，Perth，WA，Australia.New York： IEEE，2005：126-131. [百度学术]
HU J，SHEN L，ALBANIE S，et al.Squeeze-and-excitation networks［J］.IEEE transactions on pattern analysis and machine intelligence，2020，42（8）：2011-2023. [百度学术]
XU G Q，LI C，WANG Q.Unified multi-scale method for fast leaf classification and retrieval using geometric information［J］.IET image processing，2019，13（12）：2328-2334. [百度学术]
刘崇怀.中国葡萄属（Vitis L.）植物分类与地理分布研究［D］.郑州：河南农业大学，2012.LIU C H.Classification and geographical distribution of Vitis L. in China［D］.Zhengzhou：Henan Agricultural University，2012 （in Chinese with English abstract）. [百度学术]
ZHU L Y，JI D Y，ZHU S P，et al.Learning statistical texture for semantic segmentation［C］//2021 IEEE/CVF conference on CVPR，June 20-25， 2021，Nashville，TN，USA.New York：IEEE，2021：12532-12541. [百度学术]
RUSSAKOVSKY O，DENG J，SU H，et al.ImageNet large scale visual recognition challenge［J］.International journal of computer vision，2015，115（3）：211-252. [百度学术]
SELVARAJU R R， COGSWELL M， RAMAKRISHNA V， et al.Grad-CAM： visual explanations from deep networks via gradient-based localization［J］. International journal of computer vision， 2020，128： 336-359. [百度学术]
YOISEFI E， BALEGHI Y， SAKHAEI S M. Rotation invariant wavelet descriptors， a new set of features to enhance plant leaves classification［J］. Computers and electronics in agriculture， 2017，140： 70-76. [百度学术]
XUE J R， FUENTES S， POBLETE-ECHERRI C， et al. Automated Chinese medicinal plants classification based on machine learning using leaf morpho-colorimetry， fractal dimension and visible/near infrared spectroscopy［J］. Int J Agric & Biol Eng， 2019：12（2）： 123-131. [百度学术]
HUGHES D P， SALATHE M. An open access repository of images on plant health to enable the development of mobile disease diagnostics through machine learning and crowd sourcing［DB/OL］. arXiv， 2015：1511.08060［2022-11-26］.https：//doi.org/10.48550/arXiv.1511.08060. [百度学术]