摘要
为对奶牛体况信息进行高效地实时监测以便满足商业化的需求,提出一种改进轻量级注意力机制网络模型(Shuffle-ECANet)。首先,针对8 972幅含有奶牛尾部的图像样本,通过专家对奶牛体况进行人工评分,并构建数据集;然后以轻量级ShuffleNet-v2 1×网络为基础,在特征提取过程中引入高效的通道注意力模块,强化网络对奶牛体况特征的提取能力。此外,采用H-Swish激活函数,避免神经元坏死现象;最后通过进一步精简网络结构得到Shuffle-ECANet网络模型。结果显示,Shuffle-ECANet模型针对各类别奶牛的识别准确率为97%以上,且在体况评分(body condition scoring,BCS)误差分别为0、≤0.25和≤0.5的体况评价结果中,Shuffle-ECANet模型均优于EfficientNet-v1、MobileNet-v3、ShuffleNet-v2 1×和ResNet34等模型,证明本研究方法的有效性。
体况评分(body condition scoring,BCS)是以动物身体中体内脂肪含量为依据,用来衡量动物能量代谢状况、健康管理水平的重要方法。合理的体况管理能够有效避免分娩时奶牛跛行和子宫内膜炎的发生,对奶牛产前和产后管理具有非常重要的意义。体况异常和突变是奶牛代谢紊乱的主要表征之一,定期评估奶牛体况是提高奶牛产奶量、繁殖效率、降低疾病发生率的有效途
近年来,随着深度学习技术的发展,其高效快速的检测能力和强大的特征表征能力满足实时、高效、高精度的实际需求,在精准农业中得到广泛应
为了提高深度学习技术在体况评分领域的实用性和准确率,本研究提出了一种改进的网络模型Shuffle-ECANet。通过专家对奶牛体况图像进行人工评分构建数据集,然后以轻量级ShuffleNet-v2 1×网络为基础,在特征提取过程中加入高效通道注意力模块,强化网络对奶牛体况特征的提取能力,修改激活函数提高了神经元的使用效率,最后对网络结构进行裁剪得到Shuffle-ECANet网络模型,以实现自然环境下奶牛体况的精准高效评分,为对奶牛体况信息进行高效地实时监测提供参考。
图像采集于安徽省六安市安徽华好生态养殖有限公司,采集平台如

图1 硬件设备
Fig.1 Hardware devices
此外,奶牛体况在1周时间内变化范围一般最大为0.2

图2 图像示例
Fig.2 Image examples
A:BSC=3.25; B:BSC=3.50; C:BSC=3.75; D:BSC=4.00; E:BSC=4.25.
BCS等级BCS level | 训练集 Training set | 验证集Verification set | 总计Total |
---|---|---|---|
3.25 | 868 | 96 | 964 |
3.50 | 2 338 | 259 | 2 597 |
3.75 | 1 896 | 210 | 2 106 |
4.00 | 1 791 | 198 | 1 889 |
4.25 | 1 185 | 131 | 1 316 |
总计 Total | 8 078 | 894 | 8 972 |
对输入图像进行标准化处理可以避免网络在训练过程中梯度变化异常,达到缩短训练时间的目的。本研究采取的标准化处理方法如下:
(1) |
式(1)中,x为通道的像素值,为通道像素值的均值,为通道像素的方差。即将R、G、B 3通道先归一化到0与1之间,然后各个通道再减去均值除以方差,式(1)中和采用ImageNet数据集的均值和方差,=[0.485,0.456,0.406],=[0.229,0.224,0.225]。最终样本数据量为11 663张,训练集和验证集保持9∶1比例。
本研究采用一种改进轻量级注意力机制网络模型(Shuffle-ECANet)。该模型主要包括ShuffleNet-v2 1×网
1)ShuffleNet-v2 1×的特点。

图3 ShuffleNet-v2 1× 单元
Fig.3 ShuffleNet-v2 1× unit
A: ShuffleNet-v2 unit1;B: ShuffleNet-v2 unit2 .Concat表示张量拼接,Conv表示卷积,DWConv表示深度可分离卷积,stride代表步长,3×3、1×1代表卷积核的尺寸,BN、ReLU表示归一化和激活函数,下同。Concat represents tensor splicing,Conv represents convolution,DWConv represents deep separable convolution,stride represents step size,3×3,1×1 represents the size of convolution kernel,BN and ReLU represent normalization and activation functions.The same as below.
2)ECA注意力模块。本研究提出的ECAConv 2个基本单元以ShuffleNet-v2 1×单元结构为基础进行改进,分别加入ECA注意力模块。ECA注意力模块的优点是参数量较少保证了网络的轻量级,并且局部跨通道的信息交互能够带来明显效果提升。
3)H-Swish 激活函数。原始的ShuffleNet-v2 1×网络使用ReLU激活函数,如式(2)所示,函数图像如
(2) |
(3) |
(4) |

图4 ECAConv 单元
Fig.4 ECAConv unit
A:ShuffleNet-v2 unit1;B:ShuffleNet-v2 unit2.
由公式(2)和(3)可得如下:
(5) |
(6) |
(7) |
Swish激活函数如式(6),优于ReLU激活函数,显著提高了神经网络的准确性,但由于计算、求导复杂,对量化过程不友好,类比Sigmoid与H-Sigmoid激活函数,MobieNet-v
4)ECAConv单元。本试验使用的奶牛体况数据集具有背景复杂、判断奶牛体况区域的面积大小不一,判断奶牛体况的区域分布广等特点,面对该类型的数据集,ShuffleNet-v2 1×存在感兴趣区域分散且特征提取尺度单一等问题。因此,本试验针对ShuffleNet-v2 1×识别复杂背景下奶牛体况评分准确率以及模型参数存在的不足,对ShuffleNet-v2 1×模型的基本单元进行一系列的改进,改进单元为ECAConv(
5)模型裁剪。模型中引入上述改进策略提升识别性能的同时增加了网络的负担。ShuffleNet-v2 1×模型是针对ImageNet数据集的1 000类别进行分类设计的,而本研究只需要对5种奶牛体况图像数据进行分类,分类任务相对简单,所需的网络模型深度不需要太深。因此,为了减少参数量和计算量的消耗,将模型中ECAConv unit1的堆叠个数都降为3个。
6)模型结构对比。ShuffleNet-v2 1×网络结构如

图5 网络模型结构
Fig.5 Architecture of network model
A: ShuffleNet-v2 1×;B: Shuffle-ECANet .Conv2D表示步长为2的卷积,GlobalPool&FC表示全局池化和全连接。Conv2D represents convolution with step size of 2,GlobalPool&FC represents global pooling and full connection,and ReLU represents activation function.
7)试验平台与参数设置。试验均在Windows 10的64位系统环境下运行,采用能够支持GPU加速和动态神经网络的Pytorch 1.11版本的深度学习开源框架,配合CUDA 11.4进行训练。计算机搭载的处理器为Intel(R) Core(TM) i5-10400F CPU @ 2.90 GHz,内存为16 GB,显卡为GTX3060。试验过程中将数据集按9︰1比例划分为训练集和测试集,分别用作模型的训练与测试。输入奶牛尾部图像尺寸均设置为224像素×224像素,受硬件条件约束的批处理大小(BatchSize)则设置为32,模型迭代次数共计100 epoch。为了模型的识别准确率能够更好地收敛,所涉及的试验采用了学习率衰减策略,初始学习率设置为0.01,所有的训练模型采用SGD优化器,其参数设置为默认。本研究中选用EfficientNet-v1、MobileNet-v3、ShuffleNet-v2 1×、ResNet34作为对比模型,来评价本研究方法的整体性能。
8)模型评价指标。奶牛体况为多分类任务,并且存在分类样本不均衡的问题,因此,混淆矩阵可以直观体现模型分类的能力。基于混淆矩阵引入多个模型评价指标:准确率(accuracy,A),即样本预测正确的数量占总数量的比例。精确率(precision,P),各类别精确率的平均值为评价指标。召回率(recall,R)各类别召回率的平均值为评价指标。F1值是精确率与召回率的调和平均值,用于评价模型对极端BCS类别的分类能力。此外,对于特定奶牛体况分类任务,模型除了需要满足一定的精度要求外,也需要满足模型移植至移动端所需的低内存消耗等要求,因此模型参数量也是模型对比的评价指标。其中,TP指被模型预测为正类的正样本;TN指被模型预测为负类的负样本;FP指被模型预测为正类的负样本;FN指被模型预测为负类的正样本。
准确率对于数据集均衡,在数据集不平衡时,准确率将不能很好地表示分类模型的优劣性能,此时应参考其他评价指标,其计算公式为:
(8) |
精确率是针对预测结果的一个评价指标,即在模型预测为正样本的结果中正确预测样本所占的比例,由于奶牛体况为多分类问题,因此使用各BCS类别精确率的平均值作为评价指标,其计算公式为:
(9) |
召回率是针对原始样本而言的一个评价指标,在实际为正样本中被预测为正样本所占的比例,同理使用各BCS类别召回率的平均值作为评价指标,其计算公式为:
(10) |
F1值是精度与召回率的调和平均值,可以兼顾精确率和召回率,其计算公式为:
(11) |
网络参数量,模型除了需要满足一定的精度要求外,也需要满足模型移植至移动端所需的低内存消耗等要求,因此模型参数量也是模型对比的评价指标。
Shuffle-ECANet网络评分结果的混淆矩阵如

图6 Shuffle-ECANet网络评分结果的混淆矩阵
Fig.6 Confusion matrix of scoring results by Shuffle-ECANet
BCS | 误差 Error | ||||||||
---|---|---|---|---|---|---|---|---|---|
0 | 0.25 | 0.50 | |||||||
P | R | F1 | P | R | F1 | P | R | F1 | |
3.25 | 98.9 | 96.9 | 97.9 | 100 | 100 | 100 | 100 | 100 | 100 |
3.50 | 98.8 | 98 | 98.4 | 100 | 99.6 | 99.8 | 100 | 100 | 100 |
3.75 | 97.6 | 99.5 | 98.6 | 100 | 100 | 100 | 100 | 100 | 100 |
4.00 | 98.9 | 98.5 | 98.7 | 99.5 | 100 | 99.7 | 100 | 100 | 100 |
4.25 | 99.2 | 100 | 99.6 | 100 | 100 | 100 | 100 | 100 | 100 |
为了验证本研究方法的性能,将所提出的Shuffle-ECANet模型与EfficientNet-v1、MobileNet-v3、ShuffleNet-v2 1×、ResNet34进行对比分析,混淆矩阵结果如
模型 Model | BCS | 3.25 | 3.50 | 3.75 | 4.00 | 4.25 |
---|---|---|---|---|---|---|
EfficientNet-v1 | 3.25 | 94 | 4 | 0 | 0 | 0 |
3.50 | 2 | 250 | 0 | 1 | 0 | |
3.75 | 0 | 5 | 208 | 3 | 0 | |
4.00 | 0 | 0 | 2 | 193 | 0 | |
4.25 | 0 | 0 | 0 | 1 | 131 | |
MobileNet-v3 | 3.25 | 94 | 1 | 0 | 1 | 0 |
3.50 | 0 | 246 | 1 | 0 | 1 | |
3.75 | 1 | 9 | 202 | 6 | 0 | |
4.00 | 1 | 2 | 7 | 190 | 3 | |
4.25 | 0 | 1 | 0 | 1 | 127 | |
ShuffleNet-v2 1× | 3.25 | 89 | 10 | 3 | 1 | 1 |
3.50 | 6 | 240 | 9 | 3 | 0 | |
3.75 | 0 | 9 | 185 | 9 | 0 | |
4.00 | 0 | 0 | 9 | 176 | 3 | |
4.25 | 1 | 0 | 4 | 9 | 127 | |
ResNet34 | 3.25 | 93 | 2 | 0 | 0 | 0 |
3.50 | 3 | 254 | 1 | 2 | 1 | |
3.75 | 0 | 3 | 204 | 4 | 0 | |
4.00 | 0 | 0 | 5 | 192 | 1 | |
4.25 | 0 | 0 | 0 | 0 | 129 |
为进一步分析5种网络的模型性能,依据测试集样本分类的混淆矩阵,采用本研究“1.3 8)”定义的指标对5种网络进行综合评估。评估结果如

图7 不同误差条件下各网络模型的识别结果
Fig.7 Identification results of each network model under different errors
A:误差为0 The error is 0; B:误差为0.25 The error is 0.25; C:误差为0.50 The error is 0.50; D:参数量和模型大小 Parameter quanity and model size.1.ResNet34; 2.ShuffleNet-v2 1×; 3.MobileNet-v3; 4.EfficientNet-v1; 5.Shuffle-ECANet.
本研究针对奶牛体况评分分类任务,提出一种改进ShuffleNet-v2 1×的轻量级奶牛体况方法。分析了ShuffleNet-v2 1×轻量级网络卷积设计特点即卷积输入和输出通道相等时内存访问成本(MAC)最小,分组卷积通过通道之间的稀疏连接来降低计算复杂度,但分组数太多的卷积会增加MAC;将ECA(efficient channel attention)注意力模块引入原ShuffleNet-v2 1×的基础单元,该模块在不降维的情况下,直接将输入的特征图进行全局平均池化(global average pooling,GAP),避免了降维对通道注意力学习的不利影响,接着通过快速1D卷积实现对每个通道及其邻近通道的局部跨通道信息交互,避免对所有通道进行信息交流产生低效的冗余信息。但引入ECA模块增加了网络的计算负担,因此减少了改进单元的数量,该模型方法在参数量和准确率之间达到了良好的平衡。由于神经网络训练往往需要大量的数据集才能达到较好的效果,而现有的每个类别的样本数据较少,因此,采用数据增强方法进行数据扩增,其中数据增强方法包括随机平移(平移距离随机产生)、水平翻转、随机旋转(旋转角度随机生成,模拟识别设备的不同拍摄角度)、随机亮度和随机对比度(随机范围均为0.5~1.5,模拟真实饲养环境下不同的光照条件)等,数据增强方法可以训练出更加适合奶牛体况评分应用的网络模型。改进后的模型,与原始模型ShuffleNet-v2 1×相比,改进模型对奶牛体况评分识别准确率提升7.5百分点;与经典卷积神经网络架构进行对比,改进模型具有更出色的识别性能以及更少的参数,从而减少了模型的内存,便于在价格要求低廉的场景中应用。下一步将重点研究如何在养殖圈舍自然环境下奶牛体况的精准高效评分,进一步推动奶牛体况商业化发展。
参考文献References
KADARMIDEEN H N.Genetic correlations among body condition score,somatic cell score,milk production,fertility and conformation traits in dairy cows[J].Animal science,2004,79(2):191-201. [百度学术]
ROCHE J R,MACDONALD K A,SCHÜTZ K E,et al.Calving body condition score affects indicators of health in grazing dairy cows[J].Journal of dairy science,2013,96(9):5811-5825. [百度学术]
ROCHE J R,MACDONALD K A,BURKE C R,et al.Associations among body condition score,body weight,and reproductive performance in seasonal-calving dairy cattle[J].Journal of dairy science,2007,90(1):376-391. [百度学术]
BERCOVICH A,EDAN Y,ALCHANATIS V,et al.Development of an automatic cow body condition scoring using body shape signature and Fourier descriptors[J].Journal of dairy science,2013,96(12):8047-8059. [百度学术]
BEWLEY J M,PEACOCK A M,LEWIS O,et al.Potential for estimation of body condition scores in dairy cattle from digital images[J].Journal of dairy science,2008,91(9):3439-3453. [百度学术]
SPOLIANSKY R,EDAN Y,PARMET Y,et al.Development of automatic body condition scoring using a low-cost 3-dimensional Kinect camera[J].Journal of dairy science,2016,99(9):7714-7725. [百度学术]
El-SHARAWY M E,MASHALY I M,SHUKRY M,et al.Influence of body condition score on blood metabolites and oxidative stress in pre- and post-calving of Friesian dairy cows in Egypt[J/OL].Slovenian veterinary research,2019,56(22-Suppl)[2022-08-11]. https://doi.org/10.26873/SVR-759-2019. [百度学术]
王玉洁,霍鹏举,孙雨坤,等.体况评分在奶牛生产中的研究进展[J].动物营养学报,2018,30(9):3444-3452.WANG Y J,HUO P J,SUN Y K,et al.Research progress of body condition score in dairy cow production[J].Chinese journal of animal nutrition,2018,30(9):3444-3452(in Chinese with English abstract). [百度学术]
李喜阳,李信颉,赵志超,等.基于机器学习方法的母猪高低产分类模型研究[J].华中农业大学学报,2021,40(3):221-229. LI X Y,LI X J,ZHAO Z C,et al.Research on sow high and low yield classification model based on machine learning method[J].Journal of Huazhong Agricultural University,2021,40(3):221-229(in Chinese with English abstract). [百度学术]
吴伟斌,唐婷,刘强,等.基于语义分割的山地果茶园道路识别技术研究[J].华中农业大学学报,2022,41(1):246-254.WU W B,TANG T,LIU Q,et al.Semantic segmentation based road recognition technology of hilly fruit and tea garden[J].Journal of Huazhong Agricultural University,2022,41(1):246-254(in Chinese with English abstract). [百度学术]
SUN Yong,王译霄,宣晓婷,等.基于机器学习联合网络爬虫算法的果汁鉴伪技术的研究进展[J].华中农业大学学报,2022,41(1):269-276.SUN Y,WANG Y X,XUAN X T,et al.Progress of fruit juices authenticity technology based on machine learning and web crawler algorithm[J].Journal of Huazhong Agricultural University,2022,41(1):269-276(in Chinese with English abstract). [百度学术]
孙俊,朱伟栋,罗元秋,等.基于改进MobileNet-V2的田间农作物叶片病害识别[J].农业工程学报,2021,37(22):161-169.SUN J,ZHU W D,LUO Y Q,et al.Recognizing the diseases of crop leaves in fields using improved MobileNet-V2[J].Transactions of the CSAE,2021,37(22):161-169(in Chinese with English abstract). [百度学术]
GYO Y,ZHANG Z,HE D,et al.Detection of cow mounting behavior using region geometry and optical flow characteristics[J/OL].Computers and electronics in agriculture,2019,163:104828[2022-08-11].https://doi.org/10.1016/j.compag.2019.05.037. [百度学术]
RODRÍGUEZ ALVAREZ J,ARROQUI M,MANGUDO P,et al.Body condition estimation on cows from depth images using Convolutional Neural Networks[J].Computers and electronics in agriculture,2018,155:12-22. [百度学术]
SONG X,BOKKERS E A M,VAN DER TOL P P J,et al.Automated body weight prediction of dairy cows using 3-dimensional vision[J].Journal of dairy science,2018,101(5):4448-4459. [百度学术]
黄小平.基于多传感器的奶牛个体信息感知与体况评分方法研究[D].合肥:中国科学技术大学,2020.HUANG X P.Individual information perception and body condition score assessment for dairy cow based on multi-sensor[D].Hefei:University of Science and Technology of China,2020(in Chinese with English abstract). [百度学术]
赵凯旋,刘晓航,姬江涛.基于EfficientNet与点云凸包特征的奶牛体况自动评分[J].农业机械学报,2021,52(5):192-201.ZHAO K X,LIU X H,JI J T.Automatic body condition scoring method for dairy cows based on EfficientNet and convex hull feature of point cloud[J].Transactions of the CSAM,2021,52(5):192-201(in Chinese with English abstract). [百度学术]
SUN Y K,HUO P J,WANG Y J,et al.Automatic monitoring system for individual dairy cows based on a deep learning framework that provides identification via body parts and estimation of body condition score[J].Journal of dairy science,2019,102(11):10140-10151. [百度学术]
BERRY D P,BUCKLEY F,DILLON P,et al.Genetic relationships among body condition score,body weight,milk yield,and fertility in dairy cows[J].Journal of dairy science,2003,86(6):2193-2204. [百度学术]
MA N,ZHANG X,ZHENG H T,et al.ShuffleNet V2: practical guidelines for efficient CNN architecture design[M].Cham: Springer International Publishing,2018:122-138. [百度学术]
WANG Q L,WU B G,ZHU P F,et al.ECA-net:efficient channel attention for deep convolutional neural networks[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Seattle,WA,USA.IEEE:11531-11539. [百度学术]
HOWARD A,SANDLER M,CHEN B,et al.Searching for MobileNetV3[C]//IEEE.2019 IEEE/CVF International Conference on Computer Vision (ICCV).Seoul:IEEE,2019:1314-1324. [百度学术]