基于计算机视觉的智能牧场应用研究

  随着图像处理技术的快速发展、计算机硬件成本的不断下降以及计算机运算速度的不断提升，计算机视觉技术已经成为现代畜牧养殖业的一个重要应用技术。近几年，高科技的大型牲畜养殖基地不断兴起,越来越多的合理的智能化畜牧管理方案被提出，并成功地帮助政府实现科学管理，帮助牧民实现更好的放牧管理。“智能牧场”的应用研究已经成为关注重点，牧场管理逐渐向信息化、智慧化的方向发展。牧场的管理人员通过智能牧场管理平台可以提高牧场的信息化水平。应用智能牧场管理系统可以真正实现牧场管理过程的公开化，透明化以及规范化，降低人工劳动成本，增加管理效率。草原畜牧业是我国的传统行业，近年来，随着计算机水平的提高以及计算机视觉技术的快速发展，目标跟踪技术应用于牲畜养殖方面得到越来越广泛的关注。目前，基于判别模型的目标跟踪算法（Tracking-by-Detection）占据主流地位，主要表现为基于相关滤波的跟踪算法以及基于深度学习的目标跟踪算法。在基于相关滤波的跟踪算法应用方面，国内外相关研究已经取得很多成果，并广泛应用于牲畜养殖中。李亿杨等基于粒子滤波算法，将颜色特征和目标轮廓形心特征相融合,实现生猪的采食行为跟踪。曹洁等提出一种抗遮挡的鸡群优化粒子滤波跟踪方法。杨东海等采用增强的核相关滤波跟踪算法,对青鳉游泳轨迹进行跟踪研究。基于相关滤波的跟踪算法对于不同种类的动物都呈现出了较好的效果。然而，由于草原中牧场的占地面积较大、牛活动范围广、牧场环境恶劣，在自然环境下对牛的检测跟踪的难度较大。基于深度学习的目标跟踪算法可以更好的提取牛目标的特征，跟踪效果会更好。将计算机视觉深度学习算法应用于牛检测跟踪方面，有助于推进我国规模化养殖的发展，极大的方便牧民了解牧场实时情况以及提高我国的健康养殖水平，可以为后期牲畜行为分析提供技术支持。内蒙古的羊养殖也是内蒙古畜牧业养殖的一个标志性产业，羊群的放牧在羊养殖中起着至关重要的作用。而在放牧的过程中，难免会发生由于放牧管理不当造成羊只发生死亡或丢失的情况。因此,在放牧或归牧前对羊群进行数量检查，检测是十分有必要的。传统的人工数量统计方法工作量大且为了精确数量，需要更多的管理人员进行统计比对。随着计算机水平的提高以及计算机视觉技术的快速发展，牲畜数量检测成为智能养殖产业的一个关键技术。目前常用的一种数量统计方法是基于先检测后跟踪的计数方法，首先通过检测算法准确的检测出目标，然后利用跟踪算法确保目标不被重复计数，从而实现个数统计。目前该方法在行人、车辆、海洋生物等流量检测方面都应用广泛。而在牲畜养殖中的相关应用研究还比较缺乏。在羊群个数检测方面，田磊等通过采集羊群图像，利用 YOLO 目标检测算法对羊群个数进行检测，尚未达到实时检测数量的目的，而且需要对采集的图像进行背景对比来确保不会出现重复计数的情况。

  1.2 选题的目的及意义

  针对我国畜牧业的发展，规模化养殖能够有效提高畜牧业养殖生产效率，有利于牧民增产增收，是实现畜牧业领域经济增长的有效途径。然而，实现规模化养殖面临着很大的挑战，在一定程度上对养殖的方式方法以及管理体系都由更高的要求。近年来，随着深度学习的快速发展，计算机视觉在视觉感知、图像识别、人脸识别、目标定位等领域得到了广泛的研究，已经成为人工智能领域最重要的技术。基于计算机视觉的智能牧场逐渐引起人们的重视。在放牧养殖中，实时监控牛的运动状态，自动统计羊群数量是牲畜养殖中的一个重要课题。因此，本文针对牛的运动状况以及羊的数量检测进行研究。以苏尼特左旗和察哈尔两个地方的合作牧场的牛和羊为研究对象，采集牛和羊的图像信息。对所有图像信息进行挑选整理，利用 Label Img 标定工具进行标定并生成对用的 XML 文件，制作成标准的 VOC 格式数据集，利用深度学习目标检测和目标跟踪模型，对牧场中的牛和羊进行跟踪，在牛跟踪的基础上，结合 PID控制算法，稳定控制摄像头跟随牛转动，以便监控牛运动状况，替代传统监控系统中手动操作控制摄像头云台的方法。在羊的跟踪基础上，结合双线计数法，划分计数区域，对牧场中羊通道的羊实现数量检测，解决传统的人工计数方法工作量大，耗时长，且容易存在计数失误的问题。传统的牛跟踪一般都是给牛带上电子耳标，这种方法虽然能够提取牛的位置信息，但无法实时地观察牛的行为动作，无法及时了解牛的生长和健康情况。基于机器视觉的牲畜跟踪，在一定场景下能够实现快速可靠的跟踪，但跟踪的可靠性需要跟踪目标在跟踪或称中不会发生变化，当跟踪目标的表观特征改变后，跟踪结果和实际的目标位置会产生较大偏离。因此本文将深度学习方法应用到牛跟踪方面，实现对牛的可靠跟踪，同时结合 PID 控制算法，实现摄像头云台对牛的自动跟踪。羊群的放牧在羊养殖中起着至关重要的作用。而在放牧的过程中，由于放牧管理不当造成羊只发生死亡或丢失的情况难免发生。这就需要牧民每天在放牧或归牧前对羊群进行计数。由于羊群个数较多，导致传统的人工计数方法工作量大，耗时长，且容易存在计数失误的情况。因此，科学有效地解决羊群计数问题已经成为牲畜养殖中的一个重要课题。本文针对牧场的羊群流量计数，在牧场的羊通道出口设置摄像头，通过基于深度学习的跟踪方法确保同一只处于视频内的羊不会被重复计数。采用双线计数法对跟踪目标框进行计数，实现对羊的数量检测。通过将深度学习方法应用到牲畜养殖的做法，在一定程度上可以实现养殖牲畜生长过程的数据化，构建精细化养殖管理体系，提高养殖业生产效率。

  本文主要研究内容为基于计算机视觉的智能牧场应用研究，在畜牧养殖中，监控牛运动状态，统计羊群数量是牲畜养殖中的一个重要课题。因此，本文针对牛的运动状况和羊的数量检测进行智能牧场的应用研究，基于计算机视觉的智能牧场应用研究，主要分为三个部分，第一部分是对牧场采集的数据集进行 YOLOv3 模型训练，使用 Darknet-53 网络提取特征，采用 3 种不同尺度的特征图直接进行目标的分类和回归边框。第二部分是对牛的跟踪，将 YOLOv3模型与 Deep SORT 模型相结合，加入 PID 算法控制牧场的摄像头，自动跟随牛运动。第三部分是对羊通道羊的计数，同样将 YOLOv3 模型与 Deep SORT 模型相结合，加入双线计数方法，对羊通道摄像头中的羊进行实时计数。深度学习网络模型的训练和测试需要大量的样本数据，本文首先从内蒙古苏尼特左旗和察哈尔右旗采集大量牛和羊的图像视频；然后采用视频裁剪程序截取图像，并挑选图像；最后采用 Label Img 标定工具进行图像标定，制作成 PASCALL VOC 格式（XML）的数据集。在对牧场摄像头中的牛和羊进行检测方面，由于牛、羊与摄像头距离的变化，牛、羊的姿态变化，以及摄像头光线变化等因素的影响，极大地增加了目标检测的难度。YOLOv3 目标检测模型采用 3 个尺度进行目标检测，对于小目标的检测性能更好，且检测速度快，可以实现实时监测。因此本文采用 YOLOv3 目标检测模型作为牛和羊检测的目标检测模型。在目标跟踪方面，由于牛和羊的运动速度不是完全的线性运行方式，因此在对羊和牛的目标跟踪方面，本文采用基于检测的跟踪—Deep SORT 目标跟踪模型。Deep SORT 在对检测出的目标进行 Kalman 滤波预测后，通过外观信息匹配和运动特征匹配两种匹配方式的融合，更好地实现目标跟踪，并引入级联匹配解决了目标长时遮挡问题。可以作为牧场中羊和牛的目标跟踪模型。本文结合 YOLOv3 目标检测和 Deep SORT 目标跟踪实现对牧场中的牛和羊的跟踪。主要方法是将 Deep SORT 目标跟踪模型中的检测部分用 YOLOv3 目标检测模型代替。首先利用 YOLOv3 目标检测算法检测目标在图像中的位置，然后利用卡尔曼滤波来预测目标在当前帧中的新位置并估计其边界框的形状，通过运动匹配和外观匹配的组合来刻画检测和跟踪的匹配程度，最后使用级联匹配对多目标进行检测跟踪匹配。基于计算机视觉技术的牛跟踪系统分为 3 个模块，检测模块、跟踪模块和云台控制模块。检测模块：建立深度学习 YOLOv3 网络模型，通过加载与训练网络对标定的牛图像数据集进行模型训练，得到训练权重，进行牛的检测。跟踪模块：将生成的YOLOv3 训练权重与 Deep  SORT 目标跟踪模型相结合，进行牛的跟踪。云台控制模块：采用 PID 算法，结合牛的跟踪信息，控制摄像头云台自动跟随牛转动。实现对牧场中牛的 3 个功能：(1)未检测到牛时自动巡航，(2)自动跟踪多只牛，(3)指定跟踪单只牛。

  3.1 YOLOv3 检测原理

  3.2 Deep SORT 跟踪原理