目录：
1、基于双目视觉和深度学习的植物本体特征检测识别系统如图1所示
2、由于传统视觉方法对桂花器官识别与定位的误差较大
3、SSD模型由Liu等于2016年提出
4、首先需要对相机进行标定
5、如图4所示
6、如图6所示
7、而桂花的茎在图像中不完全竖直
8、霍夫变换的原理是利用投票算法检测特定形状
9、利用双目视觉测量出叶子与相机的空间距离
10、杭腾等提出的基于r-g颜色因子的Otsu自动阈值分割测量算法及刘骥等提出的基于叶片形状特征的识别算法
11、本研究对桂花特征数据进行实时采集
12、本地上位机通过WIFI将数据实时传输到云平台
【研究意义】随着科学技术的变革与社会经济发展,传统的农业生产逐渐向现代化农业发展,其中智慧农业和精细农业已成为当前现代化农业发展的主要趋势。
基于双目视觉和深度学习的植物本体特征检测识别系统如图1所示
基于双目视觉和深度学习的植物本体特征检测识别系统如图1所示,主要包括双目相机、深度学习识别及特征提取3部分。双目相机进行桂花图像采集,并利用相机标定结果完成图像测量;采用深度卷积神经网络对桂花的植株、茎、花、果实和叶进行检测并给出各器官在图像中的目标区域,最终在各器官图像目标区域中,利用特征提取算法精确提取桂花株高、茎直径、果径和叶面积特征。
由于传统视觉方法对桂花器官识别与定位的误差较大
由于传统视觉方法对桂花器官识别与定位的误差较大,对农田中复杂环境的鲁棒性较差。本研究提出一种结合SSD和MobileNet的深度卷积网络模型SSD_MobileNet,较传统方法提高了识别率,且具有较强的鲁棒性,可适应农田中复杂环境的变化。MobileNet卷积神经网络是一种轻量级网络模型,网络主要引入了深度可分离卷积,将标准卷积核分成一个深度卷积和一个1*1的逐点卷积,可极大减少计算量(孙俊等,201。
SSD模型由Liu等于2016年提出
SSD模型由Liu等于2016年提出,是一种适应于多尺度变换的目标检测卷积网络(吴天舒等,201。
首先需要对相机进行标定
首先需要对相机进行标定,分别获得左右相机的内参矩阵,如公式和公式所示。
如图4所示
如图4所示,首先加载相机标定参数并采集左右相机的图像数据,然后利用极线校正算法对左右相机的图像进行配准,使得相同特征点在左右相机中处于同一条直线上。利用视差计算图像的深度图,空间实际坐标点在左右相机图像中的位置差定义为视差,用△d和公式表示,其计算方法如公式所示。由公式和公式可得到P点相对于左相机的坐标,如公式所示。由公式可知,已知桂花图像点在左右相机中的视差,可计算出该点相对于相机的三维坐标,并实时获取桂花图像的深度信息,实现视野范围内桂花任意位置的图像测量。利用双目相机在大棚中采集桂花植株、茎、花、果实和叶的图像,各采集1000张,分别拍摄包含每种器官的不同角度、距离及光照下的图片,视觉特征检测系统的视觉特征检测系统深度学习每一类各使用800张图像作为训练集,剩下200张作为测试集。利用图像标注工具LabelImg对待训练的4000张图片进行手动标注,在图像中标出桂花植株、茎、花、果实和叶的准确位置,标注工具针对每张图片生成固定格式的数据来描述图像编号、大小、标注区域及所属类别等信息。利用TensorFlow深度学习框架进行模型训练,标注完数据后将数据转化为可训练的.record格式。由于深度卷积神经网络SSD_MobileNet训练需要大约10000张图片数据,而桂花图像只有3200张用于训练。因此,首先采用coco数据集对SSD_MobileNet进行预训练,然后在预训练模型的基础上设置待识别的类为植株、茎、花、果实和叶,设置网络训练的batch_size为16,学习率为0.04,迭代次数为100000次,经过8h模型训练完毕。
如图6所示
如图6所示,每张图像的处理时间为30ms,模型可准确地识别出桂花各器官的准确位置,并给出相似概率。样本测试结果如表1所示,对桂花植株、茎、花、果实和叶的检测准确率分别为98.5、99.0、99.5、99.5%和98.0。结果证明,利用SSD_MobileNet深度卷积神经网络可准确识别和定位桂花器官,能适应各种复杂环境的干扰,可见鲁棒性较传统方法有了明显提升。利用深度学习模型可得到植株所在图像区域长方形框的和,计算得到长方形框的中心点坐标为,然后利用双目测距算法,分别测量株高图像上顶点A与下顶点B的空间三维坐标,表示为A和B。最后,利用公式求出A、B两点的距离即为桂花的株高特征。随机选取20株桂花对株高进行测量,实际值采用卷尺手动测量获得,测量的相对误差如图7所示,证实该系统可实现对株高的测量,且相对误差保证在1.5%以内。桂花茎直径测量由于深度学习检测后框出的位置只能保证茎在长方形的图像区域中,无法随着茎的转动而变化。
而桂花的茎在图像中不完全竖直
而桂花的茎在图像中不完全竖直,针对此问题提出基于霍夫变换直线拟合的茎直径测量方法。
霍夫变换的原理是利用投票算法检测特定形状
霍夫变换的原理是利用投票算法检测特定形状,并计算统计结果的最大值而得到一个符合要求的集合(陈培俊和伍铁军,201。
利用双目视觉测量出叶子与相机的空间距离
利用双目视觉测量出叶子与相机的空间距离,结合相机标定结果可得到每个像素代表的实际面积,然后通过累加可计算出一片叶子的面积。最后计算所有叶子面积的平均值,作为桂花叶面积特征。实际值通过手动测量获得,叶子的手动测量采用网格法,桂花树价格将单片叶子平铺放在坐标纸上,沿着叶子的形状将其轮廓画在透明的坐标纸上,然后数网格的个数。计算格子时叶片边缘凡超过半格的计算为1,不足半格则不计数。选取坐标纸大小为每个格子长宽各为1mm,面积为1mm2,数出的网格个数即为叶片面积。如图10所示,20株桂花叶面积测量值相对误差可保证在1.3%以内,表明该系统可实现对叶面积的测量。图11为系统实际应用图,相机距离最近的桂花为1.0m,相机架高高度为0.5～1.5m,可调整。系统包括双目相机、PC和上位机,双目相机放置在两行桂花的中间保证可采集到更多株的桂花图像,图像通过USB接口实时传送到PC,对桂花长势进行实时监测。由于本体特征检测对实时性要求不高且夜晚无法获得图像,系统在每天上午10:00开始运行到下午16:00,每小时对桂花的株高、茎直径、果径和叶面积进行10次测量,最后取整天每个本体特征的平均值作为当天桂花的本体特征数据,并将数据上传每天保存一次至上位机数据库;农户可在大棚中的PC上位机界面上实时查看桂花的当前本体特征数据和历史数据,了解桂花当前长势从而调整水肥用量。图12为系统上位机数据库界面,数据的查询方式包括按周期、本体特征、是否有异常或具体日期进行查询,界面显示了2018年4—7月对桂花全身命周期数据按周查询的方式所显示的桂花本体特征数据。上位机界面会自动监测桂花生长过程中各本体特征的实时变化,对比不同时期桂花本体特征标准数据,判断当前成长时期是否有异常,并将数据保存至数据库最后一列,桂花本体特征检测系统视觉特征检测系统的若有异常系统会自动报警提醒农户。通过系统实际应用,证明结合深度学习与双目视觉的算法可完成桂花本体特征的精确无损测量,保存桂花成长过程中的数据并自动判断是否有异常,为水肥一体化和智慧农业提供实时数据支持。本研究提出结合深度学习与双目视觉的桂花本体特征测量算法,对农田复杂环境中的桂花长势进行实时监测。通过深度卷积神经网络对桂花本体特征进行检测和识别,利用双目视觉完成本体特征的精确图像测量,对实现精细农业具有重要意义。采用基于SSD_MobileNet的深度卷积神经网络,复杂农田环境变化的鲁棒性较好,网络结构中引入轻量型的MobileNet卷积网络,其在运算时间和运算资源的消耗较常见网络明显降低,桂花器官检测时间仅30ms,能满足系统实时性要求。
杭腾等提出的基于r-g颜色因子的Otsu自动阈值分割测量算法及刘骥等提出的基于叶片形状特征的识别算法
杭腾等提出的基于r-g颜色因子的Otsu自动阈值分割测量算法及刘骥等提出的基于叶片形状特征的识别算法,分别采用传统视觉算法的灰度阈值和轮廓对特征进行识别,但对农田复杂环境变化的鲁棒性较差。周云成等提出的基于DCNN的桂花器官分类识别算法,可实现桂花特征的检测,但特征检测时间为320ms,实时性较差。通过实际比较证明提出的基于深度学习和双目视觉的桂花特征检测算法可在保证系统实时性的同时,保证较高检测精度。虽然本研究检测效果良好,但在桂花本体特征有遮挡的情况下检测准确率会明显降低,双目视觉特征检测系统基于系统且桂花数据集还不够丰富,模型鲁棒性有待进一步提高。桂花本体特征数据只是保存在本地,需设计桂花特征数据共享云平台。为实现桂花水肥一体化栽培,还需设计施肥量预测算法,利用环境信息和桂花本体特征预测施肥机营养液配比。在桂花特征提取的过程中,采用SSD_Mobile-Net深度学习的方法对光照、角度和距离等环境干扰的鲁棒性较强,但在应用过程中发现当特征存在较大遮挡情况时会出现特征检测准确率下降的问题。后期可针对桂花特征遮挡问题进行进一步研究,应采集桂花不同特征遮挡情况下的数据集,对网络进行更细致的训练。采集更丰富的桂花图像训练数据集,且可对桂花图像进行缩放、旋转及灰度变换来生成更多的训练数据,利用更丰富的训练数据集训练网络,进一步提高网络模型的识别率和鲁棒性。
本研究对桂花特征数据进行实时采集
本研究对桂花特征数据进行实时采集,目前数据利用上位机保存在本地数据库,但本地数据的存储量有限且数据的重复利用率较低,无法实现不同地域数据共享,因此需要建立桂花特征数据共享云平台。
本地上位机通过WIFI将数据实时传输到云平台
本地上位机通过WIFI将数据实时传输到云平台,云平台不仅可对大量数据进行保存,还能将特征数据与桂花生长情况共享到网络,同时接收不同地域的数据,从而对桂花疫病进行提前预警,为桂花生长状态后期研究提供大数据支持。目前只完成桂花本体特征的测量与数据保存,对于实现桂花水肥一体化需进一步研究桂花本体特征与施肥量的关系。结合桂花生长环境的温湿度、EC和pH,建立基于桂花生长特征的营养液设定值预测算法,特征检测系统根据当前桂花的长势和环境信息预测下一周期施肥机营养液EC和pH的调节量,从而实现桂花水肥一体化科学精准灌溉。