摘要设计了一套基于计算机视觉的葡萄检测分级系统,包括驱动装置、输送机构、夹持机构、图像采集和 葡萄通过悬挂连续输送处理系统和分级控制系统CCD相机在外触发模式下实时采集葡萄的两面图像。 基于RGB用投影面积法和果轴方向的投影曲线计算果穗的大小和形状参数,然后实现葡萄牙 葡萄的外观质量分类。20穗巨峰葡萄3与人工分级相比,颜色和形状分级的准确性分别为 90%和88.3%,葡萄在分级过程中不会受损。
关键词:葡萄分级计算机视觉图像处理
引言
然而,由于采摘,中国的新鲜葡萄产量居世界第一。 后处理和分类技术水平低,中国鲜葡萄产品 国际市场竞争力差,出口量小⑴。目 前葡萄的分类主要由人工完成,效率低下 很难客观准确地适应规模化和工业化的生存 产的要求。计算机视觉检测客观、准确、快速 速度、无损等优点已广泛应用于苹果、柑橘、西红色 柿子、桃子、梨等近球形单粒水果的外观质量测试 分级⑵。葡萄是一种形状复杂的穗状水果 果实包括多个相互堆积的果粒,果实柔软多汁,因为 基于机器视觉,葡萄分级有一定的特殊性 性,目前在国际上应用较少,已报道的研究成果主要是 要是Philippe Blanc美国专利申请⑴,国内此方 面部研究没有报道。本文参考人工分级标准开发 一套葡萄实时检测和分级系统,将葡萄挂在悬挂方 采用计算机视觉技术提取葡萄果实的连续输送 表面颜色、果穗大小、形状等图像信息,实现葡萄 外观品质的在线检测分级。

图2输送机构和夹持机构简图
Fig. 2 Conveying unit and holding unit
1.夹持体2.葡萄3.弹簧4.链条5.滚动轴承6.环形轨道
1.1系统结构设计
由于葡萄的检测分类不同于苹果、柑橘等水果,因此 葡萄果实柔软多汁,不允许滚动或翻转 也不允许其在检测台上滑动或滚动。本文 开发的葡萄分级系统采用人工上下料,葡萄悬挂 系统由驱动装置和悬挂式输送机连续输送 结构、葡萄夹持机构、图像采集与处理系统、分级控制 如图1所示,由系统5组成。
Fig. 1 Structure of the grapes inspection and grading system
1.驱动装置2.图像采集区3.分级控制系统4.悬挂式输送 5.简葡萄6.葡萄夹持机构
驱动装置是电机通过传动的链式传动机构 轴驱动主动链轮旋转,然后通过链驱动另外三个 旋转链轮驱动环形输送系统;悬挂式 输送机构包括机架、环轨、链条、滚动轴承组件等 如图2所示,输送链分别上下悬挂 耳朵的精密滚子链通过滚动轴承滚动轴承组件悬挂 在环形轨道中,下吊耳连接夹持机构夹持葡萄 果柄实现葡萄的悬挂式输送;葡萄夹持机构吊装 安装在输送链下吊耳下方,葡萄果柄可靠 夹在两个橡胶夹紧垫之间,通过调节弹簧预紧 保证不损坏果柄。葡萄其他部位在检测过程中 位均不与检测装置接触或碰撞,可避免 检测过程中的损坏也方便摄像系统从不同角度进行损坏 获取尽可能多的果面信息。
12图像采集和分级控制
为了在不翻滚葡萄的情况下获得输送线 该系统采用单穗葡萄相对完整的果面信息PC 机器、单采集卡、双摄像头同时采集一穗葡萄两侧图像 图3为图像采集和分级控制原理图。 横跨一侧机架的灯箱构成图像采集区,灯箱内 520个灯座板分别安装在4个灯座板上 W荧光灯管,使 进入到图像采集区域的葡萄表面形成均匀的光照效 果。选用两个JVC TK-C1481BEC型彩色CCD摄 照相机分别安装在灯箱两侧,配合日本精工 mm 物距6000的手动光圈定焦镜头 mm下进行图像 采集。选择微视凌志Matrox Morphis采集卡,其双 视频解码器框架支持连续收集双标准视频 图像。图像采集和分级控制PC-PLC的主从 式构架,PC图像信息的采集主要作为上位机完成, 处理和分析,PLC作为下位机,逻辑控制主要完成 处理传感器传输的葡萄位置信息,控制图像 另一方面,通过与上位机的通信,收集分级信息 显示控制。上位PC机与PLC以PPI多主站编程 选择点对点接口进行电缆通信 PPI协议实现PLC 与PC的通讯。每当葡萄运行到釆集区域时,电感 接近传感器检测到与葡萄相连的夹持机构,产生 脉冲触发信号PLC,脉冲触发信号 被PLC用于记录和跟踪穗葡萄的位置,触发 采集卡采集葡萄的两幅图像。收集到的图像经过 经计算机处理后,确定葡萄的等级,并通过RS232串 发送等级值PLC。PLC葡萄等级的接收和保存 当串葡萄移动到分级区时,控制指示灯显示信息 展示葡萄的等级。
图3图像采集和分级控制原理
Fig. 3 Image grabbing-processing and grading control
1.图像采集与处理系统2.分级控制系统3.分级指示灯
4.传感器5.光源6.葡萄7.CCD相机8.光照箱
2图像处理和特征参数提取
本文的研究对象是中国种植面积最广的巨峰葡萄 参照国家鲜葡萄标准和农业行业标准⑷, 巨峰葡萄的外观质量等级指标主要包括果面颜色和果面颜色
图4 一串巨峰葡萄
两面图像
Fig. 4 Two images of a bunch of Jufeng grapes
图5扁担形果穗 Fig. 5 Bunch of abnormal shape
400
350
300
250
专200
150
100
50
0 100 200 300
目标像素累加值
图6提取形状特征参数Fig. 6 Shape featureextraction
本文主要介绍穗的大小、形状、果粒的大小和均匀性 果面颜色、大小和形状分类。
2.1图像预处理
每次在检测线收集 如图4所示,穗葡萄的两幅图像 所示,先用3x3中值 滤波器去除噪音。葡萄分析 图像R、G、B 3个通道的 找到每个通道的直方图 方图均为明显方图 峰值,B通道直方图的波 谷宽大,不同 成熟葡萄,灰度210 附近有明显的波谷,所以选择B通道固定阈值 T = 21。进行目标分割。
2.2提取果面颜色特征参数
颜色在某种意义上代表水果的成熟度和味道, 大多数水果颜色分类都是基于RGB⑴或HSI⑹两种色 彩色空间提取特征参数,建立分级模型。巨峰葡萄等 葡萄根据果面紫黑的着色率分为优等果实 (紫黑着色率大于95% )、一级果(紫黑着色率大于紫黑着色率) 85%)和二级果(紫黑色着色率小于85%) )0通过大量 发现颜色特征参数Ccolor =2G-R-B(R、G、B 分别为R、G、B颜色通道的灰度值)可以更好地区分 果面紫黑区和非紫黑区,紫黑区 《。板>0.可以计算出葡萄果面紫黑区域的百分比。 然后进行颜色分级。
2.3提取果穗大小参数
投影面可用于机器视觉检测分级 积⑺、周长⑻、最大横径⑴、体积质等作为大小分 等级参数。本文采用投影面积法计算一穗葡萄的两个 葡萄目标在图像中的投影面积S|、S2.取其平均值 C““ =(S| Sz)作为大小分类的特征参数。
24提取果穗形状参数
目前,水果形状检测方法主要分为两种,一种是使用 简单的几何量径比、曲率等简单几何量 对于形状分类的特征参数,其次是傅里叶描述子的重量 建造水果形状"I。葡萄果穗的形状受环境因素影响 而且差别很大,随机性很大,很难使用简单的几何量 描述或重建果形。/p>
在人工分级中,巨峰葡萄果穗典型的形状缺陷 是扁担形,即两端大中间小,如图5。由于扁担形的 葡萄果穗下半部分质量较大,而中间部分细弱,容易 出现掉粒和下部脱落的情况。本文基于果轴方向投 影曲线提取形状参数以识别扁担形果穗,首先逐行 扫描图像,计算每一行目标像素点个数的累加值n, 从而得到果轴方向(Z)投 影曲线,如图6。对于扁担 形果穗,曲线呈明显的双 峰,谷点位置标记为G(l,, 七),下峰点位置标记为 F(S),通过统计55穗 形状各异葡萄的110幅图 像(每穗采集两面图像), 发现谷点位置八的取值在 0. 15Z, -0. 65Z,范围内,其 中L为果轴长度。
求 % = minn ( Z) , / g (0. 15L,0. 65L),从而得到 谷点 G(lg,Hg),求 nf = maxn(Z) ,1 g (0,。),从而 得到下峰点,(垢勺),定 义形状参数Chap。= ng/nf0 一般ChgWl,纣”越小 说明扁担形越严重。
选取55穗巨峰葡萄 (其中25穗为扁担形,30 穗为正常形状),在检测线 上采集110幅图像,按上 述方法求得每幅图像的形状参数,得到图7所示的 形状参数分布散点图,可以看出扁担形葡萄的。血* 基本在0.55以下,而正常形状葡萄的一般在 0. 55以上。故确定形状分级模型为:若Cm” < 0. 55,则判断为畸形果。
图7形状参数分布图
Fig. 7 Shape parameters distribution
♦扁担形状葡萄 ■正常形状葡萄
80 100 120
图像川号
3分级试验与结果 3.1颜色分级试验
选用20穗巨峰葡萄,人工按颜色分为3级后, 将其分别悬挂在检测线的夹持机构上,并将各自的 等级在夹持机构上做标记,以便与在线检测结果进 行对比。进行了 3次试验,每次试验前将葡萄绕果 轴随机旋转一定角度后吊装,从而使拍摄图像的角 度有所不同。统计在线分级与人工分级不一致的穗 数,结果如表1所示,分级精度为90%。
颜色分级结果
Tab. 1 Color grading results
参数 | 等级 | |||
一级 | 二级 | 三级 | ||
果面紫黑色着色率/% | >95 | >85 | W85 | |
人工分级穂数 | 11 | 5 | 4 | |
第1次试验 | 1 | 1 | 0 | |
在线错分穗数 | 第2次试验 | 1 | 0 | 1 |
第3次试验 | 1 | 1 | 0 |
3.2果穂大小形状分级试验
将20穗巨峰葡萄人工按大小和形状分为3级, 然后按照上述方法进行分级试验。统计在线分级与 人工分级不一致的穗数,结果如表2所示,分级精度 为 88. 3%。
4结束语
设计了一套计算机视觉葡萄分级系统,将葡萄
«2果穂大小形状分级结果
Tab. 2 Bunch size and shape grading results
参数 | 等级 | ||
一级 | 二级 | 三级 | |
分级标准 | Cg > 130 cm2 | CQ110 cm2 | Cm.<110cni2 |
且 C.h・pe >0. 55 且 C.h.pe >0. 55 | 或 C.5<0・55 | ||
人工分级穗数 | 8 | 5 | 7 |
第1次试验 | 1 | 1 | 1 |
在线错 | |||
第2次试验 | 0 | 1 | 1 |
分穗数 | |||
第3次试验 | 1 | 1 | 0 |
以悬挂方式连续输送,分级过程中不会对葡萄造成 损伤。在外触发模式下同时采集一串葡萄的两面图 像,以提取较为全面的果面信息。基于颜色特征参 数Ccq1„=2G-R-B统计巨峰葡萄果面着色率,采 用投影面积法和果轴方向投影曲线计算果穗大小和 形状参数,试验结果表明,与人工分级对比,颜色和 大小形状分级的准确率分别为90%和88. 3%。
參考文献
1翟衡,杜远鹏,孙庆华,等.论我国葡萄产业的发展[J].果树学报,2007,24(6):820 - 825.
Zhai Heng, Du Yuanpeng, Sun Qinghua, et al. On the development situation of Chinese grape industry] J] • Journal of Fruit Science, 2007,24 (6) :820 ~825. (in Chinese)
- Tadhg Brosnan t Da-Wen Sun. Inspection and grading of agricultural and food products by computer vision systems a
review [ J ]. Computers and Electronics in Agriculture, 2002,36(2 ~3):193~213. ,
- Philippe Blanc. Unit for sorting and packaging products capable of being hung on a hooking member for the purpose of their conveyance, such as bunches of fruits, in particular table grapes or truss tomatoes: US,6957940[ P]. 2005 - 10-25.
- NY/T 470—2001 鲜食葡萄[S].
- Dah-Jye Lee, James K Archibald, Chang Yuchou. Robust color space conversion and color distribution analysis techniques for date maturity evaluation] J]. Journal of Food Engineering, 2008, 88(3) : 364 ~372.
- Tao Y, Heiemann P H, Varghese Z, et al. Machine vision for color inspection of potatoes and apples[ J]. Transactions of the ASAE, 1995, 38(5) : 1 555 ~1 561.
- Bato P M, Nagata M, Cao Q, et al. Study on sorting system for strawberry using machine vision ( part 2) [ J]. Journal of the Japanese Society of Agricultural Machinery, 2000,62 (2) :101 ~ 110.
- Sarkar N, Wolfe R R. Feature extraction techniques for sorting tomatoes by computer vision] J]. Transactions of the ASAE, 1985, 28(3): 970 ~979.
- Blasco J, Aleixos N, Molt6 E. Machine vision system for automatic quality grading of fruit[ J]. Biosystems Engineering, 2003,85(4).415 ~423.
- Chong V K, Kondo N, Ninomiya K, et al. Features extraction for eggplant fruit grading system using machine vision[ J]. Applied Engineering in Agriculture, 2008, 24(5) ; 675 - 684.
- Vooren V D, Polder J G, Heijden V D. Identification of mushrooms cultivars using image analysis[ J]. Transactions of the ASAE, 1992, 35⑴:347 ~350.
12应义斌.水果形状的傅立叶描述子研究[J].生物数学学报,2001,16(2):234 -240.
Ying Yibin. Fourier descriptor of fruit shape[ J]. Journal of Biomathematics, 2001,16 ( 2) :234 - 240. (in Chinese)