-
树木是木本植物的总称，种类多、形态各异、区域分布广泛，识别难度较大。传统识别树种的方式费时且低效，如何利用手机等数字终端进行快速准确的识别，对满足林业野外工作者以及普通大众用户的树种认知需求具有重大意义。
树木叶片具有形状特征多、区分度大、生存期长等优点，是理想的树种识别研究对象[1]。在国内外研究中，提取的叶片特征主要有传统形状特征、分形维数[2]、轮廓[3-5]、纹理[6-8]、不变矩[9]等。如Novotny等[10]设计了一个在线识别网站，通过提取傅立叶描述子、叶片传统形状等特征，利用最近邻分类器，在ICL数据库中，叶片识别准确率为79.68%。Le等[11]基于Android系统，通过提取SURF特征进行叶片识别，在Flavia数据库中准确率为95.94%。Sumathi等[12]提取叶片轮廓参数以及Gabor特征，利用神经网络进行识别，在197个自收集样本数据中识别准确率为95.89%。刘念等[13]通过提取LBP、灰度共生矩阵GLCM、Hu不变矩等特征，使用深度信念网络，在ICL数据集中，叶片识别识别率达到93.939%。Shayan等[14]提取叶片长宽比、似圆率等传统形状特征，利用神经网络识别，在自收集的534个样本的数据集中叶片识别准确率为92%。上述方法的准确率都较高，但十分依赖高质量图像，并且缺乏对叶型轮廓的描述表征能力，对继续提高叶片识别准确率造成了一定的瓶颈，也使其实际应用受到了极大的限制。
在实际工作中，受拍摄角度、光照、叶片阴影、成像聚焦程度等影响，叶片的纹理、传统形状特征、不变矩等特征值都会有较大浮动，但结合基于叶片的轮廓方法进行识别则准确率更高，鲁棒性更强。如Hu等[15]利用叶片轮廓序列构建多尺度距离矩阵，在ICL数据集中，叶片识别准确率为98%。Gwo等[16]利用轮廓点与质心相对距离构建长度直方图，通过计算直方图相似度进行叶片识别，在计算结果集中，排序第1(Top 1)的正确率为92.7%，排序前2(Top 2)的正确率为97.3%。Leafsnap是利用叶片轮廓特征目前最成功的树木叶片识别app [17]。它是由哥伦比亚大学、马里兰大学以及史密森学会联合研制的树种识别软件，他们提取了多尺度曲率积分直方图HoCS特征向量，利用直方图相交距离的方法识别叶片，在Leafsnap数据集中，排序前5(Top 5)的准确率为96.8%。
传统的叶片识别方法只能利用完整而且压平的叶片图像，对于残叶、扭曲叶、模糊叶等“非正常叶”的识别准确率往往会比较低。本文提出的基于距离矩阵与角点矩阵进行叶片识别的算法具有旋转、缩放、平移不变性，不仅能有效提高正常叶片的识别准确率，也能有效识别上述“非正常叶”。由于该算法将叶片轮廓识别问题转化为了多边形匹配问题，因此该算法也适用于其他平面多边形目标匹配以及碎片拼接等领域。此方法在Flavia数据集和Leafsnap数据集中进行了验证。
-
对拍摄的叶片图像进行预处理，是基于叶片特征进行树种识别的基础，其总体步骤主要包括图像去阴影、初步分割、消除叶柄、提取轮廓、提取传统特征值等。
-
可靠的叶片分割对于特征提取有着至关重要的作用。在使用移动终端拍摄叶片图像时，不可避免地存在阴影、模糊、曝光过度、清晰度不够、背景多样等问题。在大量的对比实验后，本文在文献[17]中关于图像分割算法的基础上，增加了去除叶片阴影的算法，提取了更为准确的叶片轮廓。
-
阴影的去除通常是比较困难的。在RGB模式下，阴影很难被检测出来，但由于本文的算法要求用户在没有复杂纹理的淡颜色背景下拍照，所以将图像转为HSV颜色空间后，阴影与叶片在饱和度以及色度方面有明显的区别，本文根据这一特性设计了如下消除叶片阴影的算法(图 1)。
图 1 叶片图像去除阴影流程
Figure 1. Process of removing blade image shadow
按照该算法，首先将算法图像的副本由RGB颜色空间转化为HSV空间，并将值归一化到[0, 255]区间，然后对S通道的图像进行二值化，利用高斯滤波和开运算去除部分明显的噪点后得到二值S通道图像。再利用该通道图像，将V通道中非轮廓区域设置为255，同时将H通道的值设置为0，最后重新合并通道并输出去除阴影后的高对比图像。
图 2中的原图是利用Android系统的手机实地随机拍摄的一张叶片图，图形左下角有明显的阴影，将其转化为HSV颜色空间后，S通道对阴影有较大的区分度；经过一系列的去噪处理后，得到S通道去除阴影后的二值图，然后将H通道数值设置为0，在V通道中根据S通道将非白区域填充为图像边缘均色，最后将图像通道合并后输出结果图。
图 2 去除阴影效果图
Figure 2. Effect image of removing shadow
-
在消除叶片阴影的基础上，将图像等比缩放至500×500像素，使叶片图像归一化。缩放时，长宽尺寸不足的部分利用边缘均值加权填充。公式(1)定义了计算每个像素的正态分布数学描述。
$$ p(x|\theta )={{\omega }_{0}}p(x|{{\mu }_{0}}, \Sigma )+{{\omega }_{1}}p(x|{{\mu }_{1}}, \Sigma ) $$ (1) 式中：θ={μ1, μ2, Σ}集合；x表示像素样本；μ0表示饱和度分布均值；ω0表示饱和度正态分布权重，默认值为0.5；p(x|μ0, Σ)表示饱和度正态分布；ω1表示亮度正态分布权重；μ1表示亮度分布均值，默认值为0.5；p(x|μ1, Σ)表示亮度正态分布；Σ表示协方差。
在读取图像数据时，每个正态分布模型初始化在各自期望值中心，然后用当前分布参数交替预测每一个像素点的概率，并以此迭代更新分布参数，直至收敛到指定阈值为止。经该步骤处理后，每个像素就可以根据两个高斯分布的关系判断是叶子或者是背景的像素。
-
叶柄是叶片与茎的连接部分，不利于叶片识别。顶帽运算(Top-Hat)是比较成熟的图像形态学处理算法，用来分离比邻近点亮一些的图块，往往用来提取大幅背景图像下的有规律的小物体。因此，本文利用自适应核的Top-Hat算法对叶柄进行了消除。
为分离叶柄，本文设计了如下的Top-Hat自适应核：
$$ r=0.02t\sqrt{wh} $$ (2) 式中：w表示图像宽度，h表示图像高度，t表示EM模型估算的叶片像素比。
在不增加图像非联通区域的前提下，在原图上减掉利用Top-Hat算法提取出的目标图像后，留下的则是不含叶柄的叶片。
-
本文的算法需要与传统形状特征、Hu不变矩特征、Zernike不变矩特征以及纹理特征结合使用，以达到进一步提高识别准确率的效果。
-
本文用到的传统形状特征主要包括球状性、矩形度、圆形度、狭长度、偏心率、周长直径比[18]、面积凹凸比、周长凹凸比[1]8个特征。它们主要是利用圆形、矩形以及外接凸包进行不同层面的比值计算，对叶片形状的描述能力有限。
-
这种不变矩是由Hu首先提出的，含7项不变特征值，具有旋转、缩放、平移不变性[9]。在大量的实验后，本文发现后5项特征的数值波动范围略大，影响树木识别准确率，因此只采用了基于二阶矩推导出来的前两项特征值。
-
Zernike不变矩来源于Teague提出的正交矩思想，利用正交多项式集在单位圆内的完备正交集，可以构造任意高阶矩，本文把Zernike矩的模作为特征来描述物体形状。在叶片识别中，相较于Hu矩，其受到对称图形的影响更小，具备更好的旋转不变性，在抗噪声干扰方面表现更优[19]。由于低阶矩偏向于整体形状，阶数越高，越能描述图像细节。本研究兼顾性能和图像质量，仅提取了前5阶共10个特征向量。
-
叶片纹理特征已经有许多研究成果，本文采用文献[1]中的方法，基于灰度共生矩阵提取了分形维数、能量、熵、惯性矩、局部平稳等5个纹理特征值。其中，分形维数用来描述纹理复杂程度，具有多尺度不变性；能量表示纹理分布均匀性；熵表示图像中的信息量；惯性矩表示纹理清晰度；局部平稳可用来衡量纹理变化的幅度。
-
本文以平面几何中相似多边形定义为理论基础，提出了基于距离矩阵以及角点矩阵的叶片轮廓识别算法，定义了叶尖角特征、边角均值特征、叶缘角凹凸性等轮廓特征，设计了最长多边形子序列匹配算法、矩阵相似度计算方法、模型匹配算法等。
-
由于原始叶片轮廓点序列太多，严重影响计算性能，不适合直接用于轮廓匹配。本文利用Douglas-Peucker approximation算法[20]将叶片轮廓用多边形进行拟合，并以此为基础，提出了基于距离矩阵与角点矩阵的识别算法。
图 3以三角枫(Acer buergerianum)为例，展示了边数分别等于46和21时的叶片轮廓拟合效果。从图 3中可以看出，边数在46时，拟合的误差几乎可以忽略，而边数为21时，拟合误差则较大。
图 3 多边形拟合效果图
Figure 3. Fitting effect image of polygon
-
距离矩阵[21]是由多边形序列之间的欧氏距离所建立的N维方阵，其行是当前点与其他序列点之间的欧氏距离，角点矩阵的起点与距离矩阵相同，由相邻多边形序列点构成的叶缘角组成。距离矩阵具有平移、旋转不变性，经归一化处理后，还具有缩放不变性。
公式(3)给出了归一化的距离矩阵D数学描述，式中d可由公式(4)计算得出，由于D利用相对距离，因此图像的缩放也不会影响该公式的计算结果。公式(5)定义了与D一一对应的角点矩阵C，也具有平移、缩放、旋转不变性等特点。
$$ \boldsymbol{D}=\left[ \begin{matrix} {{d}_{1,1}}/d&\text{ }\cdots &\text{ }{{d}_{1,n}}/d \\ \vdots &\text{ }&\text{ }\vdots \\ {{d}_{n,1}}/d&\text{ }\cdots &\text{ }{{d}_{n,n}}/d \\ \end{matrix} \right] $$ (3) $$d = \operatorname { max } ( d _ { 1, 1 } , d _ { 1, 2 } , \cdots , d _ { n , n } )$$ (4) $$ \boldsymbol{C}=\left[ \begin{array}{*{35}{l}} {{c}_{1}}&{{c}_{2}}&\cdots &{{c}_{n}} \\ \end{array} \right] $$ (5) -
叶尖角特征定义为叶片轮廓多边形内侧锐角，是肉眼最容易观察的特征，也是区分度比较大的一类特征。基于此，本文利用边数少于20时的多边形提取叶尖角特征。图 4为三角枫叶片在边数为10时的拟合多边形，它包含了3个叶尖角。
图 4 叶尖角示意图
Figure 4. Sketch map of leaf angles
约定叶缘角θ为叶片多边形内夹角，定义如下：
$$\theta = \operatorname { arccos } ( \frac { \overline { B C } ^ { 2 } + \overline { B A } ^ { 2 } - \overline { A C } ^ { 2 } } { 2 \overline { B C } \cdot \overline { B A } } )$$ (6) 设A(xa, ya)、C(xc, yc), 则AC的中点P(xp, yp)可通过如下公式得出(具体叶尖角算法见图 5)。
$$P _ { x } = \frac { X _ { a } + X _ { c } } { 2 }$$ (7) $$P _ { y } = \frac { Y _ { a } + Y _ { c } } { 2 }$$ (8) 
图 5 叶尖角计算流程
Figure 5. Calculation process of leaf angles
边角均值特征描述了多边形对应边角乘积均值J，定义如下：
$$J = \frac { \pi } { 180 n } \sum\limits _ { i = 1 } ^ { n } b \theta$$ (9) 式中：b表示多边形归一化后的边长，θ为叶缘角，n为多边形的边数。
凹凸性特征矩阵V描述了多边形按顺时针方向的叶缘角凹凸性变化序列，定义如下：
$$\boldsymbol{V} = \left[ \begin{array} { c c c c c c } { v _ { 1 } }&{ v _ { 2 } }&{ \cdots }&{ v _ { i } }&{ \cdots }&{ v _ { n } } \end{array} \right]$$ (10) 式中：vi表示叶缘角在(0, 90)区间时设置为1，其他区间时取-1。
-
根据相似多边形定义可知，相似多边形对应角相等，对应边成比例，周长的比等于相似比，面积比等于相似比的平方。
由于距离矩阵已经归一化，在理想情况下，周长的比应该等于相似比，但现实情况会有所差别，通过设置阈值，可以首先利用该性质将不满足该条件的目标过滤掉，减少后续运算量。
设DA和DB分别表示待匹配距离矩阵和目标距离矩阵，CA和CB对应待匹配角点矩阵和目标角点矩阵。设p与q分别表示两个目标轮廓子匹配起点，u表示最大子匹配长度, m表示DA中边数，n表示DB中边数，公式(11)定义了凹凸性特征相对矩阵φ，公式中的各项元素在理想情况下应等于1。
$$ \mathit{\boldsymbol{\varphi }} =\left[ \begin{matrix} {{v}_{p}}/{{v}_{q}}&{{v}_{p+1}}/{{v}_{q+1}}&\cdots &{{v}_{p+u}}/{{v}_{q+n}} \\ \end{matrix} \right] $$ (11) 两个矩阵中任意两元素的相似度可以通过以下公式计算得出，其中公式(12)为距离矩阵中元素间相似度sd，公式(13)为角点矩阵中元素相似度sC，公式(14)为凹凸性特征值相似度sv, 公式(15)表示矩阵中任意两元素间的综合相似度sij。
$$s _ { d } = ( 1 - \frac { \operatorname { abs } ( d _ { A i } - d _ { B j } ) } { \operatorname { max } ( d _ { A i } , d _ { B j } ) } )$$ (12) $$s _ { C } = \operatorname { cos } ( 0.5 {\rm abs} ( c _ { A i } - c _ { B j } ) )$$ (13) $$s _ { v } = 0.5 ( 1 + \varphi _ { i } )$$ (14) $$s _ { i j } = s _ { r } \frac { \omega _ { 0 } s _ { C } + \omega _ { 1 } s _ { d } } { \omega _ { 0 } + \omega _ { 1 } }$$ (15) 式中：dAi表示A距离矩阵中第i个主对角线元素，dBj表示B距离矩阵中第j个主对角线元素，cAi表示A角点矩阵中第i个元素，cBj表示B角点矩阵中第j个元素，φi表示φ中第i个元素，ω0表示角点矩阵权重值，ω1表示距离矩阵权重值。
最终，通过以下公式计算距离角点矩阵沿主对角线的矩阵相似度sA, B：
$$ {{s}_{A,B}}=\frac{{{m}^{2}}}{un}\sum\limits_{i=p}^{p+u}{\sum\limits_{j=q}^{q+u}{{{s}_{ij}}}} $$ (16) -
在获取叶片图像时，受环境条件限制，提取的叶片多边形的边数、序列起点、叶片完整度等不尽相同，寻找合适的序列段进行相似度计算是关键。当叶片较为完整时使用全局匹配，当叶片破损严重时采用局部匹配进行残叶识别。
-
全局匹配利用动态规划算法寻找矩阵最长公共子序列，允许序列间有少许噪音序列。
公式(17)中，ε表示序列元素间相似度阈值，设r(i, j)表示DA主对角线第i位、CA矩阵第i位与DB矩阵主对角线第j位、CB矩阵第j位相似度全部大于等于阈值时为1，否则等于0。
$$r ( i , j ) = \left\{ \begin{array} { l l } { 1 , }&{ s _ { i j } \geq \varepsilon } \\ { 0 , }&{ s _ { i j } < \varepsilon } \end{array} \right.$$ (17) 公式(18)中，设g(a, b)表示DA矩阵主对角线和CA矩阵的第a位与DB矩阵主对角线和CB矩阵第b位之前的最大子匹配长度。通过对g(a, b)进行回溯，即可找出最长子匹配矩阵序列。
$$\left. \begin{array}{l}{ g ( a , b ) = \operatorname { max } \{ g ( a - 1 , b - 1 ) + r ( a , b ) }\\{ g ( a - 1 , b ) , g ( a , b - 1 ) \} }\end{array} \right.$$ (18) -
局部匹配过程中不允许噪音序列，通过求解如下方程即可获取矩阵最长公共子串。
$$ L(i,j)=\left\{ \begin{array}{*{35}{l}} L(i-1,j-1)+1,&{{s}_{ij}}\ge \varepsilon \\ 0,{{s}_{ij}}<\varepsilon &{} \\ \end{array} \right. $$ (19) $$ l(\boldsymbol{A},\boldsymbol{B})= max \{L(i,j),1\le i\le m,1\le j\le n\} $$ (20) 式中：L(i, j)表示DA与CA前i个元素以及DB与CB前j个元素所计算出的最大局部匹配长度，l(A, B)为最终匹配的结果集。
-
整体识别流程如图 6所示。特征向量共27维，包括25项已有研究中的叶片特征以及本文提取的叶尖角特征、边角均值特征。
图 6 整体识别流程
Figure 6. Overall identification process
综合相似度U利用公式(21)计算。
$$U = \omega _ { 0 } s _ { A , B } + \omega _ { 1 } t _ { A , B }$$ (21) 式中:t A, B为以特征向量为输入的相似度。当叶片不完整时，ω1取较小值，ω0取较大值。
-
为验证该方法的有效性，本文分别在Flavia数据库[22]和Leafsnap数据集中进行了实验，并按每种3/5作为训练样本、其余作为测试样本的方式进行测试。实验环境为Android手机，操作系统为Android 5.0，处理器为高通骁龙800。
-
Flavia数据集是由Wu等[23]收集的叶片图像库(见图 7)，植物类别数量为32种，每种类别的样本数量不等，共有1907个压叶高质量扫描样本。其图像背景均为白色，叶片为自然色，没有包含阴影的叶片样本。
图 7 Flavia数据库的一个子集
Figure 7. A subset of the Flavia database
实验中的残缺叶片是由实验室自行采集的高光压叶样本，树种类别与Flavia数据集一一对应，样本数量共851个，每种类别的树种对应20~30个样本。表 1为不同特征以及分类器对数据集中正常叶片及残缺叶片的准确率统计结果，其中Top 1表示结果集中按相似度降序排序后第1个结果正确的准确率，Top 5表示前5个结果中包含正确结果的准确率。从结果中可以看出，残缺叶片数据集中的识别准确率都低于正常叶片的准确率，但利用本文方法的识别准确率仍高于其他算法。刘念等[13]将传统特征与深度信念网络进行了结合，其识别准确率也稍低于本文提出的方法。
表 1 Flavia数据集实验结果
Table 1. Experimental results of Flavia datasets
%
选择的特征
Chosen feature正常叶片Entire leaf 残缺叶片Incomplete leaf 排序第1结果集的
识别准确率
Top 1 accuracy排序前5结果集的
识别准确率
Top 5 accuracy排序第1结果集的
识别准确率
Top 1 accuracy排序前5结果集的
识别准确率
Top 5 accuracy27维特征+KNN 27 feature+KNN 94.11 97.29 83.12 87.06 形状特征+KNN Shape feature +KNN 81.6 86.30 73.11 76.44 形状+纹理+KNN Shape+texture+KNN 84.3 87.61 81.32 85.69 27维特征+SVM 27 feature+SVM 96.77 85.97 27维特征+DBNs 27 feature+DBNs 98.70 91.72 27维特征+Fourier+LBP+DBNs 27 feature+Fourier+LBP+DBNs 99.26 93.69 27维特征+KNN+本文匹配算法27 feature+KNN+algorithm in this paper 99.61 99.79 94.92 95.20 多尺度HoCS特征+KNN Multi-scale HoCS characteristics+KNN 75.66 93.28 轮廓点与质心相对距离直方图+KNN Histogram of relative distance between contour points and centroid+KNN 90.50 97.81 86.57 90.63 -
Leafsnap数据集如图 8所示，包含Lab子集和Field子集。每个子集均包含185种树木类别，其中Lab子集有23 147个样本，是实验室压叶高光图像；Field子集有7 719个样本，是利用手机实地拍摄的图像，含大量的图像模糊、叶片有阴影、亮度暗、背景复杂、噪点多的样本(可访问http://leafsnap.com/dataset/下载)。
图 8 Leafsnap数据库的一个子集
Figure 8. A subset of the Leafsnap database
表 2中分别显示了在Lab和Field数据子集中选取不同特征的叶片识别准确率结果。表中前两项比较了消除阴影与未消除阴影的预处理方法对准确率的影响，可以看出，本文通过添加消除阴影算法使识别准确率提高了15%左右。相比Flavia数据库，算法在Leafsnap数据库中的识别准确率均有所下降，尤其是基于形状特征的下降更为明显，这是因为该数据集更为复杂，许多叶片有阴影、模糊等问题，导致基于纹理和其他传统几何特征的值出现较大浮动，因此识别准确率降低明显，而基于轮廓特征的准确率则浮动较小一些。实验中基于Fourier+LBP+27维特征+DBNs的特征组合也取得了较高的识别准确率，但本文提出的算法仍稍高于这个特征组合。
表 2 Leafsnap数据集实验结果
Table 2. Experimental results on Leafsnap datasets
%
选择的特征
Chosen featureLab子集第1个
结果集的准确率
Lab-top 1
accuracyLab子集前5个
结果集的准确率
Lab-top 5
accuracyFlavia子集第1个
结果集的准确率
Field-top 1
accuracyFlavia子集前5个
结果集的准确率
Field-top 5
accuracy27维特征+K最近邻+本文预处理
27 feature+KNN+ shadow elimination85.37 89.42 84.16 87.33 27维特征+K最近邻+未消阴影预处理
27 feature+KNN+did not eliminate the shadow70.79 77.38 65.14 69.43 形状特征+ KNN Shape feature +KNN 71.62 74.05 69.82 73.21 形状+纹理+ KNN Shape + texture+KNN 83.14 86.78 80.01 84.70 27维特征+SVM 27 feature+SVM 86.42 - 86.76 - 27维特征+ DBNs 27 feature+DBNs 93.51 - 90.37 - 27维特征+Fourier+LBP+DBNs
27 feature+Fourier+LBP+DBNs96.82 - 93.14 - 27维特征+KNN+本文匹配算法
27 feature+KNN+algorithm in this paper97.12 98.26 95.48 96.30 多尺度HoCS特征+ KNN
Multi-scale HoCS characteristics+KNN72.62 93.05 70.48 92.11 轮廓点与质心相对距离直方图+ KNN
Histogram of relative distance between contour points and centroid+KNN86.32 90.81 84.09 88.87 图 9中对比了本文算法、Leafsnap中多尺度曲率积分直方图HoCS特征算法以及轮廓点与质心距的直方图算法的准确率随结果范围的变化情况。3种算法在Top 1时区别较大，随着结果集数量的增多，3种方法的准确率都有不同程度的提升。从图 9中可以看出本文提出的基于距离角点矩阵的算法具有更好的识别准确率和适用性。
图 9 准确率随范围变化趋势
Figure 9. Accuracy rate with the changing trend of top range
-
本文在预处理环节增加了阴影去除功能后，提取的叶片更接近真实叶片。在分类匹配阶段，本文根据多边形相似性定义，构建了角点矩阵与距离矩阵，设计了局部匹配与全局匹配方法，实现了利用叶片轮廓进行树种识别的精确分类，并利用两个不同的公共数据集进行了测试。实验结果也表明了本文的算法具有极强的实用性和适用性，在正常叶片轮廓的描述能力以及对阴影叶片的识别效果方面要优于其他的已有算法。
由于距离矩阵与角点矩阵仅利用叶片轮廓多边形，而没有考虑叶片纹理等其他特征的方法，因此在不结合其他27维特征的情况下，对叶型相似的不同树种的识别效果会变差。下一步将在本文的基础上，进一步扩大叶片数据库，优化系统性能，在多边形物体识别以及碎片拼接方面进行拓展和研究。
Research on tree species identification algorithm based on combination of leaf traditional characteristics and distance matrix as well as corner matrix
-
摘要: 针对基于叶片特征进行树种识别的问题，本文在结合叶片纹理、不变矩以及传统形状共25维传统特征的基础上，自定义了叶尖角、边角均值等2个叶片轮廓特征，并以相似多边形定义及其推论作为理论依据，提出了一种基于叶片轮廓构建距离矩阵与角点矩阵进行树种识别的分类方法。该方法首先对树木叶片图像进行预处理，提取出归一化的叶片特征向量，然后利用KNN最近邻分类器筛选出相似度最高的前20个结果集(Top 20)，然后构建距离矩阵和角点矩阵进行更为精确的识别匹配。在图像预处理阶段，为获取更为准确的叶片轮廓特征，利用叶片在HSV颜色空间中饱和度特征以及色度特征方面的显著差异性，设计了一种消除叶片阴影的图像预处理算法。在识别匹配阶段，利用Douglas Peucker approximation算法提取叶片轮廓的近似多边形，定义了距离矩阵、角点矩阵、矩阵中元素间相似度、矩阵相似度以及综合相似度计算方法，设计了全局匹配与局部匹配相结合的算法。该算法在Android系统的手机平台上进行了实现和运行验证，结果表明：在Flavia数据集中，对32种共1 907个正常叶片样本的识别准确率为99.61%，对32种共851个残叶样本的准确率为94.92%；在Leafsnap数据集中，对185种共23 147个Lab样本前5个结果集(Top 5)的识别准确率为98.26%。相对其他算法，该算法识别准确率更高，对叶片外形描述能力更强，对残叶、扭曲叶、阴影叶具有更好的鲁棒性，算法的实用性和适应性更强。Abstract: Aiming at the problem of tree species identification based on leaf characteristics, this paper self-defines two leaf outline characteristics of leaf angle and edge angle mean on the basis of 25 kinds of characteristics such as leaf texture, invariant moments and traditional shapes, regards the definition and inference of similar polygon as theoretical basis and proposes a kind of classification method for tree species identification which is to construct distance matrix and corner matrix based on leaf outline. Firstly, the tree leaf image was pre-processed to extract the normalized leaf feature vector. Then KNN was used to choose the top 20 of the highest similarity result set. And then distance matrix and corner matrix were constructed to identify and match more accurately. During pre-processing, in order to obtain more accurate characteristics of leaf outline, this paper designs an image preprocessing algorithm of eliminating leaf shadow by taking advantage of significant differences between saturation and chromaticity in HSV color space. During identification and matching, this paper uses the Douglas Peucker approximation algorithm to extract the approximate polygon of leaf outline, and defines calculation methods of distance matrix, corner matrix, matrix element similarity, matrix similarity and comprehensive similarity, and designs a kind of algorithm combining global matching and local matching. The algorithm had been implemented and run on Android mobile phone platform. Results showed that the accuracy of the algorithm was 99.61% among 1 907 complete samples of 32 categories and 94.92% among 851 incomplete samples of 32 categories in Flavia dataset. In Leafsnap dataset, the accuracy of the algorithm was 98.26% of top 5 among 23 147 Lab samples of 185 categories. Compared with other algorithms, this kind of algorithm had higher identification accuracy, better description ability for leaf outline, better robust performance for incomplete leaf, twisted leaf and shadowed leaf, and better practicability and adaptability.
-
Key words:
- tree species identification /
- distance matrix /
- corner matrix /
- dynamic programming /
- leaf outline
-
表 1 Flavia数据集实验结果
Table 1. Experimental results of Flavia datasets
%
选择的特征
Chosen feature正常叶片Entire leaf 残缺叶片Incomplete leaf 排序第1结果集的
识别准确率
Top 1 accuracy排序前5结果集的
识别准确率
Top 5 accuracy排序第1结果集的
识别准确率
Top 1 accuracy排序前5结果集的
识别准确率
Top 5 accuracy27维特征+KNN 27 feature+KNN 94.11 97.29 83.12 87.06 形状特征+KNN Shape feature +KNN 81.6 86.30 73.11 76.44 形状+纹理+KNN Shape+texture+KNN 84.3 87.61 81.32 85.69 27维特征+SVM 27 feature+SVM 96.77 85.97 27维特征+DBNs 27 feature+DBNs 98.70 91.72 27维特征+Fourier+LBP+DBNs 27 feature+Fourier+LBP+DBNs 99.26 93.69 27维特征+KNN+本文匹配算法27 feature+KNN+algorithm in this paper 99.61 99.79 94.92 95.20 多尺度HoCS特征+KNN Multi-scale HoCS characteristics+KNN 75.66 93.28 轮廓点与质心相对距离直方图+KNN Histogram of relative distance between contour points and centroid+KNN 90.50 97.81 86.57 90.63 
下载: 导出CSV
表 2 Leafsnap数据集实验结果
Table 2. Experimental results on Leafsnap datasets
%
选择的特征
Chosen featureLab子集第1个
结果集的准确率
Lab-top 1
accuracyLab子集前5个
结果集的准确率
Lab-top 5
accuracyFlavia子集第1个
结果集的准确率
Field-top 1
accuracyFlavia子集前5个
结果集的准确率
Field-top 5
accuracy27维特征+K最近邻+本文预处理
27 feature+KNN+ shadow elimination85.37 89.42 84.16 87.33 27维特征+K最近邻+未消阴影预处理
27 feature+KNN+did not eliminate the shadow70.79 77.38 65.14 69.43 形状特征+ KNN Shape feature +KNN 71.62 74.05 69.82 73.21 形状+纹理+ KNN Shape + texture+KNN 83.14 86.78 80.01 84.70 27维特征+SVM 27 feature+SVM 86.42 - 86.76 - 27维特征+ DBNs 27 feature+DBNs 93.51 - 90.37 - 27维特征+Fourier+LBP+DBNs
27 feature+Fourier+LBP+DBNs96.82 - 93.14 - 27维特征+KNN+本文匹配算法
27 feature+KNN+algorithm in this paper97.12 98.26 95.48 96.30 多尺度HoCS特征+ KNN
Multi-scale HoCS characteristics+KNN72.62 93.05 70.48 92.11 轮廓点与质心相对距离直方图+ KNN
Histogram of relative distance between contour points and centroid+KNN86.32 90.81 84.09 88.87
下载: 导出CSV
-
[1] 王丽君, 淮永建, 彭月橙.基于叶片图像多特征融合的观叶植物种类识别[J].北京林业大学学报, 2015, 37(1):55-61. doi: 10.13332/j.cnki.jbfu.2015.01.006 WANG L J, HUAI Y J, PENG Y C.Follow-leaf plant species identification based on multi-feature fusion of leaf images[J]. Journal of Beijing Forestry University, 2015, 37(1):55-61. doi: 10.13332/j.cnki.jbfu.2015.01.006 [2] 袁津生, 姚宇飞.基于分形维度的叶片图像识别方法[J].计算机工程与设计, 2012, 33(2):670-673. doi: 10.3969/j.issn.1000-7024.2012.02.050 YUAN J S, YAO Y F.Face image recognition method based on fractal dimension[J]. Computer Engineering and Design, 2012, 33(2): 670-673. doi: 10.3969/j.issn.1000-7024.2012.02.050 [3] YAHIAOUI I, MZOUGHI O, BOUJEMAA N. Leaf shape descriptor for tree species identification[C]//2012 IEEE International Conference on Multimedia and Expo. Amsterdam: IEEE, 2012: 254-259. https: //www.researchgate.net/publication/261125339_Leaf_Shape_Descriptor_for_Tree_Species_Identification [4] 李洋, 李岳阳, 罗海驰, 等.基于形状特征的植物叶片在线识别方法[J].计算机工程与应用, 2017, 53(2):162-165. doi: 10.3778/j.issn.1002-8331.1504-0233 LI Y, LI Y Y, LUO H C, et al. On-line identification method of plant leaf based on shape feature[J]. Computer Engineering and Applications, 2017, 53(2):162-165. doi: 10.3778/j.issn.1002-8331.1504-0233 [5] SATTI V, SATYA A, SHARMA S. An automatic leaf recognition system for plant identification using machine vision technology[J]. International Journal of Engineering Science and Technology, 2013, 5(4): 874-879. http://d.old.wanfangdata.com.cn/OAPaper/oai_doaj-articles_83ccc22bcf4760049fb096a6365da736 [6] BACKES A R, CASANOVA D, BRUNO O M. Plant leaf identification based on volumetric fractal dimension[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2009, 23(6): 1145-1160. doi: 10.1142/S0218001409007508 [7] 谢莉, 成运, 曾接贤, 等.基于颜色和梯度方向共生直方图的图像检索[J].计算机工程与应用, 2016, 52(10):181-186. doi: 10.3778/j.issn.1002-8331.1406-0366 XIE L, CHENG Y, ZENG J X, et al. Image retrieval based on color and gradient directional symbiotic histogram[J]. Computer Engineering and Applications, 2016, 52(10):181-186. doi: 10.3778/j.issn.1002-8331.1406-0366 [8] MALLAH C, COPE J, ORWELL J. Plant leaf classification using probabilistic integration of shape, texture and margin features[J/OL].[2014-01-06]. http://www.actapress.com/Abstract.aspx?paperId=455022. [9] WANG X F, HUANG DS, DU J X, et al. Classification of plant leaf images with complicated background[J]. Applied Mathematics & Computation, 2008, 205(2):916-926. https://www.sciencedirect.com/science/article/abs/pii/S0096300308003718 [10] NOVOTNY P, SUK T. Leaf recognition of woody species in Central Europe[J]. Biosystems Engineering, 2013, 115(4): 444-452. doi: 10.1016/j.biosystemseng.2013.04.007 [11] LE T L, NGUYEN Q K, PHAM N H. Leaf based plant identification system for android using surf features in combination with bag of words model and supervised learning[C]//2013 International Conference on Advanced Technologies for Communications (ATC 2013). Ho Chi Minh City: IEEE, 2013: 404-407. https: //www.researchgate.net/publication/259644407_Leaf_based_plant_identification_system_for_Android_using_SURF_features_in_combination_with_Bag_of_Words_model_and_supervised_learning [12] SUMATHI C S, KUMAR A V S. Neural network based plant identification using leaf characteristics fusion[J]. International Journal of Computer Applications, 2014, 89(5):31-35. doi: 10.5120/15499-4141 [13] 刘念, 阚江明.基于多特征融合和深度信念网络的植物叶片识别[J].北京林业大学学报, 2016, 38(3):110-119. http://d.old.wanfangdata.com.cn/Periodical/bjlydxxb201603014 LIU N, KAN J M. Establishment of plant leaf based on multi-feature fusion and depth-of-concept network[J]. Journal of Beijing Forestry University, 2016, 38(3): 110-119. http://d.old.wanfangdata.com.cn/Periodical/bjlydxxb201603014 [14] SHAYAN H, SAJEEVAN G. Plant recognition from leaf image through artificial neural network[J]. International Journal of Computer Applications, 2013, 62(17):15-18. doi: 10.5120/10172-4897 [15] HU R X, JIA W, LING H B, et al. Multiscale distance matrix for fast plant leaf recognition[J]. IEEE transactions on image processing, 2012, 21(11): 4667-4672. doi: 10.1109/TIP.2012.2207391 [16] GWO C Y, WEI C H. Plant identification through images: using feature extraction of key points on leaf contours1[J]. Applications in Plant Sciences, 2013, 1(11):1-9 http://med.wanfangdata.com.cn/Paper/Detail/PeriodicalPaper_PM25202493 [17] KUMAR N, BELHUMENR P N, BISWAS A, et al. Leafsnap: a computer vision system for automatic plant species identification[EB/OL].[2016-08-20]. http://neerajkumar.org/base/papers/nk_eccv2012_leafsnap.pdf. [18] 董红霞, 郭斯羽.一种结合形状与纹理特征的植物叶片分类方法[J].计算机工程与应用, 2014, 50(23):185-188. doi: 10.3778/j.issn.1002-8331.1301-0138 DONG H X, GUO S Y. Classification of plant leaf based on shape and texture features[J]. Computer Engineering and Applications, 2014, 50 (23): 185-188. doi: 10.3778/j.issn.1002-8331.1301-0138 [19] 朱黎辉, 李晓宁.基于多特征组合的球形果蔬智能分选方法[J].计算机工程与应用, 2016, 52(5):173-178. doi: 10.3778/j.issn.1002-8331.1403-0280 ZHU L H, LI X N.Intelligent sorting method of spherical fruits and vegetables based on multi-feature combination[J]. Computer Engineering and Applications, 2016, 52(5): 173-178. doi: 10.3778/j.issn.1002-8331.1403-0280 [20] VISVALINGAM M, WHYATT D. Line generalisation by repeated elimination of points[J]. The Cartographic Journal, 1993, 30(1):46-51. doi: 10.1179/caj.1993.30.1.46 [21] 曾接贤, 刘秀朋, 符祥.角点距离矩阵和同心圆划分的曲线描述与匹配[J].中国图象图形学报, 2012, 17(8):1011-1020. http://d.old.wanfangdata.com.cn/Periodical/zgtxtxxb-a201208016 ZENG J X, LIU X P, FU X. Curve description and matching of corner distance matrix and concentric circle partition[J]. Chinese Journal of Image and Graphics, 2012, 17(8): 1011-1020. http://d.old.wanfangdata.com.cn/Periodical/zgtxtxxb-a201208016 [22] WU S G, BAO F S, XU E Y, et al. A leaf recognition algorithm for plant classification using probabilistic neural network[C]//2007 IEEE International Symposium on Signal Processing and Information Technology.Cairo: IEEE, 2007: 11-16. http: //www.oalib.com/paper/4021582 [23] WU S G, BAO F S, XU E Y, et al. A leaf recognition algorithm for plant classification using PNN (probabilistic neural network)[EB/OL].[2016-09-10]. http://flavia.sourceforge.net/. -
点击查看大图
图(9) / 表 (2)
计量
- 文章访问数: 393
- HTML全文浏览量: 120
- PDF下载量: 5
- 被引次数: 0
