高级检索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于间隙度的无人机林地航拍图像序列拼接方法

张一茗 付慧

张一茗, 付慧. 基于间隙度的无人机林地航拍图像序列拼接方法[J]. 北京林业大学学报, 2017, 39(6): 107-115. doi: 10.13332/j.1000-1522.20170020
引用本文: 张一茗, 付慧. 基于间隙度的无人机林地航拍图像序列拼接方法[J]. 北京林业大学学报, 2017, 39(6): 107-115. doi: 10.13332/j.1000-1522.20170020
ZHANG Yi-ming, FU Hui. A method for woodland aerial image sequences mosaic based on lacunarity[J]. Journal of Beijing Forestry University, 2017, 39(6): 107-115. doi: 10.13332/j.1000-1522.20170020
Citation: ZHANG Yi-ming, FU Hui. A method for woodland aerial image sequences mosaic based on lacunarity[J]. Journal of Beijing Forestry University, 2017, 39(6): 107-115. doi: 10.13332/j.1000-1522.20170020

基于间隙度的无人机林地航拍图像序列拼接方法

doi: 10.13332/j.1000-1522.20170020
基金项目: 

教育部高等学校优秀青年教师研究基金项目 2015ZCQ-XX

详细信息
    作者简介:

    张一茗。主要研究方向:图像处理、计算机视觉。Email:amingmao0117@163.com  地址:100083 北京市海淀区清华东路35号北京林业大学信息学院

    通讯作者:

    付慧, 博士, 副教授。主要研究方向:图像拼接、图像识别。Email:fuhuir@bjfu.edu.cn  地址: 同上

  • 中图分类号: S771.8

A method for woodland aerial image sequences mosaic based on lacunarity

图(7) / 表 (2)
计量
  • 文章访问数:  809
  • HTML全文浏览量:  155
  • PDF下载量:  18
  • 被引次数: 0
出版历程
  • 收稿日期:  2017-01-18
  • 修回日期:  2017-03-13
  • 刊出日期:  2017-06-01

基于间隙度的无人机林地航拍图像序列拼接方法

doi: 10.13332/j.1000-1522.20170020
    基金项目:

    教育部高等学校优秀青年教师研究基金项目 2015ZCQ-XX

    作者简介:

    张一茗。主要研究方向:图像处理、计算机视觉。Email:amingmao0117@163.com  地址:100083 北京市海淀区清华东路35号北京林业大学信息学院

    通讯作者: 付慧, 博士, 副教授。主要研究方向:图像拼接、图像识别。Email:fuhuir@bjfu.edu.cn  地址: 同上
  • 中图分类号: S771.8

摘要: 无人机林地航拍图像具有的分辨率高、数据量大、边缘丰富的特点,造成了特征点配准中误匹配率的增加,因此本文提出了一种新的无人机林地航拍图像序列拼接方法。分形中的间隙度可用于描述图像区域纹理的粗糙程度,本文首先利用间隙度特征选取图像中局部图像块作为候选区域查找特征点,减少了待配准的特征点数量,提高了特征点配准正确率;其次,采用全局拼接技术变换图像,减少传统拼接中矩阵连乘产生的误差的积累和传播。实验中选取了不同拍摄高度的两组图像序列,将本方法与传统的全局SURF特征方法和降采样图像拼接方法进行了对比,结果显示本方法可以有效拼接图像,同时不会损失原图像的精度信息,并从视觉效果和均方根误差两个角度证明了本文方法优于其他两种方法。

English Abstract

张一茗, 付慧. 基于间隙度的无人机林地航拍图像序列拼接方法[J]. 北京林业大学学报, 2017, 39(6): 107-115. doi: 10.13332/j.1000-1522.20170020
引用本文: 张一茗, 付慧. 基于间隙度的无人机林地航拍图像序列拼接方法[J]. 北京林业大学学报, 2017, 39(6): 107-115. doi: 10.13332/j.1000-1522.20170020
ZHANG Yi-ming, FU Hui. A method for woodland aerial image sequences mosaic based on lacunarity[J]. Journal of Beijing Forestry University, 2017, 39(6): 107-115. doi: 10.13332/j.1000-1522.20170020
Citation: ZHANG Yi-ming, FU Hui. A method for woodland aerial image sequences mosaic based on lacunarity[J]. Journal of Beijing Forestry University, 2017, 39(6): 107-115. doi: 10.13332/j.1000-1522.20170020
  • 林地调查测量主要依赖地面调查和遥感图像处理,地面调查耗时高,需要投入大量人力;遥感图像处理成本高、数据类型复杂。随着无人机技术的发展和成像技术的更新,无人机越来越多地运用在林业领域,辅助近地面的林地调查。利用无人机航拍林地图像,可以获得高分辨率的地面数据,通过拼接得到林地区域全景图,实现对林地的监控。相较于地面调查和遥感图像处理,无人机航拍图像作为遥感图像的一种补充数据,需求的人力较少、成本低,且简单易操作,研究人员能够直接观测到该区域的林地特征。目前已有国内外学者在无人机图像拼接方面进行了相关研究。Liu等[1]使用SIFT特征和RANSAC(Random Sampling Consensus)来拼接航拍图像,图像大小为320×240。Botterill等[2]提出一种基于快速角点描述符并结合Bag-of-words模型(BoWmodel)算法得到的一系列描述符,来估计变换矩阵,图像大小为800×521。Yin等[3]缩放了图像并采用了小波频分编码和SIFT特征相结合进行航拍图像拼接,图像大小为1280×800。以上的图像拼接算法都采用了特征点匹配或角点匹配方法,拼接效果的优劣主要取决于图像配准点提取的正确率,配准点的准确与否直接影响变换矩阵的拟合,如何增强图像配准点的提取正确性是图像拼接中的关键问题。

    在利用图像两两间配准得到的变换矩阵将图像序列进行拼接的过程中,常常出现过度的错切现象,这是由于矩阵的连乘易造成误差的累积和传播,导致变形过大、边缘融合不佳。为解决序列配准中的误差问题,一种方法是对所有图像同时进行配准即bundler adjustment[4]。该方法可以解决大规模图像拼接问题,同时恢复图像中特征点的三维坐标,属于Structure from Motion (SfM)[5]方法中的典型应用。这一过程需要计算特征点的三维结构(structure)和相机的运动(motion)。拍摄无人机图像的相机运动并不平稳,获取相机参数需要大量计算,复杂度较高。Xu等[6]使用bundler adjustment恢复无人机图像的相机姿态,将沙盘图像和真实航拍图像拼接成全景图,其单幅图像大小为640×480,全景图中存在一些错位现象。考虑到林地航拍图像的特点,以及需要处理多张尺寸较大的图像,计算复杂度不宜过高,SfM方法并不是最佳选择。

    本文处理的无人机航拍林地图像的分辨率较大(4 912×3 264),植被区域占图像面积的大多数,植被图像属于自然场景图像,具有自相似性[7],进行特征点配准时容易出现错误。本文尝试对整幅图像进行特征点提取并配准和拼接。单张图像提取的特征点数量巨大,同时计算得到的配准点对的正确性较低; 尝试对图像进行降采样处理后进行特征点提取及配准,拼接的图像丢失较多地面细节信息,且配准时仍会产生较大误差。因此,需要选择一些局部特征良好的图像块代替整幅图像进行特征点提取和配准。

    本文从精确特征点提取与配准和减小图像拼接矩阵计算累计误差两个角度,提出了一种新的图像拼接算法LAC-SURF,实验显示本算法要优于全局SURF特征提取方法和降采样图像拼接算法。LAC-SURF主要利用了分形理论中的间隙度特征。间隙度值的大小能够反映纹理的粗糙程度,间隙度值大的区域常常包含着不同对象的边界信息,因此利用间隙度值可以较好地选出图像块来提取易配准的特征点。在拼接过程中,利用全局图像变换思想,计算所有图像针对全景图的变换矩阵,从而降低了矩阵连乘导致图像变形的程度,减少了全景图像中的错切现象。

    • 分形特征能够较好地描述自然界中物体不规则和自相似性的形态[8],目前已成功运用于图像分割、目标识别等领域。其中,间隙度作为一种重要的高阶分形特征,可以描述图像纹理的粗糙程度和纹理孔洞的大小,能定量评估图像纹理是否平滑,是一种具有平移、旋转和缩放不变性的特征。间隙度值高的区域较为粗糙,纹理混合度高,含有多种地物; 间隙度值低的区域较为平滑,纹理结构、地物种类单一。

      间隙度特征已经用来进行自然图像纹理的分类[9],通常林地航拍图像包含大量的植被和道路、石块等物体,符合自然图像特点。在植被内部区域存在大量、具有规律性的纹理,在对图像全局特征提取时常常从这些区域提取特征点,因此会产生很多相似的冗余特征点和错误匹配(图 1)。

      图  1  对整幅林地航拍图像进行特征配准时产生的误匹配的特征点示例

      Figure 1.  Wrong matching points with SURF matching

      通过对林地航拍图像的分析可得,具有较高区分度、易配准的特征点常位于纹理不一致的区域,例如道路与植被的边界,土地与植被的边界等。为了自动选择这样的纹理交叉区域作为特征点的候选区域,本方法通过将整体图像分块,计算每个图像块的间隙度值,判别出图像块是纹理特征差异较大的区域还是纹理特征相一致的区域。在纹理特征差异性较大的区域可以得到大量易配准的特征点。

      本文利用滑动盒子法(Gliding-Box Algorithm)和差分盒维法(Differential Box-Counting, DBC) [10]计算图像块的间隙度,其计算过程如下:

      1) 假设有一个尺寸大小为2r×2r的盒子在大小为W×W的图像块上滑动,每次移动一个像素的距离,逐行逐列进行移动,设在左上角坐标值为(i, j)处的盒子中,该盒子内的最大像素值记为g(i, j),最小像素值记为b(i, j),i, j∈{1, 2, …, W-2r+1}。我们可以得到盒内像素差n(i, j):

      $$ n\left( i, j \right)=g\left( i, j \right)-b\left( i, j \right) $$ (1)

      盒子质量M代表盒子内像素值差异性,表示为:

      $$ M\left( i, j \right)=\text{ceil}~\left( K\text{ }\frac{n\left( i, j \right)}{{{2}^{r}}}\text{ } \right)~ $$ (2)

      式中:K=W/G,是一个权值系数,GW×W盒内最大的像素值,ceil表示向上取整。

      2) 设在图像块内,尺寸为2r的盒子数量为n,所有盒子的质量集合为M(M(i, j)∈M),定义尺度r上的图像间隙度值:

      $$ \text{LAC}\left( r \right)=\frac{\text{Var}\left( M \right)}{\text{ }{{\left[ E\left( M \right) \right]}^{2}}~}~+1 $$ (3)
      $$ E\left( M \right)=\frac{1}{n}\text{ }\sum\limits_{i, j}{M\left( i, j \right)}, \text{ }i, j\in \{1, 2, \ldots , W-{{2}^{r}}+1\} $$ (4)

      式中:M(i, j)为图像中心像素的间隙度值;Var(M)是盒子质量集合M的方差,反映盒子质量的差异程度,表现图像块中像素空间分布的不规则性和间隙尺寸的大小。E(M)代表所有盒子质量的均值。

      间隙度可以看作是一个多分辨率的特征,通过设定不同盒子尺度参数r,可以得到多个分辨率下的图像块间隙度值,从而从多分辨率的角度来分析图像的纹理一致性问题。间隙度值越大则表明该区域的纹理差异性越大。

    • 本文方法分为两个步骤:基于局部图像块的配准和基于全局变换的拼接方法。局部图像块配准指将大幅航拍图像根据图像重叠率分成M×N个图像块,图像重叠率高的图像(重叠率在70%以上)的分块较多,反之(重叠率在40%~70%及40%以下)分块较少。重叠率小的图像如果分块过多会导致图像块配准困难,由于图像块的切分不是依据图像内容而来的,因此在划分图像块的数量上要有所差别。

      基于间隙度值选取出若干候选图像块,并基于这些图像块提取特征点并配准。无人机拍摄时相机距地面的高度在图像的局部和图像的整体上可视为一致,因此,可以认为整幅图像的变换与局部图像的变换一致,从而达到减少运算量、提高配准精确度的目的。本文方法依据间隙度(LAC:Lacunarity)提取候选图像块,进而提取SURF特征进行配准,因此命名为“LAC-SURF”方法。

      基于全局变换的图像拼接方法将图像序列相对于一个全局坐标进行变换,修正单应性矩阵,从而得到序列的拼接结果,减少了矩阵相乘的误差。

    • 局部图像块配准的具体操作流程图见图 2

      图  2  局部图像块配准流程图

      Figure 2.  Flowchart of registration of local image block

    • 将图像根据重叠率划分为图像块。计算每一个图像块的间隙度值,间隙度尺度通过改变盒子的尺寸参数r的大小来实现。经实验,盒子的尺度较小时,包含不同纹理区域的图像块的间隙度值的差别较大,但盒子尺度参数r超过3后,该尺度下的所有图像块的间隙度值均趋近于1,因此本文中选择r为1~3,盒子尺寸大小为2r×2r(r=1, 2, 3)像素。每个图像块的间隙度值由3个尺度的间隙度值求和形成,本文中选择间隙度值最高的前3个图像块作为候选图像块(图 3)。

      图  3  候选图像块示例

      Figure 3.  Candidate image blocks

      得到了第1幅图像的候选图像块之后,图像序列中后续图像的候选图像块可以通过其相邻的前1张图像的候选图像块计算产生,我们称之为图像块继承。如果每张图像都计算所有图像块的间隙度,计算量非常大,并且不易寻找匹配的图像块。在第2幅图像以及后续图像中,通过候选图像块继承算法能够解决这个问题。

      如果在相邻的后续图像中不存在匹配图像块,则扩大当前图像的候选图像块的个数,候选图像块个数以3递增,以此类推。考虑到计算的复杂性,当候选图像块个数大于9时,终止局部图像块配准算法,转而利用整幅图像提取SURF特征并配准,不过这种情况只出现在相邻图像有很大旋转和偏移,以及提取的候选图像块在后续图像中移出场景的情况。

    • 图像块继承算法包括候选图像块位置优化、图像块区域扩展、SURF特征提取和配准3个部分。

      1) 候选图像块位置优化

      假设已通过间隙度值计算得到参考图像I1中的候选图像块位置Bi, i=L, L+1, L+2, 初始L=1,其中心点坐标为(Bi_x, Bi_y), i=L, L+1, L+2;将要计算得到的目标图像I2中的候选图像块位置为Di, i=L, L+1, L+2,其中心点坐标为(Di_x, Di_y), i=L, L+1, L+2。候选图像块大小为w×h

      Step1:令Di=Bi,(Di_x, Di_y)=(Bi_x, Bi_y),i=L, L+1, L+2。

      Step2:在I2中,以(Di_x, Di_y)为中心点、长宽为2w、2h的区域中,令窗口大小为w×h,以$\frac{1}{2}\text{ }$w、$\frac{1}{2}\text{ }$h为步长移动,得到9个窗口。

      Step3:计算9个窗口内图像的间隙度值并排序,更新Di为间隙度值最高的窗口内的图像,同时更新中心点(Di_x, Di_y)。

      2) 图像块区域扩展

      为了适应图像序列中地物任意方位的移动,将扩展I2中的候选图像块区域扩大至原区域的9倍(图 4)。图 4的左图中实线范围的block为I2中确定的某一候选图像块Di,右图的灰色部分为I2中的扩展区域。扩展区域由block向左上、左下、右上、右下4个方向扩展而来,其中心坐标分别为block的4个顶点,大小为2w×2h。总的扩展区域大小(包括block)为3w×3h。由Di可以得到3个扩展区域DLi, i=L, L+1, L+2, DLi的中心点与Di相同。

      图  4  目标图像中候选图像块区域扩展

      Figure 4.  Expanding the candidate image block in target image

      3) SURF特征提取和配准

      分别计算I1中的BiI2中的DLi的SURF特征并匹配(i=L, L+1, L+2),得到3组匹配点对sum1sum2sum3。如果特征点个数总和大于某一阈值t1,且匹配的配准点对个数大于某一阈值t2(本文中t1=200,t2=60),即可认定在I2中地物的移动并不剧烈,整体图像序列中相邻图像的重叠率较高,找到了用于配准的匹配点集合sum1∪sum2∪sum3

      如果重新计算间隙度后依然无法找到满足要求的配准点,则对整幅图像进行SURF特征检测,但是只有在距地面航拍距离较近且图像运动幅度较大时会出现这种问题。经测试,本文图像中具有如上特点的图像只占测试集的4%,因此可以仅针对这类图像进行全图的特征提取。

      本文使用FLANN法(Fast Library for Approximate Nearest Neighbors)[11]匹配特征点并优化匹配点对,并采取双向匹配策略。从参考图像的特征点集IndexPoints1向目标图像匹配,再从目标图像的特征点集IndexPoints2向参考图像匹配,如果匹配点对都存在于IndexPoints1和IndexPoints2中,则该匹配点对是正确的点对。此时得到的匹配点的坐标为扩展块中的坐标,即局部坐标。显然,计算整幅图像的变换矩阵需要获得配准点的全局坐标,只需将局部坐标与候选块的左上角坐标相加,即可得到配准点在整幅图像上的全局坐标:

      $$ ({{x}_{\text{global}}}, {{y}_{\text{global}}})=({{x}_{\text{local}}}, {{y}_{\text{local}}})+({{x}_{0}}, {{y}_{0}}) $$ (5)

      式中:(xlocal, ylocal)为局部坐标,(x0, y0)为邻域左上角坐标。

      坐标转换后,即可估计整幅图像的单应性矩阵。

    • 在图像序列的拼接中,由于地面的起伏和镜头边缘图像变形对拟合变换矩阵产生的影响较大,仅用RANSAC方法修正过的单应性矩阵会导致相邻图像间的过度变形,因为矩阵的连乘会导致误差的(图 5)

      图  5  全局图像变换示意图

      Figure 5.  A diagram of global image registration method

      假设有一图像序列Iii=0, 1, 2, …, n,设I0为初始全景图Ip。设i的初值为1。

      Step1:使用本文配准算法,将IiIp进行配准,Ii相对于Ip的变换阵为Ti。将Ii拼至Ip,此时全景图Ip更新。

      Step2:建立Ii+1与全景图的关系。使用本文配准算法得到IiIi+1的配准点集合,配准点坐标在Ii中为mi, i+1Ii+1中为mi+1, i。计算Ii的配准点在Ip中的坐标m i, i+1=mi, i+1Ti。因mi+1, im i, i+1存在配准关系,由此得到Ii+1相对于Ip的变换矩阵Ti+1

      Step3:将Ii+1拼至Ip,更新全景图Ipi=i+1。in时重复Step2、3。

      由此可计算出序列图像中每张图像与全景图之间的单应性矩阵,从而减少矩阵累乘导致的误差传播。

    • 实验机器配置CPU:3.6 GHz,运行内存8 G,实验环境MATLAB R2015a。对两组图像进行实验,每组图像选择两个序列,不同序列代表不同的样地或相机运动方式,每个序列包含10张图像。第1组每张图像的分辨率为4 912×3 264,拍摄高度200 m;第2组每张图像的分辨率为4 000×3 000,拍摄高度100 m。由于没有进行GPU并行计算,图像序列中张数过多会出现内存越界问题,本文只展示10张图像的拼接结果。实验将本文方法与仅用SURF特征对全图进行配准的方法和文献[13]中降采样的方法进行图像拼接的对比。其中,降采样方法中图像缩小尺度为4×4,即每张降采样处理后的图像尺寸为原图像的1/4。

      采用统计匹配点对变换后与变换前坐标的均方根误差(RMSE)来评定配准后的偏离程度,并作为定量分析配准精度。

      $$ \text{RMSE}=\sqrt{\frac{\sum\limits_{i=1}^{k}{\|{{q}_{i}}-{{p}_{i}}{{\|}^{2}}}}{~k}}~ $$ (6)

      式中:qipi分别为第i个匹配点对变换后与变换前的坐标,k为匹配点对个数。

      由于实验对象是图片序列,因此所计算的RMSE值是序列中相邻两幅图像两两配准的累积误差的平均值。因为实验图像的尺寸大、细节多、纹理复杂,且至少为10张图像,实验结果显示,RMSE值在100~1 000数量级内是可以接受的。

    • 第1组实验中图像的重叠区域高达90%,图像被分为8×8块,部分实验结果如图 6所示。

      图  6  实验1对比结果展示

      Figure 6.  Comparison results of experiment 1

      图 6a可见:传统的SURF方法和降采样方法在拼接时接缝上的处理未能恢复正确结构,且边缘的形变比较严重,这主要是由于降采样方法舍弃掉了过多的特征,SURF方法中特征点配准的精度不高; LAC-SURF方法配准的正确率较高,所以接缝处也较平整。图 6bc两列展现了放大的局部图像配准细节。配准精度可以由RMSE值体现,以上2组实验数据的RMSE值见表 1

      表 1  第1组实验部分RMSE值比较

      Table 1.  Comparison of 1st image sequence sets

      序列Sequence LAC-SURF SURF 降采样Down-sample
      1 75.96 3 562.9 1 107.05
      2 50.33 3 177.6 1 932.01

      可见,在本组实验中LAC-SURF方法的准确率(RMSE)平均高于降采样方法约20倍以上,高于SURF方法约50倍以上。

    • 第2组实验中图像的重叠区域仅有60%~70%,图像被分为6×6块,部分实验结果见图 7

      图  7  实验2对比结果展示

      Figure 7.  Comparison results of experiment 2

      本组实验中,由于图像重叠区域与第1组图像相比较小,在分块处理时某些特征会移出继承得来的图像块,而且本组实验图像的林地纹理具有一些规律性,草地与树木大面积出现,对特征检测造成了一定的影响。同样地,SURF方法和降采样的方法中,图像配准的准确度不高,拼接缝隙有大量没有对齐的现象; LAC-SURF方法保留了正确的结构和均匀的形变,但图像两两进行配准时LAC值需重新计算,运算量有所增加。从图 7bc两列的林地细节可以更明显地看出本文方法的拼接结果在视觉上更优秀。以上两组实验数据的RMSE值如表 2所示。

      表 2  第2组实验部分RMSE值比较

      Table 2.  Comparison of 2nd image sequence sets

      序列
      Sequence
      LAC-SURFSURF 降采样
      Down-sample
      1 468.39 2 338.4 3 502.53
      2 443.21 2 619.2 2 850.40

      对于运动模式较简单、纹理细节多但纹理具有自相似性的林地图像,本文方法配准的准确率比SURF方法和降采样方法配准的准确率高出约5~7倍。

      根据对拍摄高度不同的林地图像和不同拼接方法进行实验,可知本文方法在重叠率高的林地图像拼接中效果优秀。利用候选块继承方法,降低了计算的复杂性,局部图像配准提高了配准准确率; 而拍摄角度较低时,会出现重复计算间隙度值的情况,计算量增加,同时包含不同纹理交叉的图像块较少,使配准准确率降低,但拼接的视觉效果仍然良好。

      由于不同覆盖率的图像分块不同,不同图像内容出现的候选块无匹配的情况也不同,可能会导致算法速度变慢,因此算法的效率是变化的,从用时角度不易给出一个整体评价。从平均效果看来,本文方法较两种对比方法用时增加,但配准正确率提高了许多倍。

    • 针对高分辨率的无人机林地航拍图像提出了一种新的图像拼接方法。本方法通过提高配准点精确度、进行全局变换矩阵优化以减小累计误差这两个角度,提高了图像拼接方法的准确性。在没有并行计算和内存8 G的情况下,本文的方法对于某些林地图像最多可处理20张图像的拼接,并能保证拼接的正确性以及视觉效果良好。除林地航拍图像,本方法也适用于其他种类图像的拼接。在后续工作中,将研究本文方法的并行化方法,进一步提高本方法能够拼接的图像数量,形成更大区域的林地全景图,同时通过优化算法降低计算量,提高运算速度,以便进行林业调查和分析工作。

参考文献 (13)

目录

    /

    返回文章
    返回