-
随着无人机的广泛应用，用于林业观测的林地航拍图像大量涌现。无人机低空飞行时，拍摄的影像细节丰富、地貌清晰，若将其进行拼接处理，得到一幅宽视角、高分辨率的全景图，有助于对相应区域的树木及其他地物进行林业考察与检测。航拍图像拼接需要解决传统拼接中的两个关键问题——由于局部配准精度不高造成的在拼接线周围出现错切现象[1]和由于图像之间的大视差在重叠区域出现鬼影、重影现象。人们将传统的图像拼接方法直接用在低空林地图像拼接上，拼接结果常常出现非正射的投影现象。这是由于林地的树木具有一定的高度，其相对于无人机低空飞行高度而言不可忽略[2]。无人机航拍属于多视点成像，造成同一物体在不同图像中正射投影存在差异[3]，这又加重了拼接时的错切和鬼影问题。在计算林地植被覆盖面积时，需要计算郁闭度(林地树冠的垂直投影面积与林地面积之比)，图像是否为正射投影直接决定植被面积计算结果是否准确，从而影响生态监测的效果。对于地面植被和动物，正射影像能够准确地判断其出现的位置信息，有助于地面动植物的调查和识别。因此，需要研究低空航拍图像拼接的正射投影保留算法。在拼接的同时，除了要考虑消除错切和鬼影，更要考虑是否保留了图像中的正射影像。
在已有的拼接算法中，针对错切和鬼影问题常利用图像融合算法减小或消除。目前典型的图像融合算法包括加权平均法、多分辨率融合算法、泊松融合算法和最佳缝合线算法。其中，最佳缝合线处理错切和鬼影的综合效果较好。对于最佳缝合线的搜索，Davis[4]在1998年提出的在两幅图像重叠区域内基于图像颜色强度差异的最佳缝合线搜索方法，使得沿这条缝合线上两幅图像间的像素差异最小，在该线的两侧分别只取一幅图像的像素，从而避免了产生重影的情况。但是当图像曝光差异较大时，缝合线搜索效果不佳。在具体实现中通常采用Dijkstra算法来寻找最佳缝合线，但算法复杂度较高。同年，Duplaquet[5]提出了一种基于图像颜色差异和几何结构差异的动态规划搜索方法。但此搜索方法中一些因素存在不确定性，求解出最佳缝合线并不容易。方贤勇等[6]在此基础上提出了搜索最佳缝合线的新准则，给出了能量函数。Pan等[7]利用Voronoi图法有效解决了多幅图像寻找最佳拼接缝的问题，但对于初始拼接缝的修改仍有待改进。Kwatra等[8]提出了利用图切割技术(Graph cut)查找全局最佳缝合线来实现纹理合成，较好地解决了多数缝合线搜索的局部性问题。
对于生成正射投影的问题，传统的数字正射影像(DOM)是基于数字高程模型(DEM)对单张影像进行数字微分纠正拼接成整个区域的正射影像图[3]。但是，由于地形DEM数据和植物的高度数据不易取得，并且对每张影像进行微分纠正工作量大，成本高，耗时严重，因此本文没有选择这种策略。本文基于图像中心正射效果较好、图像边缘正射效果较差的理论[9-10]，在不需要进行微分纠正的前提下，提出了一种保留正射投影的改进缝合线算法。本算法将距离差因子加入到缝合线的能量函数中，同时为了保证距离差在不同情况下对缝合线的作用效果，引入了3个权值参数分别控制颜色差、结构差和距离差的权重，综合图像的结构信息和正射投影信息，最终生成与DOM正射效果类似的全景影像。
-
一般待拼接的图像拍摄方式有两种：(1)单视点拍摄，即相机只有旋转运动而没有平移运动，相机的光心位置保持不变；(2)多视点拍摄，即相机有平移运动，光心位置也随之平移，图像之间存在较大视差。两种方式均会使图像产生几何变化，单视点拍摄可通过图像之间的匹配点对关系计算单应性矩阵完成几何校正；而多视点拍摄的情况较为复杂。
如图 1所示，O1和O2为相机运动前后的光心，P为所摄景物，B为相机平移距离，P1和P2分别为P点在相机运动前后的成像点，f为相机焦距，Z为景物深度。P1与P2的像素差异(d)可由以下公式得到:
$$ d=\frac{f B}{Z} $$ (1) 
图 1 多视点成像原理
Figure 1. Multi-view image-forming principle
如果忽略P点在两个成像平面(即两幅相邻图像上)的差异，通过单应性矩阵就能达到几何校正的目的，但需满足以下条件[2]：
(1)$Z \gg f$；
(2) 所摄景物为一个平面。
条件(1)中Z即景物深度，是飞行器与景物的距离。为了使Z变大，可以调高飞行高度，则物体在两个成像平面的成像点差异性变小。但将飞行高度调高是以牺牲细节换取一致性的做法，无法得到林地清晰丰富的细节信息，对得到质量高的拼接图及以后的林地资源考察造成障碍。文本研究的低空航拍图像，由于树高造成了Z值变小，使差异增大。针对第2个条件，虽然林地地面无较大起伏，但是树木本身存在高度，该高度相对无人机低空飞行的高度不可忽略。
-
本文所述的低空所指无人机飞行高度在100~300m之间，在这一范围内细节丰富地貌清晰，但同一物体在相邻图像中的成像点差异明显，如图 2所示。
图 2 飞行高度为100m的两幅相邻图像
Figure 2. Two neighbor images of 100m altitude
图 2是相邻的两幅图像，用红色和蓝色矩形框分别表示两块对应区域。红色框在图 2a中正射投影效果更好，而蓝色框在图 2b中正射投影效果更好。图像中对应地物存在投影变化主要是由于相机畸变和视角不同产生的形变两个原因造成的。一般摄像机镜头本身存在径向畸变和离心畸变，使越靠近中心形变越小(正射效果越好)，越靠近边缘形变越大(正射效果越差)。这种形变一般可通过相机标定得到畸变参数来校正。但相机标定针对无人机操作复杂，实现困难，并且在一些实时性的任务中，相机标定会大大降低拼接的整体效率。在无人机飞行高度在100m以上时，镜头畸变可以忽略。本文算法主要针对视角变化产生非正射投影这种情况，不使用相机标定，却能够保证重叠区域在拼接结果图中保留正射投影效果更好的区域而舍弃较差的区域。图 3是图 2中两个图像的拼接结果。图 3a保留了图 2a中的红色框区域而错误地舍弃了图 2b中的蓝色框区域，图 3b保留了图 2b中的蓝色框区域而错误地舍弃了图 2a中的红色框区域。目前的缝合线算法并没有考虑到以上正射投影保留的问题。理想的拼接结果是选取图 2a中的红色框区域和图 2b中的蓝色框区域(如图 3c所示)。
-
图像拼接要生成正射影像，需要判断出图像中非正射部分进行校正。如果有地形数据，则可以依据地形数据进行微分纠正。当没有地形数据，又要生成正射影像时，我们巧妙地利用了最佳缝合线算法。改进后算法能够最大程度地利用相邻两图像中的原始影像信息，尽可能地保留重叠区域的正射投影部分，生成类似DOM的正射影像效果。
-
确定相邻图像之间重叠区域需要经过以下步骤：
(1) 检测SURF特征点：SURF不仅对图像旋转、平移、缩放和噪声具有较好的鲁棒性，在运算速度上比SIFT要快3倍左右，综合性能要优于SIFT算法[11]。
(2) 特征点匹配与筛选：由于在林地植被内部区域存在大量具有规律性的纹理，因而在对图像全局特征提取时常常产生很多相似的冗余特征点和错误匹配，所以需要对匹配对进行筛选。本文采用最近邻次近邻比值法，它为每个特征找到两个最佳匹配，并且只有当描述符之间欧式距离的比率大于阈值时才留下最佳匹配。这大大提高了之后配准的效率。
(3) 求解变换矩阵：RANSAC(随机采样一致性)算法是基于特征点的图像配准过程中的典型算法，该算法实现简单，具有可靠性、精度高及鲁棒性强等优点。本文采用单应性变换模型，利用RANSAC算法剔除外点，求解出当前待匹配图像相对于参考平面的单应性变换矩阵H3×3。因为航线上的图像序列之间旋转、缩放变换微小，本文只考虑x轴、y轴方向的平移关系，可通过矩阵H中的h13、h23得到。
(4) 求解重叠区域：根据当前待匹配图像相对于参考图像的位移，计算当前图像的4个顶点坐标(使用公式(2)计算)，再根据两幅图像的顶点位置关系，求得重叠区域的4个顶点坐标。
$$ \left\{ {\begin{array}{*{20}{l}} {{x_{{\rm{c}}i}} = {x_{{\rm{r}}i}} + {h_{13}}}\\ {{y_{{\rm{c}}i}} = {y_{{\rm{r}}i}} + {h_{23}}} \end{array}\;\;\;i = 0,1,2,3} \right. $$ (2) 式中：(xri，yri)为已知参考平面第i个顶点的坐标，(xci，yci)为当前图像第i个顶点的坐标。
-
当图像融合区域存在配准不准确、变换矩阵有误差、视差较大等情况时融合结果容易出现鬼影、重影等问题，解决该问题的一个有效方法是最佳缝合线算法。在两幅图像的重叠区域搜索一条最佳缝合线，通过缝合线分成两部分，每一部分只来源于一幅图像从而达到消除鬼影的目的。一条理想的最佳缝合线满足以下两个要求：
(1) 缝合线所经过的像素点在两幅图像上的颜色值之差的绝对值最小。
(2) 缝合线所经过的像素点在两幅图像上的结构最相似。
最佳缝合线的求解准则最初由Duplaquet提出，但是在这个准则中存在着多个不确定的因素，后多采用方贤勇等[6]提出的求解准则：
$$ E(x, y)=E_{\text { color }}^{2}(x, y)+E_{\text { geonetry }}(x, y) $$ (3) 式中：(x, y)是两幅图像重叠区域的像素点；E(x, y)表示将颜色差与结构差相结合的能量函数，该能量函数越小，说明在该像素点两幅图像的颜色和结构越相似；Ecolor(x, y)表示重叠像素点(x，y)的颜色值之差；Egeometry(x, y)表示重叠像素点(x, y)的结构值之差。
$$ E_{\text { color }}(x, y)=\frac{1}{3} \sum\limits_{T \in\{R, G, B\}}\left|C_{1}^{T}(x, y)-C_{2}^{T}(x, y)\right| $$ (4) 式中：CiT(x, y)为像素点(x，y)在第i张图片的T通道值，i=1，2；T∈{R, G, B}，R、G、B表示红、绿、蓝通道。
Egeometry是通过修改Sobel算子计算梯度实现的。方贤勇等[6]强调以像素点为中心的对角线方向的4个边缘像素点的相关性，计算梯度时将x方向和y方向的模板分别改写成：
$$ S_{x}=\left[\begin{array}{ccc}{-2} & {0} & {2} \\ {-1} & {0} & {1} \\ {-2} & {0} & {2}\end{array}\right] \quad S_{y}=\left[\begin{array}{ccc}{-2} & {-1} & {-2} \\ {0} & {0} & {0} \\ {2} & {1} & {2}\end{array}\right] $$ Egeometry(x, y)通过计算像素点在两幅图像中x和y方向的梯度之差的积得到，具体公式为：
$$ \begin{array}{l} {E_{{\rm{ geometry }}}}(x, y) = |{\mathop{\rm grad}\nolimits} {X_1}(x, y) - \\ {\mathop{\rm grad}\nolimits} {X_2}(x, y)| \times |{\mathop{\rm grad}\nolimits} {Y_1}(x, y) - {\mathop{\rm grad}\nolimits} {Y_2}(x, y)| \end{array} $$ (5) 式中：gradX1(x, y)和gradX2(x, y)表示像素点(x, y)分别在待拼接的第1张和第2张图像在x方向利用模板为Sx计算的梯度；gradY1(x, y)和gradY2(x, y)表示像素点(x, y)分别在待拼接的第1张和第2张图像在y方向利用模板为Sy计算的梯度。
-
由于林地航拍图像的特殊性，通过对图像的分析和实验，在能量函数中添加能体现影像的正射程度的分量，实现生成正射影像的效果，而重叠区中像素点位置与相邻两图像中心点位置的距离差很好地反映了非正射的形变可能。距离差大，则说明像素点在两幅图像中的位置差异大，容易出现形变。距离差小，则说明像素点在两幅图像中位置变化小，不易产生形变。
图 4中a、b是待拼接的相邻两张图像，ABCD代表重叠区域(本文实验的重叠率为60%)；c是将重叠区域ABCD从图像中分割出来独立表示；d为拼接结果图。
图 4 距离差示意图
Figure 4. Distance difference diagram
O1与O2分别为两张图像的中心，M1M2为拼接方向重叠区域的中心线。O1与O2关于M1M2对称，两点与M1M2的距离相等，值均为(width-per×width)×0.5(当per < 50%时依然成立)，width为图像宽度，per为图像之间的重叠率。这说明位于中心线上的像素点正射效果相同。在图 4c中，P1、P2为图像上同一行上分别位于边界AD和中心线M1M2的两个像素点。显然，当像素点落在M1M2上时，其与各自图像中心的距离差最小。
在图 4d中，M1M2上的各个像素点在两幅图像上的正射程度一致，距离差最小。同时，还要考虑图像的颜色一致性和结构一致性，因此设计了动态权值参数用来平衡颜色、结构和距离差之间的重要程度。对能量函数做出如下改进：
$$ \begin{array}{l} E(x, y) = \left( {{w_{\rm{c}}}E_{{\rm{ color }}}^2(x, y) + {w_{\rm{g}}}{E_{{\rm{ geometry }}}}(x, y) + } \right.\\ {w_{\rm{d}}}(x, y){E_{{\rm{dist}}}}(x, y))/\left( {{w_{\rm{c}}} + {w_{\rm{g}}} + {w_{\rm{d}}}(x, y)} \right) \end{array} $$ (6) $$ E_{\mathrm{dist}}(x, y)=\left|\operatorname{dist}_{1}(x, y)-\operatorname{dist}_{2}(x, y)\right| $$ (7) $$ \begin{array}{c}{\operatorname{dist}_{i}(x, y)=\sqrt{\left(x_{i}-O_{i x}\right)^{2}+\left(y_{i}-O_{i y}\right)^{2}}} \\ {i=1, 2}\end{array} $$ (8) 我们将Edist(x, y)称为距离差因子。disti(x, y)表示像素点(x, y)在待拼接的第i张图像的坐标(xi, yi)与第i张图像的中心坐标(Oix, Oiy)的欧式距离。为了权衡颜色差、结构差和距离差对能量函数的共同作用，将这3项差值做归一化处理，即Ecolor、Egeometry、Edist在0~1之间。关于3项差值的权重参数Wc、Wg、Wd的确定，经过对传统最佳缝合线算法的分析和大量实验的对比，在满足以下条件时，缝合线效果最佳：
(1) 距离差的作用强度随着颜色差的变化动态调整，颜色差大时，Wd随之增大；颜色差小时，Wd随之减小。这是为了防止颜色和距离反向作用时准则失效(一个极端的例子：一个像素点的颜色差较大而距离差近似为0，若距离差权重固定，那么能量函数取值较小。最终导致该点颜色差较大的事实被掩盖而被误选到缝合线中)。
(2) 颜色差与结构差对能量的作用强度相同，这与传统缝合线算法一致，即Wc=Wg。
本文的实验中，wd(x, y)=Ecolor(x, y)，即在能量函数中，距离差异项所占的比重是随时变化的，当颜色差异大时，常常伴随着形变，因此距离项权重提高；当颜色差异小时，常常伴随着对应点接近一致，这时距离项权重降低。Wc与Wg取值在0.5~1之间，防止取值过低导致出现颜色与结构拼接缝问题。
-
由于加入了距离差因子，不能简单地将两幅图像的重叠部分进行差运算生成差值图像[6]，而需要确定每个重叠像素点分别在两幅图像中的位置(坐标)，再对该点进行颜色、结构、距离的差运算。运用动态规划的思想寻找最佳缝合线，具体步骤如下：
第1步：初始化。第一行各列像素点对应缝合线初始点，其能量值初始化为各个点的能量值(公式(6))，候选缝合线的个数即为重叠区的列数。
第2步：扩展。从第一行开始依次向下扩展，直到最后一行。具体方法是将当前点作为考察点，计算其能量值与下一行的5个候选点(5个候选点为下一行中与考察点同列的一点和向左、右各两列的4个点)的能量值分别相加，将其中的最小值作为新的能量值。将具有最小值的候选点入选缝合线扩展点，更新其为新的考察点，其所在列作为当前缝合线在新的一行中的列，如此循环直至最后一行，可得该条缝合线的总能量值。
第3步：选择最佳缝合线。从所有缝合线中选择总能量值最小的缝合线作为最佳缝合线，记为集合S。
-
确定了最佳缝合线之后，将缝合线上像素点的位置对应到待拼接的两幅图像上的相应坐标，用于生成原始图像的单通道掩码图像。可知拼接后的重叠区由图 5a中的L区和图 5b中的R区构成。对于前一幅图像，处于缝合线左侧的像素点灰度值为255，处于缝合线右侧的像素点灰度值为0，后一幅图像反之(图 5)。利用掩码与图像相交，可将重叠区分割成左、右两部分(L和R)。
图 5 重叠区在相邻两幅图像的掩码
Figure 5. Mask of overlap region in neighbor images
由于缝合线两侧的像素值来源于不同的两幅图像，而且尽管无人机在同一条航线上基本沿直线飞行，但是旁向上也会出现较小的浮动，在图像上表现为上下不能完全对齐(拼接方向为水平)，如图 6a所示。为了使缝合线与上下边缘拼接过渡更自然，同时减少图像之间的曝光差异，采用多频段融合的方法实现无缝拼接，如图 6b，解决了块1边缘处颜色不均匀、错切问题和块2缝合线处锯齿状问题。
图 6 本文算法进行多频段融合的前后对比
Figure 6. Seamless-line algorithm with/without multi-band blending
该方法思想是将经缝合线分割的L、R分别分解成不同频段的一组图像，构建出两个拉普拉斯金字塔，然后在金字塔的不同层面进行拼接，拼接之后再重构出图像，完成拼接图像的显示[12]。具体步骤为：
(1) 构建高斯金字塔。L和R作为两个金字塔第一层，表示为GL1和GR1。第i层图像是对第(i-1)层图像进行高斯低通滤波和降采样得到，记为GLi和GRi。
(2) 构建拉普拉斯金字塔。第i层图像是计算高斯金字塔中第i层图像与第(i+1)层图像进行上采样后的差。记为PLi和PRi。
(3))将两个拉普拉斯金字塔处于同一层的图像进行融合，本文采用简单高效的线性融合，经Blend(PLi, PRi)→Bi，得到第i层图像Bi。所有层融合后构成一个新的拉普拉斯金字塔。
(4) 按照新的拉普拉斯金字塔从上到下重构拼接图像。将高层的图像扩展直至和Bi相同分辨率，将扩展后的图像依次叠加，得到最终的融合图像。
-
实验PC配置：处理器为Intel Corei7，CPU为2.7GHz，运行内存为8G，64位操作系统，实验环境VS2013。编程语言为C++，其中全局捆绑调整和多频段融合阶段参考OpenCV开源库实现。分别对不同飞行高度不同样地的航拍图像进行实验，将本文的缝合线改进算法与3种目前较为经典的缝合线算法(基于颜色差和结构差的动态规划搜索算法、Voronoi搜索算法和Graph cut搜索算法)和商用软件Pix4D生成的DOM进行对比验证。
-
实验图片来自无人机飞行高度为150m的银杏(Ginkgo biloba)林样地，圈出的同一椭圆区域在图 7a中的正射效果比在图 7b中效果好，在拼接结果中应尽量保留图 7a中的这一区域。图 8给出了本文算法与3种不同的方法对图 7中两幅图像的拼接结果。图 8a中采用的Voronoi图方法对椭圆区域保留不完整并且缝合线两侧颜色、亮度差异较大，图 8b和图 8c中错误地保留了图 7b中的椭圆形区域。图 8d中为本文的改进算法，完整地保留了图 6a中的椭圆形区域。
图 7 飞行高度为150m的相邻两幅图像
Figure 7. Two neighbor images of 150m altitude
图 8 银杏林样地中3种缝合线算法与本文算法拼接结果对比
Figure 8. Mosaic comparison of three seamless-line algorithms and the algorithm in this paper for gingko forest
-
图 9来自无人机飞行高度为200m的美国红枫(Acer rubrum)样地。用Voronoi图法搜索到的缝合线不仅没有保留正射效果好的区域，而且出现了比较明显的错切，而用Graph cut法和基于颜色结构的动态规划法搜索到的缝合线对正射效果好的区域保留也不完整。本文改进后的缝合线算法无错切问题，且整体正射效果好。选择4个图像块(图 10e)，每一行是选取的图像块在4种缝合线算法中的视觉效果，检验其在4种缝合线算法中是否保留正射投影(表 1)，本文的正射保留率为100%。
图 9 飞行高度为200m的相邻两幅图像
Figure 9. Two neighbor images of 200m altitude
图 10 红枫样地中本文算法与3种缝合线算法拼接结果对比
Figure 10. Mosaic comparison of three seamless-line algorithms and the algorithm used in this paper for Acer rubrum forest
表 1 图像块在缝合线算法中是否保留正射投影(第2组)
Table 1. Whether image blocks reserve orthophoto in seamless-line algorithm (group 2)
图像块
Image blockVoronoi图
Voronoi graph图割
Graph cut动态规划
Dynamic programming本文算法
Algorithm used in this paper1 × × × √ 2 √ × √ √ 3 √ √ √ √ 4 × × × √ 保留率Reservation rate/% 50 25 50 100 注：√代表图像块在指定算法中能保留正射投影，×代表图像块在指定算法中不能保留正射投影。下同。Notes：√ represents the image block can reserve orthophoto in the designated algorithm，× represents the image block can't reserve orthophoto in the designated algorithm. The same below. -
与第2组实验图像来源相同，将同一航线的多幅图像进行拼接。为了减少变换矩阵连乘导致的误差累积采用全局捆绑调整。对比3块区域的保留正射效果(表 2、图 11、图 12)，本文算法正射投影保留率高。同时与商业软件Pix4D生成的数字正射影像(图 11e)对比，整体差别微小。但由于本文算法并不进行数字微分纠正，只是选取相邻两幅图像中正射效果更好的区域予以保留，当某些区域在两幅图像中的正射效果都比较差时(比如上下边缘)，无法恢复其正射投影，导致这些区域拼接效果不及商业软件的DOM。
表 2 图像块在缝合线算法中是否保留正射投影(第3组)
Table 2. Whether image blocks reserve orthophoto in seamless-line algorithm (group 3)
图像块
Image blockVoronoi图
Voronoigraph图割
Graph cut动态规划
Dynamic programming本文算法
Algorithm used in this papera × × √ √ b × × × √ c × × × √ 保留率Reservation rate/% 0 0 33.3 100 
图 11 序列图像拼接中现有算法与文本算法的效果对比
Figure 11. Comparison of current algorithm and the algorithm used in this paper for image series mosaic
-
将算法应用于城镇图像拼接，实验图片来自无人机飞行高度为100m的城镇建筑样地。与传统缝合线算法和Pix4D生成的DOM相比，本文的拼接效果好，在较高建筑物上表现尤其明显。Pix4D在建筑物上的拼接效果较差，这是由于航拍图像一般难以获得DEM，而软件中恢复出来的地形和树高数据与真实存在误差，这就造成了DOM在建筑物边缘出现较为明显的扭曲、模糊问题。
针对不同飞行高度不同样地的航拍图像，将本文提出的算法分别与Voronoi缝合线算法[7]、Graph cut缝合线算法[8]、动态规划缝合线算法[6]进行对比，从实验效果来看，本文提出的低空航拍图像拼接的改进缝合线算法在消除错切、消除重影、保留正射效果3个方面优于目前比较典型的几种最佳缝合线算法。同时与商业软件生成的DOM对比，正射效果类似，并且在保证物体边缘清晰方面优于DOM(图 13)。
图 13 建筑区样地中传统缝合线算法与本文算法的拼接效果对比
Figure 13. Mosaic comparison of current seamless-line algorithm and the algorithm used in this paper in building sample area
-
本文针对无人机低空林地航拍图像拼接重影、拼接结果由于视角不同而产生非正射影像区域的问题，实现了一种不需要DEM数据进行微分纠正但能生成类似正射影像效果的改进缝合线算法。将像素位置与两个图像中心位置的距离差引入能量函数中，设计动态参数权衡图像的正射程度、颜色和结构一致性。利用多频段融合使得上下边缘及缝合线两侧过渡更自然最终形成无缝全景图。实验结果显示，本文算法优于目前的缝合线算法，能够保留正射投影，效果类似DOM, 并且在保证物体边缘清晰方面优于目前商用软件生成的DOM。除林地图像之外，本方法也可推广至其他需要保留正射效果的低空航拍拼接应用，如城市航拍图像等。在后续工作中，将采用优化算法提高运算速度，同时研究缝合线在多条航线间的搜索策略，形成更大区域的全景图，以便更全面、更准确地进行地面资源考察。
Improved optimal seamless-line algorithm of aerial image mosaic in low altitude woodland
-
摘要:
目的图像拼接效果的优劣主要取决于图像配准和图像融合两个步骤。图像配准误差导致的错切以及图像序列间的视差导致的鬼影、重影问题可通过图像融合算法减小或消除。目前图像融合算法中最佳缝合线算法的综合效果较好, 但没有考虑到拼接图的正射效果, 并且无人机低空飞行时树高相对飞行高度比值较大, 这在获取正射影像时是不可忽略的干扰因素。传统的数字正射影像(DOM)是基于数字高程模型(DEM)对单张影像进行数字微分纠正进而拼接成整个区域的正射影像图。但是, 地形高程数据和植物的高度数据获取困难, 而恢复出来的地形和植物高度与实际数据存在误差, 造成DOM在局部边缘出现扭曲、模糊问题。本文提出一种不需要DEM数据, 仅用图像信息使拼接结果图保留正射投影的改进缝合线算法。 方法首先对SURF特征检测、匹配与筛选, 用RANSAC算法求得的单应性矩阵确定相邻图像重叠区域; 然后基于重叠区中像素点位置与相邻两图像中心点位置的距离差可以反映正射效果的思想, 将距离差引入能量函数, 同时设计了动态权值参数用来平衡颜色、结构和距离三者的重要程度, 利用动态规划思想搜索得到最佳缝合线; 最后在缝合线两侧进行多频带融合生成类似正射影像的无缝拼接图。 结果实验图像来源于不同样地、不同飞行高度, 在相邻两幅图像以及同一条带航线图像上将本文的改进缝合线算法与其他3种缝合线算法以及Pix4D生成的数字正射影像进行对比。实验结果表明, 本文提出的缝合线改进算法能保留正射投影, 视觉效果优于现有的缝合线算法, 在城镇建筑图像的实验中局部效果优于Pix4D。 结论本文针对无人机低空林地航拍图像拼接重影问题和拼接结果由于视角不同而产生非正射影像区域的问题, 实现了一种不需要DEM数据进行数字微分纠正但能生成类似正射影像效果的改进缝合线算法。实验结果显示, 本文算法优于目前的最佳缝合线算法, 能够保留正射投影, 效果类似DOM, 并且在保证物体边缘清晰方面优于目前商用软件生成的DOM。这有利于更准确地计算林地的郁闭度, 估算林地植被覆盖面积, 对跟踪识别地表动植物也具有一定的帮助。除林地图像之外, 本方法也可以推广到其他需要保留正射投影的低空航拍拼接应用领域, 如城镇航拍图像等。 Abstract:ObjectiveWhether image stitching algorithm is effective or not depends on image registration and image blending. In the stitching of forestry aerial images, misalignment caused by registration error and ghost caused by disparity could be diminished or eliminated. Optimal seamless-line algorithm's general effect is better than other blending algorithm. But it doesn't involve orthographic effect into stitching result. When UAV flies in a very low altitude, the ratio of tree height to flight height is larger, which impedes to obtain orthographic panorama. To get orthophoto of image stitching, traditional methods always use DEM data to compute digital differential rectification. However, DEM data and plant height are variable and difficult to measure. Besides, the recovered terrain as well as plant height have error with ground truth, which leads DOM to generate distortion and obscure in some local areas. Therefore, we proposed a novel improved optimal seamless-line blending algorithm using image information instead of DEM data, which can reserve orthographic projection in the final panorama. MethodFirstly, SURF was extracted, matched and filtered. RANSAC algorithm was used to compute homographic transform matrix in order to obtain the overlap area. Secondly, we constructed energy function, including distance difference between each pixel in overlap area and its image center, based on the ideology that distance difference can reflect the orthographic effective. Each item's dynamic parameter was set to weigh color, structure and distance. Dynamic programming was applied to seek optimal seamless-line. In the end, multi-band blending was used to generate seamless panorama. ResultThe image datasets used in experiment varied from land region and UAV altitude. The stitching result of two neighbor images and airline image series showed that our method can reserve orthographic projection whose visual effect was better than current optimal seamless-line algorithm. In the town panorama test, our method was better than DOM generated by Pix4D in local regions. ConclusionWe proposed a novel improved optimal seamless-line algorithm using image information instead of DEM data. The algorithm can diminish misalignment and ghost, and can reserve orthographic projection in the final panorama, whose visual effect is similar to DOM. Besides, the method does better in retaining sharp edge of object than DOM generated by commercial software. The method helps to compute forest canopy density as well as vegetation coverage area more accurately, thus contributes to tracking and recognizing animals and plants more precisely. In addition to forestry, the algorithm can be extended to other types of aerial images, such as town images, and orthographic projection should be reserved in the panorama. -
Key words:
- UAV /
- forestland /
- image stitching /
- optimal seamless-line /
- orthographic projection
-
图 6 本文算法进行多频段融合的前后对比
Figure 6. Seamless-line algorithm with/without multi-band blending
图 8 银杏林样地中3种缝合线算法与本文算法拼接结果对比
Figure 8. Mosaic comparison of three seamless-line algorithms and the algorithm in this paper for gingko forest
图 10 红枫样地中本文算法与3种缝合线算法拼接结果对比
Figure 10. Mosaic comparison of three seamless-line algorithms and the algorithm used in this paper for Acer rubrum forest
图 11 序列图像拼接中现有算法与文本算法的效果对比
Figure 11. Comparison of current algorithm and the algorithm used in this paper for image series mosaic
图 13 建筑区样地中传统缝合线算法与本文算法的拼接效果对比
Figure 13. Mosaic comparison of current seamless-line algorithm and the algorithm used in this paper in building sample area
表 1 图像块在缝合线算法中是否保留正射投影(第2组)
Table 1. Whether image blocks reserve orthophoto in seamless-line algorithm (group 2)
图像块
Image blockVoronoi图
Voronoi graph图割
Graph cut动态规划
Dynamic programming本文算法
Algorithm used in this paper1 × × × √ 2 √ × √ √ 3 √ √ √ √ 4 × × × √ 保留率Reservation rate/% 50 25 50 100 注：√代表图像块在指定算法中能保留正射投影，×代表图像块在指定算法中不能保留正射投影。下同。Notes：√ represents the image block can reserve orthophoto in the designated algorithm，× represents the image block can't reserve orthophoto in the designated algorithm. The same below. 
下载: 导出CSV
表 2 图像块在缝合线算法中是否保留正射投影(第3组)
Table 2. Whether image blocks reserve orthophoto in seamless-line algorithm (group 3)
图像块
Image blockVoronoi图
Voronoigraph图割
Graph cut动态规划
Dynamic programming本文算法
Algorithm used in this papera × × √ √ b × × × √ c × × × √ 保留率Reservation rate/% 0 0 33.3 100
下载: 导出CSV
-
[1] 郑悦, 程红, 孙文邦, 等.基于动态三角形改正范围的结构拼接缝消除方法[J].地理与地理信息科学, 2013, 29(4):113-116. http://d.old.wanfangdata.com.cn/Periodical/dlxygtyj201304025 Zheng Y, Cheng H, Sun W B, et al.A novel method for structural seamline removal based on dynamic triangle correction area[J]. Geography and Geo-Information Science, 2013, 29(4):113-116. http://d.old.wanfangdata.com.cn/Periodical/dlxygtyj201304025 [2] Vaish V. Image stitching and panoramas[EB/OL].[2017-09-10]. https://wenku.baidu.com/view/3e944f105f0e7cd184253689.html. [3] 张剑清, 潘励, 王树根.摄影测量学[M]. 2版.武汉:武汉大学出版社, 2010. Zhang J Q, Pan L, Wang S G. Photogrammetry[M]. 2nd ed. Wuhan: Wuhan University Press, 2010. [4] Davis J. Mosaics of scenes with moving objects[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Santa Barnara: IEEE, 1998 : 354-360. [5] Duplaquet M L. Building large image mosaics with invisible seam line building large image mosaics with invisible seam lines[C]//Proceedings of the 7th Visual Information Processing. Orlando: Society of Photo-Optical Instrumentation Engineers, 1998 : 369-377. [6] 方贤勇, 潘志庚, 徐丹.图像拼接的改进算法[J].计算机辅助设计与图形学学报, 2003, 15(11):1362-1365. doi: 10.3321/j.issn:1003-9775.2003.11.006 Fang X Y, Pan Z G, Xu D. An improved algorithm for image mosaics[J]. Journal of Computer-Aided Design and Computer Graphics, 2003, 15(11):1362-1365. doi: 10.3321/j.issn:1003-9775.2003.11.006 [7] Pan J, Wang M, Li D R, et al. Automatic generation of seamline network using area voronoi diagrams with overlap[J]. IEEE Transactions on Geoscience and Remote Sensing, 2009, 47(6):1737-1744. doi: 10.1109/TGRS.2008.2009880 [8] Kwatra V, Schodl A, Essa I, et al, Graphcut textures: image and video synthesis using graph cuts[J]. ACM Transactions on Graphics, 2003, 22(3):277-286. doi: 10.1145/882262 [9] 张剑清, 孙明伟, 张祖勋.基于蚁群算法的正射影像镶嵌线自动选择[J].武汉大学学报(信息科学版), 2009, 34(6): 675-678. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=whchkjdxxb200906011 Zhang J Q, Sun M W, Zhang Z X. Automated seamline detection for orthophoto mosaicking based on ant colony algorithm[J]. Geomatics & Information Science of Wuhan University, 2009, 34(6):675-678. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=whchkjdxxb200906011 [10] 孙明伟.正射影像全自动快速制作关键技术研究[D].武汉: 武汉大学, 2009. Sun M W. Research on key technology of automatic and fast DOM generation[D]. Wuhan: Wuhan University, 2009. [11] Bay H, Ess A, Tuytelaars T, et al. Speeded-Up robust feature[J]. Computer Vision and Image Understanding, 2008, 110(3):346-359. http://d.old.wanfangdata.com.cn/Periodical/xtgcydzjs200911039 [12] Allene C, Pons J P, Keriven R. Seamless image-based texture atlases using multi-band blending[C]//Proceedings of the 19th International Conference on Pattern Recognition. Tampa: IEEE, 2008: 1-4. -
点击查看大图
计量
- 文章访问数: 859
- HTML全文浏览量: 269
- PDF下载量: 48
- 被引次数: 0
