森林火灾是一种危害性极大的自然灾害，及时并准确检测森林火灾是森林防火的重要内容之一。森林烟火探测方法一般采用地面巡护、瞭望台监测、地面雷达、卫星遥感和分布式传感器网络技术^[1]。这些技术多是通过火灾探测器中的参量分析来判断森林中是否发生了火灾，但是复杂的森林环境容易干扰其信号，降低火灾检测的准确率。随着计算机技术的发展，利用图像及视频分析技术检测森林烟火的方法越来越多。视频火灾检测技术具有更广的空间覆盖，且森林火灾检测准确率更高。现有的利用图像及视频分析技术检测森林烟火算法多是针对可见光视频。基于可见光视频的森林烟火检测算法一般是检测火焰或烟的颜色特征、纹理特征和动态特征。武桂林等^[2]采用最小均方算法对视频中基于慢运动物体检测、烟雾颜色区域检测、上升烟区检测、阴影检测与去除等4个子算法进行加权得到决策值以判断是否发生火灾；Jia等^[3]通过森林火灾中的颜色和运动特征得到显著特征图像，再根据运动能量特征与显著特征图像估计可疑烟区；Ko等^[4]利用森林火灾中烟的时空差异特征与随机森林相结合检测森林火灾；Krstini等^[5]分析森林火灾中有烟区域和无烟区域在不同颜色空间的直方图特征，实现对森林火灾中烟的实时检测；Yuan^[6]提取森林火灾中烟的纹理特征，将图像LBP和LBPV的直方图序列与神经网络分类器结合实现视频中烟的检测；邵婧等^[7]提出一种基于动态纹理特征分析的火灾检测算法，他们对视频图像建立线性动力系统模型，分析其动态纹理特征，最后采用Adaboost分类器判断是否发生火灾。上述基于可见光视频的森林烟火检测算法虽然利用多种火灾的颜色、纹理及动态特征，但是很难适应森林中复杂的环境变化。现阶段森林烟火检测还有针对红外视频的算法，张红民等^[8]提出了一种基于邻域对比的目标提取算法检测红外视频中的森林火灾。因为在红外视频中森林火点为高温区域，所以基于红外视频检测森林火灾的算法一般采用传感器网络处理得到的火灾信号^[9]，但是红外视频中与森林火点具有相似特征的影响因素比较多，尤其在白天，经过阳光照射的石头、工作设备等都属于干扰因素，容易影响算法的准确度，因此森林火灾的误检率也比较高。由于森林烟火在可见光视频和红外视频中具有各自不同的特点，将两种视频中的数据进行融合可以保留森林火灾在两种视频中的特征，更有利于森林烟火检测，但是国内外在森林火灾的可见光视频和红外视频融合方面的研究非常少，王进成等^[10]采用编号标记、编号生存期等一系列标记机制跟踪识别火焰目标，并采用基于图像轮廓的算法，结合硬件DSP与ARM双系统组合检测火灾。上述的基于红外和可见光视频融合的火灾检测更侧重的是硬件方面的设计，并且实验环境比较简单，完全不同于森林火灾的复杂环境情况，因此本文基于红外视频和可见光视频的森林烟火检测方法，提出了一种基于分数阶微分的红外和可见光融合算法。

本文提出一种新的基于分数阶微分融合(Fractional-Calculus Based Fusion Algorithm, 简称FCBF算法)红外和可见光视频的森林烟火检测算法可对林区烟火进行实时准确的检测。首先，基于分数阶微分理论将红外视频和可见光视频融合；然后，再对融合后的视频采用背景减法判断是否出现异常情况，如若判断发生异常，则提取异常帧图像进行阈值分割，同时也提取背景帧与异常帧的差分图像，再对差分图像进行阈值分割；最后，对分割后的异常帧图像与差分图像进行去噪处理，得到森林烟火区域并在融合视频中将其用黑色的方框框出。实验结果表明，本文算法能够提高森林中烟火检测的准确率，从而减少误检和漏检的情况。

1.   算法介绍

分数阶微分是数学分析领域的一个重要分支，它是整数阶微分运算的推广，但由于微分的分数阶概念不宜理解，因此没有得到广泛应用。数字图像处理中经典的基于一阶微分的Sobel算子、Prewitt算子、Roberts算子和基于二阶微分的Laplace算子等都是由数学中的模型衍生而来，因此将非整数步长的分数阶微分应用到数字图像处理中具有广阔的发展前景。

目前，分数阶微分在数字图像处理中主要应用于去噪、图像增强以及边缘检测。Zhang等^[11]分析了不同阶次的微分对图像中高斯噪声的去除效果，发现分数阶的微分去噪效果优于整数阶微分，并且图像结构和纹理的保留情况也比整数阶微分效果好；Pu等^[12]利用分数阶微分提出了一种纹理图像去噪模型，因为与整数阶微分相比，分数阶微分能非线性增强图像中复杂的纹理细节信息，能更好地保留图像中的边缘和纹理信息；Yang等^[13]先用分数阶微分增强遥感图像以提取图像中的道路，其实验结果表明，较于传统的图像增强方法，基于分数阶微分的图像增强方法对于检测狭窄、模糊的道路效果更好；Chi等^[14]通过分数阶微分提取掌纹，并与采用经典的Sobel算子、Prewitt算子和Laplace算子的实验结果进行比较，其峰值信噪比明显高于经典的整数阶算子；Ghamisi等^[15]提出了分数阶达尔文粒子群优化算法，图像分割结果优于经典的图像阈值分割结果。

本文创新性地提出了一种基于分数阶微分融合算法(FCBF算法)，该算法融合红外和可见光视频图像进行森林烟火检测。FCBF算法主要利用分数阶微积分思想代替图像的梯度信息，然后通过比较同一位置处红外和可见光图像中的分数阶微分值确定最终融合图像的像素值。实验结果表明，该融合算法在降低算法复杂度的同时增强像素的邻域信息从而得到更好的边缘信息。

本文提出的森林烟火检测算法流程如图 1所示。首先，采用基于分数阶微分理论融合红外视频和可见光视频；然后，对融合后的视频采用背景减法判断是否出现异常情况，即森林中是否发生火灾；如果判断融合视频中出现异常情况，则提取异常帧图像进行R-C阈值分割，同时也提取背景帧图像与异常帧图像进行差分，再对差分图像进行矩不变法阈值分割；最后，对分割后的异常帧图像与差分图像取交集区域，并采用自适应局部平滑法去除噪声，得到森林烟火区域，在融合视频中将检测到的森林烟火区域用黑色方框框出。

图  1  基于可见光和红外融合视频的森林烟火检测算法流程

Figure  1.  Forest fire detection algorithm process based on visible light and infrared fusion video

下载: 全尺寸图片 幻灯片

1.1   本文算法主要步骤

Step 1：基于FCBF算法融合红外和可见光图像，见图 2。

图  2  FCBF算法step 1实验结果

Figure  2.  Experiment results of step 1 based on FCBF algorithm

下载: 全尺寸图片 幻灯片

Step 2：背景法判断是否出现异常，对序列图像作减法运算。

设视频的序列图像f_i(x, y), i=0, 1, 2, …，N，(x, y)为图像中各个像素的坐标，N为连续序列图像的帧数目。两幅图像的差值计算公式为：

式中：Δf_i(x, y)为两幅图像的差值，f_i(x, y)为当前图像，f₀(x, y)为背景图像，T为阈值(T为经验值)。

用两幅图像的差值与阈值T的比较判断视频中是否出现异常：如果出现异常，进行Step 3~7；如未出现异常，则摄像头继续进行检测。

Step 3：背景图像与异常帧进行差分，然后采用矩不变法对差分图像阈值分割。

Step 4：异常帧图像则是可能存在森林火灾的图像，因此对异常帧图像要进行可疑火点区域判断，对异常帧图像进行R-C法阈值分割。

Step 5：异常帧的阈值分割图像与差分的阈值分割图像取交集区域，见图 3。

图  3  FCBF算法step 3至step 5实验结果

Figure  3.  Experiment results of step 3-step 5 based on FCBF algorithm

下载: 全尺寸图片 幻灯片

Step 6：采用自适应局部平滑方法去除分割图像的噪声，得到可疑火点区域图像，见图 4a。

图  4  FCBF算法step 6和step 7实验结果

Figure  4.  Experiment results of step 6 & step 7 based on

下载: 全尺寸图片 幻灯片

Step 7：可疑火点区域图像中的最大连通区域即为森林火灾区域，在融合图像中用黑色线条框出森林火灾区域，见图 4b。

1.2   本文算法创新点

本文是基于红外和可见光波段的融合视频检测森林火点，采用基于小波变换和Contourlet变换的融合算法需要图像分解、融合再重构，其过程比较繁琐，视频融合算法复杂度高，实时性差，不适用于实际的林火监测；然而基于区域能量的融合算法虽然可以反映红外和可见光图像中明显的亮度突变，但又忽略了微小的细节变化，使得融合图像比较模糊，出现清晰度下降和信息熵减少等情况；基于窗口方差的融合算法使得融合图像的对比度下降、目标指示能力减弱，并不能充分提取红外图像与可见光图像的互补信息。采用基于HSI变换的融合算法虽然提高了融合图像的空间分辨率，但使得融合后的图像色调饱和度值产生了扭曲，融合图像中出现色块，严重影响融合图像的效果。

为解决上述算法中出现的问题，既能实现红外和可见光视频的实时融合，又可以尽可能保留红外和可见光视频中森林火点的特征，本文将分数阶微分理论引入红外和可见光视频融合技术中，并创新性地提出一种基于分数阶微分融合算子的森林烟火检测算法(FCBF算法)，该算法对红外视频及可见光视频图像的分数阶微分值进行加权得到融合图像，并分析该融合图像检测森林烟火区域。

由于分数阶微积分的计算过程复杂，为了降低算法的复杂度, 我们利用图 5所示分数阶微分算子计算图像的分数阶微分值。

图  5  本文提出的分数阶微分算子

Figure  5.  Proposed fractional-calculus operator

下载: 全尺寸图片 幻灯片

图 5中的像素模板结构考虑到了当前像素在两个坐标轴正负向以及斜45°邻域方向的像素信息。FCBF算法采用图 5中的分数阶微分算子同时扫描待融合的红外和可见光图像，计算图像中同一位置处红外和可见光图像的分数阶微分值，分数阶微分值D的计算公式为：

式中：D为分数阶微分值，v为微分阶数(经验值为0.1)，I为待融合的红外和可见光图像中模板对应的像素点的像素值。

如将同一位置处红外图像和可见光图像的分数阶微分值D作为衡量图像信息的重要程度，并利用分数阶微分值D得到融合权重系数w_A和w_B。计算公式为：

式中：A和B分别代表红外图像和可见光图像，D_A和D_B表示红外和可见光图像的分数阶微分值。

融合图像F的像素值可由下式得出：

式中：f_A(i, j)、f_B(i, j)和f_F(i, j)分别表示红外、可见光和融合图像中像素点(i, j)的像素值，w_A和w_B表示红外和可见光图像在融合图像中所占的权重。

2.   结果与分析

本文实验数据为北京门头沟林区红外视频和可见光视频，实验中采用了2m×2m的加热板(65~90℃)模拟红外视频中的森林火点，同时采用烟雾弹(饼)模拟可见光视频中的森林火灾中的烟。图 6~9是门头沟4个不同火点的红外及可见光原始视频帧图像、融合后的图像及森林烟火的检测结果。为了阐明本文提出的FCBF算法的有效性，作者比较了FCBF算法与基于区域能量融合规则^[16]、基于窗口方差融合规则^[17]和基于HSI变换融合算法的图像融合效果、林火检测准确率和森林烟火检测时间的误差度。

图  6  不同融合算法生成的融合图像及林区烟火检测结果(门头沟1号火点)

Figure  6.  Results of forest fire detection based on different fusion algorithms (No.1 fire point in Mentougou District)

下载: 全尺寸图片 幻灯片

图  7  不同融合算法生成的融合图像及林区烟火检测结果(门头沟2号火点)

Figure  7.  Results of forest fire detection based on different fusion algorithms (No.2 fire point in Mentougou District)

下载: 全尺寸图片 幻灯片

图  8  不同融合算法生成的融合图像及林区烟火检测结果(门头沟3号火点)

Figure  8.  Results of forest fire detection based on different fusion algorithms (No.3 fire point in Mentougou District)

下载: 全尺寸图片 幻灯片

图  9  不同融合算法生成的融合图像及林区烟火检测结果(门头沟4号火点)

Figure  9.  Results of forest fire detection based on different fusion algorithms (No.4 fire point in Mentougou District)

下载: 全尺寸图片 幻灯片

图 6~9中：a为可见光图像；b为红外图像；c和d为基于区域能量算法融合图像及其检测结果；e和f为基于窗口方差算法融合图像及其检测结果；g和h为基于HSI变换算法融合图像及其检测结果；i和j为基于FCBF算法融合图像及其检测结果。图 6~9中如果检测到森林烟火发生，则将该区域用黑色方框标记。从图 6~9中可以看出，基于分数阶微分融合的图像细节信息保留情况优于其他3种方法，FCBF算法的融合图像更为清晰，并且森林火灾监测更为准确。例如，在图 7e、f中，基于窗口方差融合算法没有检测到森林烟火区域；在图 8c、d中，基于区域能量融合算法出现了误检的情况；在图 9c、d中，基于区域能量融合算法检测出的森林烟火区域不精确；而图 6~9的g、h中，基于HSI变换融合算法均无法检测出森林火灾区域，其原因可能是该算法用红外图像信息代替了可见光图像中的I通道信息，而森林火灾的烟在I通道中特征比较明显，因此降低了森林火灾区域检测的准确率且使得融合图像中出现大片失真的蓝色区域。

本文比较了FCBF算法、基于区域能量融合算法、基于窗口方差融合算法和基于HSI变换融合算法的图像融合效果、对森林烟火检测的准确率和森林火灾发生初期的时间误差度。文中采用空间频率和平均梯度作为图像融合效果的评判测度。4种测度定义如下。

1) 空间频率S

式中：R为图像的行频率，C为图像的列频率。

图像的空间频率能够反映图像空间域的整体活跃程度，因此图像的空间频率越大，图像的效果越好。

式中：M为窗口的长度，N为窗口的宽度，F(i, j)为图像中像素值。

2) 平均梯度AG

平均梯度指的是敏感反映图像对微小细节反差表达的能力，同时也可以反映图像的清晰度，因此图像的平均梯度越大，图像就越清晰。

3) 森林烟火检测的准确率P

式中：T_P表示准确检测到的森林烟火的帧数，F_P为漏检和误检的帧数。

森林烟火检测的准确率P展现了算法的有效性和鲁棒性。

4) 森林火灾的时间误差度T

式中：D_T为检测到森林火灾发生的时间，P_T为实际森林火灾发生的时间。

该时间测度反映了算法对森林火灾发生初期的时间灵敏程度，因此T值越小，算法就越有效。

从表 1可以看出：本文提出的FCBF算法的空间频率和平均梯度均高于其他3种算法，因此实验结果表明FCBF算法的图像融合效果最好；FCBF算法在森林烟火检测准确率和时间误差度方面明显优于其他3种算法，基于HSI变换的图像融合算法准确率最低且时间误差度最高。通过表 1数据的综合评判可知，FCBF算法的图像融合效果最好，并且森林烟火检测的准确率和时间灵敏程度最好，所以本文提出的FCBF算法很有效。

表  1  FCBF算法与其他3种算法性能比较

Table  1.  Comparison of FCBF algorithm and other algorithms

算法 Algorithm	空间频率 Spatial frequency(S)	平均梯度 Average gradient(AG)	准确率 Detection accuracy rate(P)/%	时间误差度 Detection time rate(T)/%
HSI变换融合算法HSI fusion algorithm	16.3270	7.8280	1.26	56.12
区域能量融合算法Regional energy fusion algorithm	28.3191	12.3122	86.20	38.57
窗口方差融合算法Regional variance fusion algorithm	32.5767	16.1555	87.13	21.14
FCBF算法FCBF algorithm	35.9066	19.6399	91.85	2.03

下载: 导出CSV 

| 显示表格

3.   结论

本文主要研究红外和可见光视频融合算法及基于融合图像分析的森林烟火检测技术，提出了一种新的基于分数阶微分融合红外和可见光视频的森林火灾检测算法(FCBF算法)。实验结果表明，本文提出的FCBF算法中的红外和可见光的融合图像比基于区域能量融合图像、基于窗口方差融合图像和基于HSI变换融合图像更为清晰丰富。同时，本文对FCBF算法、基于区域能量融合算法、基于窗口方差融合算法和基于HSI变换融合算法的图像融合效果、森林烟火检测的准确率和森林火灾发生初期检测的时间误差度进行了定量比较。FCBF算法在空间频率和平均梯度这两个反映图像融合效果的评价准则方面均优于其他3种算法；FCBF算法比基于区域能量融合算法错检和漏检情况少，对于森林烟火检测的准确率和检测的时间误差度优于其他3种算法，并且明显优于基于HSI变换融合算法。本文算法可以在比较复杂的森林环境中非常准确地检测到火灾初期的烟和火，并且能够精准显示出森林烟火的发生地点以及火灾的变化过程，因此可以及时预警森林火灾的发生，为防止森林火灾的蔓延提供了有利的途径。