-
近年来，人们利用卫星遥感、空中监测、地面监测等方法手段，对森林火灾进行监测，其中地面监测主要利用视频监控等设备，对森林进行远距离大面积监控，具有高效、实时、成本低等特点[1-2]。森林防火重在“打早、打小”，一旦火势扩大，灭火工作难度将大大增加。烟雾是森林火灾早期的表现，因此及时准确检测到烟雾，定位烟雾发生区域，对于提升林火扑救工作时效、降低森林火灾的危害程度具有重要意义。
为及早发现森林火灾，国内外学者利用烟雾视频，提取烟雾的颜色和纹理特征，对烟雾识别进行了大量的研究。张斌等[3]提取出烟雾的RGB颜色特征，林宏等[4]建立了烟雾Lab颜色模型。HSV颜色模型是接近人眼颜色感知的非线性颜色系统[5-6]。周忠等[5]将HSV和RGB颜色模型相结合，叶秋冬等[7]通过RGB颜色通道实现像素的聚类分割。刘恺等[8]基于YUV颜色空间确定疑似烟雾区，采用Real AdaBoost分类器进行烟雾识别分类。纹理特征用来描述物体颜色的空间分布和组合，在稳定性方面具有优势[9]。LBP（local binary pattern，局部二值模式）是由Ojala等于1995年提出的图像局部纹理特征描述算子[10]，常用来描述烟雾纹理特征[11-14]，具有光照不敏感、旋转不变性和灰度不变性等优点[15]。Yuan等[16]针对图像纹理特征，提出了局部和全局纹理，用于提高烟雾检测能力。传统研究方法中基于像素级别设置统一阈值难于协调近处烟雾与远处烟雾，容易出现漏报或误报。
在动态特征提取方面，Prema等[17]在YUV颜色空间提取疑似烟雾块后，通过小波变换和灰度共生矩阵分析烟雾的时空动态特征，最后利用支持向量机识别烟雾。Dimitropoulos等[18]基于线性动态系统，分析视频的多维动态纹理并进行时空建模，对疑似烟雾块检测识别，确定烟雾块发生时间，有助于提高检测的鲁棒性。Ko等[19]提取候选烟雾块的HIS颜色空间强度变化、小波能量变化、运动方向组合为时间特征向量，方向梯度直方图（HOG）作为空间特征向量，训练时空特征的随机森林模型，得到平均概率最大的候选块即为烟雾块。Park等[20]在前人研究的基础上，从当前块中提取方向梯度直方图（HOG）和光流直方图（HOF）作为时空特征，利用局部特征直方图建立随机森林分类器，实现近实时烟雾检测。张建明等[21]以16 × 16像素的块为单位，利用YIQ空间烟雾颜色模型和烟雾的运动特征，对远距离森林烟雾进行了实时检测。在图像处理领域，信噪比（signal-to-noise ratio，SNR）是指图像信号与噪声的功率谱比值[22-23]，常用来反映图像受外界影响的变化程度。以上研究表明，选取有效特征是林火烟雾识别的关键步骤之一，基于图像块分析烟雾的时空特征，有利于实现烟雾检测的自动化。
自然状态下，烟雾飘动扩散与空气热对流有关，具有向上飘动、变化不规则的特性；烟雾发生早期和烟雾距离较远时，烟雾像素值变化较小，自动化检测难度大；森林环境复杂，与烟雾相似特征的环境因素如云、雾、灰尘等，需要人为设置大量阈值，这些都增加了烟雾检测自动化的难度。因此，分区域提取烟雾的时空特征对于建立自动化的烟雾识别方法具有重要意义。
引入信噪比的计算方法，用于检测出连续图像序列局部发生变化的疑似区域。基于局部区域统计方法，对视频图像当前帧与参考帧计算信噪比，提取局部动态变化特征，确定图像序列中的变化区域和发生时间，综合LBP特征，识别烟雾区域和非烟雾区域，实现林火的早期检测与预警。
-
本文使用的视频数据来源有两个，一是从Bilkent大学火焰视频库获取的公开视频[24]，包含4个远距离林火烟雾图像。二是北京市门头沟华北林业实验中心森林保护站实际拍摄的林火烟雾视频图像。视频相关信息见表1，所有视频数据均是通过固定摄像头拍摄的可见光视频。
表 1 视频相关信息
Table 1. Video related information
编号
No.类别
Classification视频名称
Video name视频场景描述
Video scene description帧速率/(帧·s−1)
Frame rate/
(frame·s−1)截取后总帧数
Total number of frames after clip视频1 Video1 烟雾
SmokePelco_Colakli 远距离，有风，烟雾扩散缓慢
Long distance, windy, smoke spread slowly7 122 视频2 Video2 烟雾
Smoke20070817 Aksehir_Duman_Test5_
en_Iyisi_near_487_frame远距离，有风，烟雾扩散缓慢
Long distance, windy, smoke spread slowly7 484 视频3 Video3 烟雾
SmokeSmoke_Manavgat_Raw 远距离，烟雾较浓，扩散缓慢
Long distance, thick smoke, slow diffusion25 242 视频4 Video4 烟雾
Smoke20090409 ManavgatTEst 远距离，有风，有车辆驶过，烟雾扩散缓慢
Long distance, windy, vehicles passing by, smoke spread slowly9 180 视频5 Video5 烟雾
Smoke森林保护站拍摄视频1
Video1 taken at the forest protection station近距离，有烟雾，卡车施工作业
Close distance, smoke, truck construction operation25 238 视频6 Video6 非烟雾
Non-smoke森林保护站拍摄视频2
Video2 taken at the forest protection station近距离，有云
Close distance, cloudy30 220 视频7 Video7 非烟雾
Non-smoke森林保护站拍摄视频3
Video3 taken at the forest protection station近距离，有行人经过
Close distance, pedestrians passing by24 192 视频8 Video8 非烟雾
Non-smoke森林保护站拍摄视频4
Video4 taken at the forest protection station近距离，有车辆驶过
Close distance, vehicles passing by25 168 -
利用HSV颜色空间，计算连续帧的局部区域信噪比，提取烟雾的动态变化特征，检测烟雾发生区域，然后结合LBP纹理特征降低烟雾误报率。林火烟雾检测的主要步骤包括视频获取、图像序列分块、提取时空特征、变化检测、分类识别。其中，基于信噪比的区域变化检测和基于LBP的烟雾识别是本研究的关键。
-
林火烟雾受气流影响，出现上升运动或者平移运动[25]，面积扩散，浓度发生变化，是个动态变化的过程，视频图像序列像素值随之发生变化。
利用连续图像帧序列的像素变化，确定疑似烟雾区域。当前帧像素值是参考帧与噪声的叠加，当前帧与参考帧的像素差值即为噪声。图像区域信噪比计算公式如下：
$${\rm{SNR = 10 }} \times {\rm{ lg}}\frac{{\displaystyle\sum\limits_{x = 1}^{{N_x}} {\displaystyle\sum\limits_{y = 1}^{{N_y}} {{{[f(x,y)]}^2}} } }}{{\displaystyle\sum\limits_{x = 1}^{{N_x}} {\displaystyle\sum\limits_{y = 1}^{{N_y}} {{{[f'(x,y) - f(x,y)]}^2}} } }}$$ (1) 式中：x和y分别表示像素点所在的行和列，
$\mathop N\nolimits_x $ 和$\mathop N\nolimits_y $ 分别表示计算区域的总行数和总列数，$f(x,y)$ 是参考帧图像在$(x,y)$ 像素点的像素值，$f'(x,y)$ 表示当前帧图像在对应$(x,y)$ 像素点的像素值，计算结果为以dB为单位的${\rm{SNR}}$ 值。参考帧取背景帧时，得到
$\mathop {{\rm{SNR}}}\nolimits_{\rm{m}} $ ，表示当前帧相对背景帧的绝对变化；参考帧取前一帧时，得到$\mathop {{\rm{SNR}}}\nolimits_{\rm{n}} $ ，表示连续两帧的相对变化。根据${\rm{SNR}}$ 变化序列，设定阈值，检测局部变化大于阈值的区域，作为疑似烟雾区域。阈值的选取参考背景差分法，选取前一段时间连续20帧计算信噪比，并计算平均值和最大最小值。其中，最大值作为阈值上限，最小值作为阈值下限。 -
采用依次向下分块的方法，第一层对连续图像分成2 × 2块，第二层取每一小块再进行2 × 2分块，得到4 × 4块，生成具有连续性的分块，分块后编码如图1所示。分别计算每层块内信噪比的方差
${\rm{SN}}{\rm{R_{var}}}$ ，若下层4个小分块与对应上层分块得到的${\rm{SNR}}$ 的方差均超出阈值，说明下层分块的块内变化不明显，上层分块即可检测到变化，停止继续分块。
图 1 分块后编码
Figure 1. Block encoding
-
原始的LBP算子研究3 × 3邻域内像素的分布，将窗口中心像素灰度值与周围相邻的8个像素的灰度值进行比较，若周围像素灰度值大于中心像素值，则该像素点的位置被标记为1，否则为0。将8个像素灰度值组成二进制数，转化为十进制，即为中心像素的LBP值[16]，得到图像的纹理分布特征。
计算公式如下：
$$\mathop {{\rm{LBP}}}\nolimits_{p,r} = \sum\limits_{i = 0}^{p - 1} {S(\mathop g\nolimits_i - \mathop g\nolimits_ {\rm c} )\mathop 2\nolimits^i } $$ (2) $$S(x) = \left\{ {\begin{array}{*{20}{l}} {1,}&{x \geqslant 0}\\ {0,}&{\text{其他}} \end{array}} \right.$$ (3) 式中：
$\mathop g\nolimits_i $ 是周围邻域像素灰度值；$\mathop g\nolimits_ \rm c$ 是中心点像素灰度值；p和r分别是邻域内中心点周围像素的个数和邻域半径；邻域半径是中心像素点与邻域像素点的欧氏距离[3, 12]；$S(x)$ 为符号函数；原始的LBP算子周围邻域像素数目p设为8，邻域半径r设为1，表示1个像素代表的距离。经过改进的圆形LBP算子将邻域增大到任意邻域，即邻域半径r可扩展，满足不同尺寸的纹理特征要求，具有灰度和旋转不变性。旋转不变模式的LBP算子是原始LBP值的经过圆形邻域旋转，取最小值作为最终LBP值，提取的特征具有灰度不变性。统一模式的LBP算子通过计算LBP所对应的循环二进制数1到0或从0到1的跳变次数，跳变次数少于2作为等价模式类，跳变次数大于2的归为一类，称为混合模式，可以达到降维的目的，减少高频噪声的影响。
提取纹理特征的主要步骤：将图像转化为灰度图像；利用原始LBP算子，计算LBP图像；统计得到LBP直方图，得到每个图像的256维LBP特征向量[12]。
-
支持向量机（support vector machine，SVM）是通过建立最优分类曲面，使两类样本之间间隔最大，实现正样本和负样本正确分类，计算复杂度较低，有助于解决小样本学习、非线性以及高维模式识别等问题[26]。选取所有视频中林火烟雾区域共5 544个，作为正样本，典型的非烟雾区域1 470个，包括云雾、汽车、行人等，作为负样本。提取LBP特征作为SVM输入，采用交叉验证（K-fold cross validation，K-CV）方法获得模型的最优参数[27]，核函数设置为径向基核函数（RBF），该核函数将数据非线性地映射到高维空间，处理特征及其属性之间非线性关系，惩罚因子C为100，系数γ为0.001。将原始样本的70%作为训练集，30%作为测试集，利用最优参数，训练得到SVM分类模型并进行测试。然后利用训练好的SVM分类模型对疑似烟雾区进行分类，区分出烟雾区和非烟雾区。
分类算法评价指标，精确率P、召回率R和F1计算公式如下：
$$P = \frac{{\mathop T\nolimits_{\rm{p}} }}{{\mathop T\nolimits_{\rm{p}} + \mathop F\nolimits_{\rm{p}} }}$$ (4) $$R = \frac{{\mathop T\nolimits_{\rm{p}} }}{{\mathop T\nolimits_{\rm{p}} + \mathop F\nolimits_{\rm{n}} }}$$ (5) $$\mathop F\nolimits_1 = 2 \times \frac{{P \times R}}{{P + R}}$$ (6) 式中：
$\mathop T\nolimits_{\rm{p}} $ 表示预测为烟雾，实际也为烟雾的图像块数目；$\mathop F\nolimits_{\rm{p}} $ 表示预测为烟雾，实际为非烟雾的图像块数目；$\mathop F\nolimits_{\rm{n}} $ 表示预测为非烟雾，实际为烟雾的图像块数目；$P$ 为精确率，针对预测结果，这里表示预测为烟雾的样本中实际为烟雾的比例；$R$ 为召回率，表示实际为烟雾样本中准确预测为烟雾的比例；$\mathop F\nolimits_1 $ 为精确率和召回率的调和平均数。 -
根据前文所述研究方法，等间隔每秒取一帧图像，生成连续的图像序列。对图像序列进行规则分块，然后计算局部区域的信噪比。设定背景阈值，找到发生变化的图像块，即为下一步待分类识别的疑似烟雾块；提取LBP特征，利用SVM进行分类，区分烟雾块和非烟雾块。云台有12个预置位，每个位置停留20 s，4 min为一个周期完成360°检测，因此设定20 s作为时间窗口。算法流程如图2所示。
图 2 算法流程图
Figure 2. Algorithm flowchart
步骤1：待检测图像序列分块并计算信噪比。
步骤2：设定阈值。计算前一时间窗口内对应分块区域的信噪比，最大值和最小值分别作为阈值上限和下限。
步骤3：变化检测。待检测区域的信噪比超出阈值，标记为1，否则标记为0，生成连续的二值化检测序列。时间窗口内，连续四个检测值形成检测码，如果出现0111检测模式进行标记，表示检测到发生变化的时间，同时确定疑似烟雾区。
步骤4：烟雾识别。提取疑似烟雾区的LBP特征向量，利用已训练好的SVM分类模型，对疑似烟雾区进行分类，得到分类结果。
实验的硬件环境为64位Windows10操作系统台式机，CPU为Intel（R）Core（TM）i7-2600 CPU @ 3.40 GHz，内存为4 GB，显卡Intel（R）HD Graphics。利用Microsoft Visual Studio 2017开发平台，使用python 3.6程序语言并结合opencv3.4.5开源函数库实现检测算法，得到疑似烟雾区分类结果。
-
对比分析烟雾区域HSV颜色空间H（色度）通道、S（饱和度）通道、V（亮度）通道3个通道的
${\rm{SNR}}$ 曲线，选择能反映出烟雾变化的通道进行计算；计算干扰因素的${\rm{SNR}}$ 曲线，得到不同干扰因素的曲线特征。根据待检测图像序列的方差，确定分块大小。利用待检测区域与对应背景区域的${\rm{SNR}}$ ，设置阈值，检测出疑似烟雾区。利用LBP特征，训练SVM分类模型，对疑似烟雾${\rm{SNR}}$ 区进一步识别。 -
对图3所示烟雾区域，分别利用H、S、V通道计算得到
${\rm{H\_SNR}}$ 、${\rm{S\_SNR}}$ 和${\rm{V\_SNR}}$ ，变化趋势如图4所示。
图 3 Video4烟雾发生区域连续图像
Figure 3. Continuous image of smoke occurrence area in video4
图 4 烟雾HSV颜色通道SNR变化趋势
Figure 4. SNR changing trend of smoke HSV color channel
从通道来看，
${\rm{H}}\_{\rm{SN}}{{\rm{R}}_{\rm{m}}}$ 和${\rm{H\_SN}}{{\rm{R}}_{\rm{n}}}$ 在20左右上下波动，${\rm{S}}\_{\rm{SN}}{{\rm{R}}_{\rm{m}}}$ 和${\rm{S}}\_{\rm{SN}}{{\rm{R}}_{\rm{n}}}$ 在10左右上下波动，${\rm{V}}\_{\rm{SN}}{{\rm{R}}_{\rm{m}}}$ 和${\rm{V}}\_{\rm{SN}}{{\rm{R}}_{\rm{n}}}$ 变化范围较大。H通道和S通道呈现小幅度波动特征，无法描述烟雾区域随时间的变化，V通道计算连续图像的${\rm{SNR}}$ ，比H通道和S通道变化明显，能较好反映烟雾区域的变化趋势。从
${\rm{SNR}}$ 计算方式看，由于烟雾发生之后一般会持续扩散，扩散速度与当时空气流动速度有关，$ {\rm{SN}}{{\rm{R}}_{\rm{n}}} $ 在烟雾持续状态时与初始水平值接近，区分能力较差。因此，采用${\rm{V}}\_{\rm{SN}}{{\rm{R}}_{\rm{m}}}$ 提取烟雾动态特征效果较好。${\rm{SNR}}$ 曲线变化趋势反映烟雾变化的过程。图5是由图3所示区域连续160帧图像得到的${\rm{SNR}}$ 曲线，反映了烟雾发生、持续、消散的过程。在烟雾发生时${\rm{SNR}}$ 有明显的下降，烟雾消散${\rm{SNR}}$ 恢复到初始水平。具体来看，第8帧到第43帧烟雾出现并且浓度增大，${\rm{SNR}}$ 下降，幅度较大。第44到85帧烟雾浓度略有降低而后又升高，${\rm{SNR}}$ 持续较低，出现小幅度上升而后又下降。第86至115帧烟雾逐渐消散，${\rm{SNR}}$ 增大恢复到初始较高值。结合背景${\rm{SNR}}$ 阈值，该区域第31帧检测到变化，定为疑似烟雾区域。
图 5 SNR变化趋势
Figure 5. Changing trend of SNR
利用V通道计算信噪比，得到Video6至Video8中云、行人、汽车的
${\rm{SN}}{{\rm{R}}_{\rm{m}}}$ 和${\rm{SN}}{{\rm{R}}_{\rm{n}}}$ 曲线如图6所示。云的${\rm{SN}}{{\rm{R}}_{\rm{m}}}$ 呈现缓慢下降，${\rm{SN}}{{\rm{R}}_{\rm{n}}}$ 在40 ~ 45之间上下波动，这是由于云移动速度较慢，连续两帧之间差别不大。人和汽车出现时，${\rm{SN}}{{\rm{R}}_{\rm{m}}}$ 和${\rm{SN}}{{\rm{R}}_{\rm{n}}}$ 有明显的下降。人和汽车离开，${\rm{SN}}{{\rm{R}}_{\rm{m}}}$ 和${\rm{SN}}{{\rm{R}}_{\rm{n}}}$ 上升，恢复到初始水平。
图 6 非烟雾SNRm和SNRn变化趋势
Figure 6. Changing trend of non-smoke SNRm and SNRn
${\rm{V}}\_{\rm{SNR}}$ 能较好的反映出烟雾区域的动态变化特征。因此，通过亮度V分量计算图像序列信噪比提取出动态特征，能将图像中的亮度变化区域检测出来，但检测结果包含部分非烟雾区域，需要进一步排除非烟雾区。 -
通过2 × 2、4 × 4、8 × 8分块方式得到的Video3中连续图像序列
${\rm{SN}}{{\rm{R}}_{\rm{m}}}$ 曲线，如图7所示。其中图7b是由图a中的块0四分块得到，图c是由图b中的块03四分块得到。分析曲线变化可得，随着分块层数增加，变化区域的${\rm{SNR}}$ 变化范围增大。
图 7 不同分块方法得到SNR变化趋势
Figure 7. Changing trend of SNR by diffirent block methods
对每一小块计算方差，如表2 ~ 4所示。第3层的4个小块方差与对应第二层块03方差均大于设定值2，即第二层块03可检测到发生变化的区域。随着分块数目增多，
${\rm{SNR}}$ 的方差增大，说明图像序列发生变化越明显，有利于准确检测到发生变化区域。表 2 2 × 2分块方式
Table 2. 2 × 2 block pattern
编码 No. 块0 Block 0 块1 Block 1 块2 Block 2 块3 Block 3 待检测区域信噪比的方差SNRvar SNRvar of the area to be detected 5.477 5 0.041 3 0.054 2 0.053 1 表 4 8 × 8分块方式
Table 4. 8 × 8 block pattern
编码 No. 块030 Block 030 块031 Block 031 块032 Block 032 块033 Block 033 待检测区域信噪比的方差SNRvar SNRvar of the area to be detected 21.453 7 16.541 4 25.686 1 40.761 4 表 3 4 × 4分块方式
Table 3. 4 × 4 block pattern
编码 No. 块00 Block 00 块01 Block 01 块02 Block 02 块03 Block 03 待检测区域信噪比的方差SNRvar SNRvar of the area to be detected 0.083 5 1.738 1 0.677 1 14.888 5 变化检测过程中，分块方法通过缩减区域使图像变化更加明显，图像块的面积越接近变化区域的面积，越有利于精确检测到发生变化的区域。
-
部分变化检测结果如图8所示。图8a检测到烟雾区域和汽车移动的区域，对比分成8 × 8分块方式（红色框）和16 × 16分块方式（黄色框）的检测结果，黄色框范围更加精确到图像发生变化区域。图8b、c、d显示均能检测到变化区域。图8b中标注的亮度变化区域是由烟雾扩散和卡车施工作业引起，图8c中检测到的亮度区域是由行人移动引起的图像亮度变化。图8d中汽车为黑色，与道路有明显的颜色差异。对连续图像中的运动物体具有较好的检测效果。从实际发生变化到检测出变化的响应时间平均为5 s。
图 8 检测结果
Figure 8. Detection results
-
对检测到的疑似烟雾块，提取LBP纹理特征，利用训练好的SVM分类模型，得到疑似烟雾区的分类结果。已经训练的SVM分类模型，精度达到90%以上。Video1至Video5中变化区域的数量分别为15、129、11、184、140。测试结果如表5。
表 5 测试结果
Table 5. Test results
% 烟雾视频数据 Smoke video data 精确率 Precision (P) F1 视频1 Video1 90 95 视频2 Video2 93 96 视频3 Video3 90 95 视频4 Video4 95 98 视频5 Video5 93 96 注：F1为精确率和召回率的调和平均数。Note: F1 is harmonic mean of precision and recall. 测试数据烟雾检测精确率90%以上，平均为92.2%，F1平均为96%。召回率R为100%，表示所有实际是烟雾的正样本，全部预测为烟雾，说明没有漏报烟雾区域。Video6、Video7、Video8无误报情况。Video1和Video3的P和F1较低，是由于图像分辨率低，检测到的疑似烟雾区域较少，非烟雾区域误报为烟雾区域的数目对结果影响大。本文方法检测到图像序列的变化区域，包括图像序列中存在的烟雾，树枝晃动，汽车移动，行人走动等，无漏报，因此对图像序列中变化块检测具有较高的灵敏度。通过0111的检测模式，排除部分非烟雾引起的图像变化区域。结合图像纹理特征，使用SVM分类模型对疑似烟雾区域进行分类，降低了误报率，精确率有待进一步提高。
-
本文主要研究林火烟雾视频自动检测技术，利用图像序列的时序性，通过多尺度分区和局部区域动态特征提取，实现连续图像的变化检测，检测出林火烟雾早期发生所在图像区域。通过分层分块检测与机器学习相结合的方法，烟雾视频中没有漏报，干扰物视频无误报，有利于林火烟雾检测的自动化，为林火烟雾智能化提供了新思路。与传统的林火烟雾视频检测方法相比，本文提出的方法具有算法简单、对林火烟雾检测灵敏度高，具有以下优点：
（1）经典的帧间变化信息提取方法有背景差分法和帧间差分法。背景差分法易受背景光照变化的影响，帧间差分法容易出现“空洞”，本研究对图像序列进行等间隔抽样，标记发生变化时刻的疑似烟雾区，达到简单预警的目的。
（2）烟雾出现早期或烟雾距离摄像头距离较远时，烟雾在图像中所占像素数较少，甚至到十几个像素。相对于整幅图像，少量像素亮度的变化对整幅图像信噪比的计算值影响不大。通过多尺度分区的方式，可以检测到小区域的变化，检测区域更加准确。
（3）森林环境场景复杂，不同区域SNR值不同，分区域检测，避免了整幅图像使用同一阈值导致漏报增多，克服复杂背景环境差异对烟雾检测的影响。
为进一步降低视频林火烟雾检测误报率，下一步需要增加更多反映林火烟雾本质的特征，并对支持向量机分类模型的参数进行调整，以提高烟雾检测的能力，获取更多的森林环境视频数据进行验证，为视频监控林火烟雾检测提供快速有效的方法。
Research on forest fire smoke detection technology based on video region dynamic features
-
摘要:
目的 视频监控越来越多地应用到森林火灾烟雾的早期检测中。现有的视频林火烟雾检测方法大多是基于像素提取烟雾特征进行分析检测，烟雾发生早期或烟雾距离摄像头较远时，在视频图像上烟雾仅呈现较小区域，且烟雾的扩散具有无规则性，背景环境复杂多变，导致基于像素的特征不明显，因此使基于像素的烟雾自动化检测难度增大。本文根据可见光视频图像处理原理，提出一种基于局部区域图像动态特征的林火视频烟雾检测方法，以提高林火视频烟雾检测准确度和灵敏度。 方法 以视频图像为研究对象，每秒取一帧生成图像序列，对图像序列进行多层次不同尺度分区；利用图像信噪比原理，计算分区后的连续图像序列的信噪比；根据背景图像信噪比得到自适应阈值，确定待检测图像序列发生亮度变化的图像块，即为疑似烟雾块；提取疑似烟雾块的LBP纹理特征，采用支持向量机区分出烟雾区域。 结果 利用HSV颜色空间的亮度分量，可以有效提取烟雾区域。选择有林火烟雾的视频，对提出的烟雾变化检测方法进行验证，分析结果表明该方法能确定烟雾发生所在的图像块，且能排除部分非烟雾干扰因素。 结论 本文提出了基于局部区域亮度特征和LBP纹理特征的视频林火烟雾检测技术，能准确定位烟雾发生区域，排除部分干扰因素，检测识别率平均达到92%以上，有助于实时林火烟雾自动检测，提高林火烟雾检测率，具有很强的实用性。 Abstract:Objective Video surveillance is increasingly applied to the early detection of forest fire smoke. The existing video forest fire smoke detection methods are mostly based on pixel extraction of smoke characteristics for analysis and detection, but when the smoke is early or the smoke is far from the camera, the smoke only appears in a small area on the video image. Moreover, the diffusion of smoke is irregular, and the background environment is complex and changeable, resulting in insignificant pixel-based features, which makes it more difficult to automatically detect pixel-based smoke. Based on the principle of visible light video image processing, this paper proposes a forest fire video smoke detection method based on local area image dynamic characteristics to improve the accuracy and sensitivity of forest fire video smoke detection. Method The video images were selected as the research object. One frame per second was taken to generate an image sequence, and the image sequences were divided into multiple levels and different scales; using the principle of image signal-to-noise ratio, we calculated the signal-to-noise ratio of continuous image sequences after blocking; the adaptive threshold was obtained according to the signal-to-noise ratio of the background image, and the image block whose brightness changes in the image sequence to be detected was determined to be the suspected smoke block; the LBP texture feature of the suspected smoke block was extracted, and the support vector machine was used to distinguish the smoke area. Result Using the value component of the HSV color space, smoke areas can be effectively extracted. The videos with forest fire smoke were selected to verify the proposed smoke change detection method. The analysis results showed that the method can determine the image block where the smoke occurred and excluded some non-smoke interference factors. Conclusion This paper proposes a video forest fire smoke detection technology based on brightness characteristics and LBP texture features of local area, which can accurately locate the smoke occurrence area and exclude some interference factors. The average detection recognition rate reaches more than 92%, which is helpful for real-time forest fire smoke automatic detection and improving the detection rate of forest fire smoke. It has a strong practicality. -
Key words:
- forest fire smoke detection /
- video image /
- block /
- signal-to-noise ratio /
- LBP texture feature
-
图 4 烟雾HSV颜色通道SNR变化趋势
m表示参考帧取背景帧；n表示参考帧取前一帧。m indicates the reference frame taking the background frame; n indicates the reference frame taking the previous frame.
Figure 4. SNR changing trend of smoke HSV color channel
图 5 SNR变化趋势
SNRbg表示前一时间窗口内SNR的值。SNRbg indicates the value of SNR in the previous time window.
Figure 5. Changing trend of SNR
表 1 视频相关信息
Table 1. Video related information
编号
No.类别
Classification视频名称
Video name视频场景描述
Video scene description帧速率/(帧·s−1)
Frame rate/
(frame·s−1)截取后总帧数
Total number of frames after clip视频1 Video1 烟雾
SmokePelco_Colakli 远距离，有风，烟雾扩散缓慢
Long distance, windy, smoke spread slowly7 122 视频2 Video2 烟雾
Smoke20070817 Aksehir_Duman_Test5_
en_Iyisi_near_487_frame远距离，有风，烟雾扩散缓慢
Long distance, windy, smoke spread slowly7 484 视频3 Video3 烟雾
SmokeSmoke_Manavgat_Raw 远距离，烟雾较浓，扩散缓慢
Long distance, thick smoke, slow diffusion25 242 视频4 Video4 烟雾
Smoke20090409 ManavgatTEst 远距离，有风，有车辆驶过，烟雾扩散缓慢
Long distance, windy, vehicles passing by, smoke spread slowly9 180 视频5 Video5 烟雾
Smoke森林保护站拍摄视频1
Video1 taken at the forest protection station近距离，有烟雾，卡车施工作业
Close distance, smoke, truck construction operation25 238 视频6 Video6 非烟雾
Non-smoke森林保护站拍摄视频2
Video2 taken at the forest protection station近距离，有云
Close distance, cloudy30 220 视频7 Video7 非烟雾
Non-smoke森林保护站拍摄视频3
Video3 taken at the forest protection station近距离，有行人经过
Close distance, pedestrians passing by24 192 视频8 Video8 非烟雾
Non-smoke森林保护站拍摄视频4
Video4 taken at the forest protection station近距离，有车辆驶过
Close distance, vehicles passing by25 168 
下载: 导出CSV
表 2 2 × 2分块方式
Table 2. 2 × 2 block pattern
编码 No. 块0 Block 0 块1 Block 1 块2 Block 2 块3 Block 3 待检测区域信噪比的方差SNRvar SNRvar of the area to be detected 5.477 5 0.041 3 0.054 2 0.053 1
下载: 导出CSV
表 4 8 × 8分块方式
Table 4. 8 × 8 block pattern
编码 No. 块030 Block 030 块031 Block 031 块032 Block 032 块033 Block 033 待检测区域信噪比的方差SNRvar SNRvar of the area to be detected 21.453 7 16.541 4 25.686 1 40.761 4
下载: 导出CSV
表 3 4 × 4分块方式
Table 3. 4 × 4 block pattern
编码 No. 块00 Block 00 块01 Block 01 块02 Block 02 块03 Block 03 待检测区域信噪比的方差SNRvar SNRvar of the area to be detected 0.083 5 1.738 1 0.677 1 14.888 5
下载: 导出CSV
表 5 测试结果
Table 5. Test results
% 烟雾视频数据 Smoke video data 精确率 Precision (P) F1 视频1 Video1 90 95 视频2 Video2 93 96 视频3 Video3 90 95 视频4 Video4 95 98 视频5 Video5 93 96 注：F1为精确率和召回率的调和平均数。Note: F1 is harmonic mean of precision and recall.
下载: 导出CSV
-
[1] 史劲亭, 袁非牛, 夏雪. 视频烟雾检测研究进展[J]. 中国图象图形学报, 2018, 23(3):303−322. doi: 10.11834/jig.170439. Shi J T, Yuan F N, Xia X. Video smoke detection: a literature survey[J]. Journal of Image and Graphics, 2018, 23(3): 303−322. doi: 10.11834/jig.170439. [2] Çetin A E, Dimitropoulos K, Gouverneur B, et al. Video fire detection: review[J]. Digital Signal Processing, 2013, 23(6): 1827−1843. doi: 10.1016/j.dsp.2013.07.003. [3] 张斌, 魏维, 何冰倩. 基于多特征融合的早期野火烟雾检测[J]. 成都信息工程大学学报, 2018, 33(4):408−412. Zhang B, Wei W, He B Q. An early wildfire smoke detection method based on multi-features fusion[J]. Journal of Chengdu University of Information Technology, 2018, 33(4): 408−412. [4] 林宏, 刘志刚, 赵同林, 等. 基于视频的林火烟雾识别算法研究[J]. 安全与环境学报, 2013, 13(2):210−214. doi: 10.3969/j.issn.1009-6094.2013.02.045 Lin H, Liu Z G, Zhao T L, et al. Improved algorithm for smoking identification of the forest fire based on the video survey[J]. Journal of Safety and Environment, 2013, 13(2): 210−214. doi: 10.3969/j.issn.1009-6094.2013.02.045 [5] 周忠, 赵亚琴, 唐于维一, 等. 基于时空特征的林火视频烟雾区域提取[J]. 中国农机化学报, 2016, 37(2):196−199. Zhou Z, Zhao Y Q, Tang-Yu W Y, et al. Segmentation of forest fire video smoke region based on the temporal-spatial features[J]. Journal of Chinese Agricultural Mechanization, 2016, 37(2): 196−199. [6] Liu J L, Zhao H W. Research of smoke detection on visual saliency method[J]. Journal of Multimedia, 2014, 9(6): 781−788. [7] 叶秋冬, 王越. 基于视频的烟雾检测预警系统在森林防火系统中的应用[J]. 计算机应用与软件, 2012, 29(1):270−272, 293. doi: 10.3969/j.issn.1000-386X.2012.01.076 Ye Q D, Wang Y. Application of video-based smoke detection and early warning system to forest fire prevention system[J]. Computer Applications and Software, 2012, 29(1): 270−272, 293. doi: 10.3969/j.issn.1000-386X.2012.01.076 [8] 刘恺, 刘湘, 常丽萍, 等. 基于YUV颜色空间和多特征融合的视频烟雾检测[J]. 传感技术学报, 2019, 32(2):237−243. Liu K, Liu X, Chang L P, et al. Video smoke detection based on YUV color space and multiple feature fusion[J]. Chinese Journal of Sensors and Actuators, 2019, 32(2): 237−243. [9] Tian H D, Li W Q, Ogunbona P O, et al. Detection and separation of smoke from single image frames[J]. IEEE Transactions on Image Processing, 2018, 27(3): 1164−1177. doi: 10.1109/TIP.2017.2771499 [10] Ojala T, Pietikäinen M, Harwood D. A comparative study of texture measures with classification based on featured distributions[J]. Pattern Recognition, 1996, 29(1): 51−59. doi: 10.1016/0031-3203(95)00067-4 [11] Yuan F N. Video-based smoke detection with histogram sequence of LBP and LBPV pyramids[J]. Fire Safety Journal, 2011, 46(3): 132−139. doi: 10.1016/j.firesaf.2011.01.001 [12] 杨秋霞, 罗传文. 基于LBP和稀疏表示的林火烟雾图像识别研究[J]. 安徽农业科学, 2014, 42(34):12342−12346. doi: 10.3969/j.issn.0517-6611.2014.34.116 Yang Q X, Luo C W. Forest fire smoke recognition based on local binary patterns and sparse representation[J]. Journal of Anhui Agricultural Sciences, 2014, 42(34): 12342−12346. doi: 10.3969/j.issn.0517-6611.2014.34.116 [13] 李红娣, 袁非牛. 采用金字塔纹理和边缘特征的图像烟雾检测[J]. 中国图象图形学报, 2015, 20(6):772−780. doi: 10.11834/jig.20150606 Li H D, Yuan F N. Image based smoke detection using pyramid texture and edge features[J]. Journal of Image and Graphics, 2015, 20(6): 772−780. doi: 10.11834/jig.20150606 [14] 兰久强, 刘金清, 刘引, 等. 基于颜色和纹理特征的林火烟雾识别[J]. 计算机系统应用, 2016, 25(3):101−106. Lan J Q, Liu J Q, Liu Y, et al. Forest fire smoke recognition based on color and texture features[J]. Computer Systems & Applications, 2016, 25(3): 101−106. [15] Ojala T, Pietikäinen M, Mäenpää T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971−987. doi: 10.1109/TPAMI.2002.1017623 [16] Yuan F N, Xia X, Shi J T. Holistic learning-based high-order feature descriptor for smoke recognition[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2019, 17(2): 1940005. doi: 10.1142/S0219691319400058 [17] Prema C E, Vinsley S S, Suresh S. Multi feature analysis of smoke in YUV color space for early forest fire detection[J]. Fire Technology, 2016, 52(5): 1319−1342. doi: 10.1007/s10694-016-0580-8 [18] Dimitropoulos K, Barmpoutis P, Grammalidis N. Higher order linear dynamical systems for smoke detection in video surveillance applications[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 27(5): 1143−1154. doi: 10.1109/TCSVT.2016.2527340 [19] Ko B C, Kwak J Y, Nam J Y. Wildfire smoke detection using temporospatial features and random forest classifiers[J]. Optical Engineering, 2012, 51(1): 017208. doi: 10.1117/1.OE.51.1.017208 [20] Park J O, Ko B C, Nam J Y, et al. Wildfire smoke detection using spatiotemporal bag-of-features of smoke[C]//2013 IEEE Workshop on Applications of Computer Vision. Tampa: IEEE, 2013: 200−205. [21] 张建明, 黄继风. 基于视频的实时烟雾检测算法[J]. 计算机应用与软件, 2016, 33(12):248−252. doi: 10.3969/j.issn.1000-386x.2016.12.059 Zhang J M, Huang J F. Real-time smoke detection algorithm based on video[J]. Computer Applications and Software, 2016, 33(12): 248−252. doi: 10.3969/j.issn.1000-386x.2016.12.059 [22] 罗一涵, 刘妍妍, 陈科. 探测信噪比计算方法及原理综述[J]. 电声技术, 2016, 40(6):37−43, 57. Luo Y H, Liu Y Y, Chen K. Computing methods and principles of detective SNR[J]. Audio Engineering, 2016, 40(6): 37−43, 57. [23] 贺国旗, 陈向奎, 韩泉叶, 等. 一种自动提高图像信噪比的方法[J]. 计算机技术与发展, 2015, 25(12):60−63. He G Q, Chen X K, Han Q Y, et al. A method of automatically improving SNR of image[J]. Computer Technology and Development, 2015, 25(12): 60−63. [24] Bilkent Signal Procesing Group. Computer vision based fire detection software[EB/OL]. [2019−06−20]. http://signal.ee.bilkent.edu.tr/VisiFire/. [25] 郑怀兵, 翟济云. 基于视频分析的森林火灾烟雾检测方法[J]. 南京理工大学学报(自然科学版), 2015, 39(6):686−691, 710. Zheng H B, Zhai J Y. Forest fire smoke detection based on video analysis[J]. Journal of Nanjing University of Science and Technology, 2015, 39(6): 686−691, 710. [26] 何大超, 娄小平, 唐辉. 基于动态特性的实时视频烟雾检测[J]. 计算机应用与软件, 2014, 31(2):201−204. doi: 10.3969/j.issn.1000-386x.2014.02.054 He D C, Lou X P, Tang H. Dynamic features based real-time video smoke detection[J]. Computer Applications and Software, 2014, 31(2): 201−204. doi: 10.3969/j.issn.1000-386x.2014.02.054 [27] 奉国和. SVM分类核函数及参数选择比较[J]. 计算机工程与应用, 2011, 47(3):123−124. doi: 10.3778/j.issn.1002-8331.2011.03.037 Feng G H. Parameter optimizing for support vector machines classification[J]. Computer Engineering and Applications, 2011, 47(3): 123−124. doi: 10.3778/j.issn.1002-8331.2011.03.037 -
点击查看大图
图(8) / 表 (5)
计量
- 文章访问数: 500
- HTML全文浏览量: 211
- PDF下载量: 30
- 被引次数: 0
