高级检索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于视频区域动态特征的林火烟雾检测技术研究

刘长春 刘鹏举 季烨云

刘长春, 刘鹏举, 季烨云. 基于视频区域动态特征的林火烟雾检测技术研究[J]. 北京林业大学学报, 2021, 43(1): 10-19. doi: 10.12171/j.1000-1522.20200049
引用本文: 刘长春, 刘鹏举, 季烨云. 基于视频区域动态特征的林火烟雾检测技术研究[J]. 北京林业大学学报, 2021, 43(1): 10-19. doi: 10.12171/j.1000-1522.20200049
Liu Changchun, Liu Pengju, Ji Yeyun. Research on forest fire smoke detection technology based on video region dynamic features[J]. Journal of Beijing Forestry University, 2021, 43(1): 10-19. doi: 10.12171/j.1000-1522.20200049
Citation: Liu Changchun, Liu Pengju, Ji Yeyun. Research on forest fire smoke detection technology based on video region dynamic features[J]. Journal of Beijing Forestry University, 2021, 43(1): 10-19. doi: 10.12171/j.1000-1522.20200049

基于视频区域动态特征的林火烟雾检测技术研究

doi: 10.12171/j.1000-1522.20200049
基金项目: 中国林业科学研究院基本科研业务费专项(CAFYBB2017ZC001),“948”国家林业局引进项目(2014-4-01)
详细信息
    作者简介:

    刘长春。主要研究方向:地理信息系统技术与应用。Email:lcc175@126.com 地址:100091 北京市海淀区香山路东小府1号中国林业科学研究院资源信息研究所

    通讯作者:

    刘鹏举,博士,副研究员。主要研究方向:林业GIS应用与开发。Email:liupeng@caf.ac.cn 地址:同上

  • 中图分类号: S762.3+2

Research on forest fire smoke detection technology based on video region dynamic features

  • 摘要:   目的  视频监控越来越多地应用到森林火灾烟雾的早期检测中。现有的视频林火烟雾检测方法大多是基于像素提取烟雾特征进行分析检测,烟雾发生早期或烟雾距离摄像头较远时,在视频图像上烟雾仅呈现较小区域,且烟雾的扩散具有无规则性,背景环境复杂多变,导致基于像素的特征不明显,因此使基于像素的烟雾自动化检测难度增大。本文根据可见光视频图像处理原理,提出一种基于局部区域图像动态特征的林火视频烟雾检测方法,以提高林火视频烟雾检测准确度和灵敏度。  方法  以视频图像为研究对象,每秒取一帧生成图像序列,对图像序列进行多层次不同尺度分区;利用图像信噪比原理,计算分区后的连续图像序列的信噪比;根据背景图像信噪比得到自适应阈值,确定待检测图像序列发生亮度变化的图像块,即为疑似烟雾块;提取疑似烟雾块的LBP纹理特征,采用支持向量机区分出烟雾区域。  结果  利用HSV颜色空间的亮度分量,可以有效提取烟雾区域。选择有林火烟雾的视频,对提出的烟雾变化检测方法进行验证,分析结果表明该方法能确定烟雾发生所在的图像块,且能排除部分非烟雾干扰因素。  结论  本文提出了基于局部区域亮度特征和LBP纹理特征的视频林火烟雾检测技术,能准确定位烟雾发生区域,排除部分干扰因素,检测识别率平均达到92%以上,有助于实时林火烟雾自动检测,提高林火烟雾检测率,具有很强的实用性。
  • 图  1  分块后编码

    Figure  1.  Block encoding

    图  2  算法流程图

    Figure  2.  Algorithm flowchart

    图  3  Video4烟雾发生区域连续图像

    Figure  3.  Continuous image of smoke occurrence area in video4

    图  4  烟雾HSV颜色通道SNR变化趋势

    m表示参考帧取背景帧;n表示参考帧取前一帧。m indicates the reference frame taking the background frame; n indicates the reference frame taking the previous frame.

    Figure  4.  SNR changing trend of smoke HSV color channel

    图  5  SNR变化趋势

    SNRbg表示前一时间窗口内SNR的值。SNRbg indicates the value of SNR in the previous time window.

    Figure  5.  Changing trend of SNR

    图  6  非烟雾SNRm和SNRn变化趋势

    Figure  6.  Changing trend of non-smoke SNRm and SNRn

    图  7  不同分块方法得到SNR变化趋势

    Figure  7.  Changing trend of SNR by diffirent block methods

    图  8  检测结果

    Figure  8.  Detection results

    表  1  视频相关信息

    Table  1.   Video related information

    编号
    No.
    类别
    Classification
    视频名称
    Video name
    视频场景描述
    Video scene description
    帧速率/(帧·s−1)
    Frame rate/
    (frame·s−1)
    截取后总帧数
    Total number of frames after clip
    视频1 Video1 烟雾
    Smoke
    Pelco_Colakli 远距离,有风,烟雾扩散缓慢
    Long distance, windy, smoke spread slowly
    7 122
    视频2 Video2 烟雾
    Smoke
    20070817 Aksehir_Duman_Test5_
    en_Iyisi_near_487_frame
    远距离,有风,烟雾扩散缓慢
    Long distance, windy, smoke spread slowly
    7 484
    视频3 Video3 烟雾
    Smoke
    Smoke_Manavgat_Raw 远距离,烟雾较浓,扩散缓慢
    Long distance, thick smoke, slow diffusion
    25 242
    视频4 Video4 烟雾
    Smoke
    20090409 ManavgatTEst 远距离,有风,有车辆驶过,烟雾扩散缓慢
    Long distance, windy, vehicles passing by, smoke spread slowly
    9 180
    视频5 Video5 烟雾
    Smoke
    森林保护站拍摄视频1
    Video1 taken at the forest protection station
    近距离,有烟雾,卡车施工作业
    Close distance, smoke, truck construction operation
    25 238
    视频6 Video6 非烟雾
    Non-smoke
    森林保护站拍摄视频2
    Video2 taken at the forest protection station
    近距离,有云
    Close distance, cloudy
    30 220
    视频7 Video7 非烟雾
    Non-smoke
    森林保护站拍摄视频3
    Video3 taken at the forest protection station
    近距离,有行人经过
    Close distance, pedestrians passing by
    24 192
    视频8 Video8 非烟雾
    Non-smoke
    森林保护站拍摄视频4
    Video4 taken at the forest protection station
    近距离,有车辆驶过
    Close distance, vehicles passing by
    25 168
    下载: 导出CSV

    表  2  2 × 2分块方式

    Table  2.   2 × 2 block pattern

    编码 No.块0 Block 0块1 Block 1块2 Block 2块3 Block 3
    待检测区域信噪比的方差SNRvar SNRvar of the area to be detected5.477 50.041 30.054 20.053 1
    下载: 导出CSV

    表  4  8 × 8分块方式

    Table  4.   8 × 8 block pattern

    编码 No.块030 Block 030块031 Block 031块032 Block 032块033 Block 033
    待检测区域信噪比的方差SNRvar SNRvar of the area to be detected21.453 716.541 425.686 140.761 4
    下载: 导出CSV

    表  3  4 × 4分块方式

    Table  3.   4 × 4 block pattern

    编码 No.块00 Block 00块01 Block 01块02 Block 02块03 Block 03
    待检测区域信噪比的方差SNRvar SNRvar of the area to be detected0.083 51.738 10.677 114.888 5
    下载: 导出CSV

    表  5  测试结果

    Table  5.   Test results %

    烟雾视频数据 Smoke video data精确率 Precision (P)F1
    视频1 Video19095
    视频2 Video29396
    视频3 Video39095
    视频4 Video49598
    视频5 Video59396
    注:F1为精确率和召回率的调和平均数。Note: F1 is harmonic mean of precision and recall.
    下载: 导出CSV
  • [1] 史劲亭, 袁非牛, 夏雪. 视频烟雾检测研究进展[J]. 中国图象图形学报, 2018, 23(3):303−322. doi:  10.11834/jig.170439.

    Shi J T, Yuan F N, Xia X. Video smoke detection: a literature survey[J]. Journal of Image and Graphics, 2018, 23(3): 303−322. doi:  10.11834/jig.170439.
    [2] Çetin A E, Dimitropoulos K, Gouverneur B, et al. Video fire detection: review[J]. Digital Signal Processing, 2013, 23(6): 1827−1843. doi:  10.1016/j.dsp.2013.07.003.
    [3] 张斌, 魏维, 何冰倩. 基于多特征融合的早期野火烟雾检测[J]. 成都信息工程大学学报, 2018, 33(4):408−412.

    Zhang B, Wei W, He B Q. An early wildfire smoke detection method based on multi-features fusion[J]. Journal of Chengdu University of Information Technology, 2018, 33(4): 408−412.
    [4] 林宏, 刘志刚, 赵同林, 等. 基于视频的林火烟雾识别算法研究[J]. 安全与环境学报, 2013, 13(2):210−214. doi:  10.3969/j.issn.1009-6094.2013.02.045

    Lin H, Liu Z G, Zhao T L, et al. Improved algorithm for smoking identification of the forest fire based on the video survey[J]. Journal of Safety and Environment, 2013, 13(2): 210−214. doi:  10.3969/j.issn.1009-6094.2013.02.045
    [5] 周忠, 赵亚琴, 唐于维一, 等. 基于时空特征的林火视频烟雾区域提取[J]. 中国农机化学报, 2016, 37(2):196−199.

    Zhou Z, Zhao Y Q, Tang-Yu W Y, et al. Segmentation of forest fire video smoke region based on the temporal-spatial features[J]. Journal of Chinese Agricultural Mechanization, 2016, 37(2): 196−199.
    [6] Liu J L, Zhao H W. Research of smoke detection on visual saliency method[J]. Journal of Multimedia, 2014, 9(6): 781−788.
    [7] 叶秋冬, 王越. 基于视频的烟雾检测预警系统在森林防火系统中的应用[J]. 计算机应用与软件, 2012, 29(1):270−272, 293. doi:  10.3969/j.issn.1000-386X.2012.01.076

    Ye Q D, Wang Y. Application of video-based smoke detection and early warning system to forest fire prevention system[J]. Computer Applications and Software, 2012, 29(1): 270−272, 293. doi:  10.3969/j.issn.1000-386X.2012.01.076
    [8] 刘恺, 刘湘, 常丽萍, 等. 基于YUV颜色空间和多特征融合的视频烟雾检测[J]. 传感技术学报, 2019, 32(2):237−243.

    Liu K, Liu X, Chang L P, et al. Video smoke detection based on YUV color space and multiple feature fusion[J]. Chinese Journal of Sensors and Actuators, 2019, 32(2): 237−243.
    [9] Tian H D, Li W Q, Ogunbona P O, et al. Detection and separation of smoke from single image frames[J]. IEEE Transactions on Image Processing, 2018, 27(3): 1164−1177. doi:  10.1109/TIP.2017.2771499
    [10] Ojala T, Pietikäinen M, Harwood D. A comparative study of texture measures with classification based on featured distributions[J]. Pattern Recognition, 1996, 29(1): 51−59. doi:  10.1016/0031-3203(95)00067-4
    [11] Yuan F N. Video-based smoke detection with histogram sequence of LBP and LBPV pyramids[J]. Fire Safety Journal, 2011, 46(3): 132−139. doi:  10.1016/j.firesaf.2011.01.001
    [12] 杨秋霞, 罗传文. 基于LBP和稀疏表示的林火烟雾图像识别研究[J]. 安徽农业科学, 2014, 42(34):12342−12346. doi:  10.3969/j.issn.0517-6611.2014.34.116

    Yang Q X, Luo C W. Forest fire smoke recognition based on local binary patterns and sparse representation[J]. Journal of Anhui Agricultural Sciences, 2014, 42(34): 12342−12346. doi:  10.3969/j.issn.0517-6611.2014.34.116
    [13] 李红娣, 袁非牛. 采用金字塔纹理和边缘特征的图像烟雾检测[J]. 中国图象图形学报, 2015, 20(6):772−780. doi:  10.11834/jig.20150606

    Li H D, Yuan F N. Image based smoke detection using pyramid texture and edge features[J]. Journal of Image and Graphics, 2015, 20(6): 772−780. doi:  10.11834/jig.20150606
    [14] 兰久强, 刘金清, 刘引, 等. 基于颜色和纹理特征的林火烟雾识别[J]. 计算机系统应用, 2016, 25(3):101−106.

    Lan J Q, Liu J Q, Liu Y, et al. Forest fire smoke recognition based on color and texture features[J]. Computer Systems & Applications, 2016, 25(3): 101−106.
    [15] Ojala T, Pietikäinen M, Mäenpää T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971−987. doi:  10.1109/TPAMI.2002.1017623
    [16] Yuan F N, Xia X, Shi J T. Holistic learning-based high-order feature descriptor for smoke recognition[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2019, 17(2): 1940005. doi:  10.1142/S0219691319400058
    [17] Prema C E, Vinsley S S, Suresh S. Multi feature analysis of smoke in YUV color space for early forest fire detection[J]. Fire Technology, 2016, 52(5): 1319−1342. doi:  10.1007/s10694-016-0580-8
    [18] Dimitropoulos K, Barmpoutis P, Grammalidis N. Higher order linear dynamical systems for smoke detection in video surveillance applications[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 27(5): 1143−1154. doi:  10.1109/TCSVT.2016.2527340
    [19] Ko B C, Kwak J Y, Nam J Y. Wildfire smoke detection using temporospatial features and random forest classifiers[J]. Optical Engineering, 2012, 51(1): 017208. doi:  10.1117/1.OE.51.1.017208
    [20] Park J O, Ko B C, Nam J Y, et al. Wildfire smoke detection using spatiotemporal bag-of-features of smoke[C]//2013 IEEE Workshop on Applications of Computer Vision. Tampa: IEEE, 2013: 200−205.
    [21] 张建明, 黄继风. 基于视频的实时烟雾检测算法[J]. 计算机应用与软件, 2016, 33(12):248−252. doi:  10.3969/j.issn.1000-386x.2016.12.059

    Zhang J M, Huang J F. Real-time smoke detection algorithm based on video[J]. Computer Applications and Software, 2016, 33(12): 248−252. doi:  10.3969/j.issn.1000-386x.2016.12.059
    [22] 罗一涵, 刘妍妍, 陈科. 探测信噪比计算方法及原理综述[J]. 电声技术, 2016, 40(6):37−43, 57.

    Luo Y H, Liu Y Y, Chen K. Computing methods and principles of detective SNR[J]. Audio Engineering, 2016, 40(6): 37−43, 57.
    [23] 贺国旗, 陈向奎, 韩泉叶, 等. 一种自动提高图像信噪比的方法[J]. 计算机技术与发展, 2015, 25(12):60−63.

    He G Q, Chen X K, Han Q Y, et al. A method of automatically improving SNR of image[J]. Computer Technology and Development, 2015, 25(12): 60−63.
    [24] Bilkent Signal Procesing Group. Computer vision based fire detection software[EB/OL]. [2019−06−20]. http://signal.ee.bilkent.edu.tr/VisiFire/.
    [25] 郑怀兵, 翟济云. 基于视频分析的森林火灾烟雾检测方法[J]. 南京理工大学学报(自然科学版), 2015, 39(6):686−691, 710.

    Zheng H B, Zhai J Y. Forest fire smoke detection based on video analysis[J]. Journal of Nanjing University of Science and Technology, 2015, 39(6): 686−691, 710.
    [26] 何大超, 娄小平, 唐辉. 基于动态特性的实时视频烟雾检测[J]. 计算机应用与软件, 2014, 31(2):201−204. doi:  10.3969/j.issn.1000-386x.2014.02.054

    He D C, Lou X P, Tang H. Dynamic features based real-time video smoke detection[J]. Computer Applications and Software, 2014, 31(2): 201−204. doi:  10.3969/j.issn.1000-386x.2014.02.054
    [27] 奉国和. SVM分类核函数及参数选择比较[J]. 计算机工程与应用, 2011, 47(3):123−124. doi:  10.3778/j.issn.1002-8331.2011.03.037

    Feng G H. Parameter optimizing for support vector machines classification[J]. Computer Engineering and Applications, 2011, 47(3): 123−124. doi:  10.3778/j.issn.1002-8331.2011.03.037
  • [1] 曾爱聪, 郭新彬, 郑文霞, 魏帽, 靳全锋, 郭福涛.  基于MODIS卫星火点数据的浙江省林火时空动态变化特征 . 北京林业大学学报, 2020, 42(11): 39-46. doi: 10.12171/j.1000-1522.20190483
    [2] 吴艳双, 张晓丽.  结合多尺度纹理特征的高光谱影像面向对象树种分类 . 北京林业大学学报, 2020, 42(6): 91-101. doi: 10.12171/j.1000-1522.20190155
    [3] 刘嘉政, 王雪峰, 王甜.  基于多特征融合和CNN模型的树种图像识别研究 . 北京林业大学学报, 2019, 41(11): 76-86. doi: 10.13332/j.1000-1522.20180366
    [4] 刘嘉政, 王雪峰, 王甜.  基于深度学习的5种树皮纹理图像识别研究 . 北京林业大学学报, 2019, 41(4): 146-154. doi: 10.13332/j.1000-1522.20180242
    [5] 仲亭玉, 刘文萍, 刘鹏举.  基于分数阶微分视频融合的森林烟火检测算法 . 北京林业大学学报, 2017, 39(3): 24-31. doi: 10.13332/j.1000-1522.20160163
    [6] 刘怀鹏, 安慧君, 王冰, 张秋良.  基于递归纹理特征消除的WorldView-2树种分类 . 北京林业大学学报, 2015, 37(8): 53-59. doi: 10.13332/j.1000-1522.20140311
    [7] 张凝, 冯跃文, 张晓丽, 樊江川.  结合航空影像纹理和光谱特征的单木冠幅提取 . 北京林业大学学报, 2015, 37(3): 13-19. doi: 10.13332/j.1000-1522.20140309
    [8] 王丽君, 淮永建, 彭月橙.  基于叶片图像多特征融合的观叶植物种类识别 . 北京林业大学学报, 2015, 37(1): 55-69. doi: 10.13332/j.cnki.jbfu.2015.01.006
    [9] 吴梦宇, 罗琴娟, 韩摇宁.  基于多运动特征的森林火灾烟雾图像识别算法 . 北京林业大学学报, 2013, 35(3): 154-158.
    [10] 张娟, 韩殿元, 黄心渊.  自然背景下的梅花图像分割算法研究 . 北京林业大学学报, 2012, 34(3): 64-70.
    [11] 胡雄武, 张平松, 于仲.  直流电法CT技术检测林木孔洞结构特征 . 北京林业大学学报, 2012, 34(3): 103-106.
    [12] 杜晓晨, 尹建新, 祁亨年, 冯海林.  基于颜色直方图和LBP-TD算子的木板材节疤缺陷区域检测 . 北京林业大学学报, 2012, 34(3): 71-75.
    [13] 黄儒乐, 吴江, 韩宁.  林火烟雾图像自动识别中的模式分类器选择 . 北京林业大学学报, 2012, 34(1): 92-95.
    [14] 孙伶君, 汪杭军, 祁亨年.  基于分块LBP的树种识别研究 . 北京林业大学学报, 2011, 33(4): 107-112.
    [15] 彭冠云, 江泽慧, 刘杏娥, 任海青, 余雁.  木质地板结构与密度分布特征的CT技术检测 . 北京林业大学学报, 2010, 32(6): 109-113.
    [16] 王晓松, 黄心渊, 付慧.  复杂背景下的树木图像提取 . 北京林业大学学报, 2010, 32(3): 197-203.
    [17] 方陆明, 柴红玲, 唐丽华, 徐爱俊.  基于DEM的视频可视域提取算法 . 北京林业大学学报, 2010, 32(3): 27-32.
    [18] 徐爱俊, 方陆明, 楼雄伟.  基于可见光视频的森林火灾识别算法 . 北京林业大学学报, 2010, 32(2): 14-20.
    [19] 王原, 吴泽民, 张浩, 赵霞.  基于RS和GIS的马鞍山市分区城市森林景观格局综合评价 . 北京林业大学学报, 2008, 30(4): 46-52.
    [20] 宗世祥, 韩轶, 吴延熊, 杨期和, LIYong-ning, 李春干, 李悦, 王登芝, 杨华, 李崇贵, 瞿超, 耿宏生, MENGXian-yu, 聂立水, 贾峰勇, 李吉跃, 叶万辉, 孟宪宇, 张云, HUANGXuan-rui, 景海涛, 李吉跃, 刘燕, 骆有庆, , 续九如, 高润宏, 廖富林, 胡磊, , 胡涌, WANGJin-mao, 程俊, 许志春, 张连生, 孙丹峰, , , , 梁树军, 贾黎明, 刘云慧, , , 赵世华, .  单株立木图像信息的提取与解算 . 北京林业大学学报, 2005, 27(1): 51-54.
  • 加载中
图(8) / 表 (5)
计量
  • 文章访问数:  500
  • HTML全文浏览量:  211
  • PDF下载量:  30
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-02-23
  • 修回日期:  2020-05-25
  • 网络出版日期:  2020-07-27
  • 刊出日期:  2021-02-05

基于视频区域动态特征的林火烟雾检测技术研究

doi: 10.12171/j.1000-1522.20200049
    基金项目:  中国林业科学研究院基本科研业务费专项(CAFYBB2017ZC001),“948”国家林业局引进项目(2014-4-01)
    作者简介:

    刘长春。主要研究方向:地理信息系统技术与应用。Email:lcc175@126.com 地址:100091 北京市海淀区香山路东小府1号中国林业科学研究院资源信息研究所

    通讯作者: 刘鹏举,博士,副研究员。主要研究方向:林业GIS应用与开发。Email:liupeng@caf.ac.cn 地址:同上
  • 中图分类号: S762.3+2

摘要:   目的  视频监控越来越多地应用到森林火灾烟雾的早期检测中。现有的视频林火烟雾检测方法大多是基于像素提取烟雾特征进行分析检测,烟雾发生早期或烟雾距离摄像头较远时,在视频图像上烟雾仅呈现较小区域,且烟雾的扩散具有无规则性,背景环境复杂多变,导致基于像素的特征不明显,因此使基于像素的烟雾自动化检测难度增大。本文根据可见光视频图像处理原理,提出一种基于局部区域图像动态特征的林火视频烟雾检测方法,以提高林火视频烟雾检测准确度和灵敏度。  方法  以视频图像为研究对象,每秒取一帧生成图像序列,对图像序列进行多层次不同尺度分区;利用图像信噪比原理,计算分区后的连续图像序列的信噪比;根据背景图像信噪比得到自适应阈值,确定待检测图像序列发生亮度变化的图像块,即为疑似烟雾块;提取疑似烟雾块的LBP纹理特征,采用支持向量机区分出烟雾区域。  结果  利用HSV颜色空间的亮度分量,可以有效提取烟雾区域。选择有林火烟雾的视频,对提出的烟雾变化检测方法进行验证,分析结果表明该方法能确定烟雾发生所在的图像块,且能排除部分非烟雾干扰因素。  结论  本文提出了基于局部区域亮度特征和LBP纹理特征的视频林火烟雾检测技术,能准确定位烟雾发生区域,排除部分干扰因素,检测识别率平均达到92%以上,有助于实时林火烟雾自动检测,提高林火烟雾检测率,具有很强的实用性。

English Abstract

刘长春, 刘鹏举, 季烨云. 基于视频区域动态特征的林火烟雾检测技术研究[J]. 北京林业大学学报, 2021, 43(1): 10-19. doi: 10.12171/j.1000-1522.20200049
引用本文: 刘长春, 刘鹏举, 季烨云. 基于视频区域动态特征的林火烟雾检测技术研究[J]. 北京林业大学学报, 2021, 43(1): 10-19. doi: 10.12171/j.1000-1522.20200049
Liu Changchun, Liu Pengju, Ji Yeyun. Research on forest fire smoke detection technology based on video region dynamic features[J]. Journal of Beijing Forestry University, 2021, 43(1): 10-19. doi: 10.12171/j.1000-1522.20200049
Citation: Liu Changchun, Liu Pengju, Ji Yeyun. Research on forest fire smoke detection technology based on video region dynamic features[J]. Journal of Beijing Forestry University, 2021, 43(1): 10-19. doi: 10.12171/j.1000-1522.20200049
  • 近年来,人们利用卫星遥感、空中监测、地面监测等方法手段,对森林火灾进行监测,其中地面监测主要利用视频监控等设备,对森林进行远距离大面积监控,具有高效、实时、成本低等特点[1-2]。森林防火重在“打早、打小”,一旦火势扩大,灭火工作难度将大大增加。烟雾是森林火灾早期的表现,因此及时准确检测到烟雾,定位烟雾发生区域,对于提升林火扑救工作时效、降低森林火灾的危害程度具有重要意义。

    为及早发现森林火灾,国内外学者利用烟雾视频,提取烟雾的颜色和纹理特征,对烟雾识别进行了大量的研究。张斌等[3]提取出烟雾的RGB颜色特征,林宏等[4]建立了烟雾Lab颜色模型。HSV颜色模型是接近人眼颜色感知的非线性颜色系统[5-6]。周忠等[5]将HSV和RGB颜色模型相结合,叶秋冬等[7]通过RGB颜色通道实现像素的聚类分割。刘恺等[8]基于YUV颜色空间确定疑似烟雾区,采用Real AdaBoost分类器进行烟雾识别分类。纹理特征用来描述物体颜色的空间分布和组合,在稳定性方面具有优势[9]。LBP(local binary pattern,局部二值模式)是由Ojala等于1995年提出的图像局部纹理特征描述算子[10],常用来描述烟雾纹理特征[11-14],具有光照不敏感、旋转不变性和灰度不变性等优点[15]。Yuan等[16]针对图像纹理特征,提出了局部和全局纹理,用于提高烟雾检测能力。传统研究方法中基于像素级别设置统一阈值难于协调近处烟雾与远处烟雾,容易出现漏报或误报。

    在动态特征提取方面,Prema等[17]在YUV颜色空间提取疑似烟雾块后,通过小波变换和灰度共生矩阵分析烟雾的时空动态特征,最后利用支持向量机识别烟雾。Dimitropoulos等[18]基于线性动态系统,分析视频的多维动态纹理并进行时空建模,对疑似烟雾块检测识别,确定烟雾块发生时间,有助于提高检测的鲁棒性。Ko等[19]提取候选烟雾块的HIS颜色空间强度变化、小波能量变化、运动方向组合为时间特征向量,方向梯度直方图(HOG)作为空间特征向量,训练时空特征的随机森林模型,得到平均概率最大的候选块即为烟雾块。Park等[20]在前人研究的基础上,从当前块中提取方向梯度直方图(HOG)和光流直方图(HOF)作为时空特征,利用局部特征直方图建立随机森林分类器,实现近实时烟雾检测。张建明等[21]以16 × 16像素的块为单位,利用YIQ空间烟雾颜色模型和烟雾的运动特征,对远距离森林烟雾进行了实时检测。在图像处理领域,信噪比(signal-to-noise ratio,SNR)是指图像信号与噪声的功率谱比值[22-23],常用来反映图像受外界影响的变化程度。以上研究表明,选取有效特征是林火烟雾识别的关键步骤之一,基于图像块分析烟雾的时空特征,有利于实现烟雾检测的自动化。

    自然状态下,烟雾飘动扩散与空气热对流有关,具有向上飘动、变化不规则的特性;烟雾发生早期和烟雾距离较远时,烟雾像素值变化较小,自动化检测难度大;森林环境复杂,与烟雾相似特征的环境因素如云、雾、灰尘等,需要人为设置大量阈值,这些都增加了烟雾检测自动化的难度。因此,分区域提取烟雾的时空特征对于建立自动化的烟雾识别方法具有重要意义。

    引入信噪比的计算方法,用于检测出连续图像序列局部发生变化的疑似区域。基于局部区域统计方法,对视频图像当前帧与参考帧计算信噪比,提取局部动态变化特征,确定图像序列中的变化区域和发生时间,综合LBP特征,识别烟雾区域和非烟雾区域,实现林火的早期检测与预警。

    • 本文使用的视频数据来源有两个,一是从Bilkent大学火焰视频库获取的公开视频[24],包含4个远距离林火烟雾图像。二是北京市门头沟华北林业实验中心森林保护站实际拍摄的林火烟雾视频图像。视频相关信息见表1,所有视频数据均是通过固定摄像头拍摄的可见光视频。

      表 1  视频相关信息

      Table 1.  Video related information

      编号
      No.
      类别
      Classification
      视频名称
      Video name
      视频场景描述
      Video scene description
      帧速率/(帧·s−1)
      Frame rate/
      (frame·s−1)
      截取后总帧数
      Total number of frames after clip
      视频1 Video1 烟雾
      Smoke
      Pelco_Colakli 远距离,有风,烟雾扩散缓慢
      Long distance, windy, smoke spread slowly
      7 122
      视频2 Video2 烟雾
      Smoke
      20070817 Aksehir_Duman_Test5_
      en_Iyisi_near_487_frame
      远距离,有风,烟雾扩散缓慢
      Long distance, windy, smoke spread slowly
      7 484
      视频3 Video3 烟雾
      Smoke
      Smoke_Manavgat_Raw 远距离,烟雾较浓,扩散缓慢
      Long distance, thick smoke, slow diffusion
      25 242
      视频4 Video4 烟雾
      Smoke
      20090409 ManavgatTEst 远距离,有风,有车辆驶过,烟雾扩散缓慢
      Long distance, windy, vehicles passing by, smoke spread slowly
      9 180
      视频5 Video5 烟雾
      Smoke
      森林保护站拍摄视频1
      Video1 taken at the forest protection station
      近距离,有烟雾,卡车施工作业
      Close distance, smoke, truck construction operation
      25 238
      视频6 Video6 非烟雾
      Non-smoke
      森林保护站拍摄视频2
      Video2 taken at the forest protection station
      近距离,有云
      Close distance, cloudy
      30 220
      视频7 Video7 非烟雾
      Non-smoke
      森林保护站拍摄视频3
      Video3 taken at the forest protection station
      近距离,有行人经过
      Close distance, pedestrians passing by
      24 192
      视频8 Video8 非烟雾
      Non-smoke
      森林保护站拍摄视频4
      Video4 taken at the forest protection station
      近距离,有车辆驶过
      Close distance, vehicles passing by
      25 168
    • 利用HSV颜色空间,计算连续帧的局部区域信噪比,提取烟雾的动态变化特征,检测烟雾发生区域,然后结合LBP纹理特征降低烟雾误报率。林火烟雾检测的主要步骤包括视频获取、图像序列分块、提取时空特征、变化检测、分类识别。其中,基于信噪比的区域变化检测和基于LBP的烟雾识别是本研究的关键。

    • 林火烟雾受气流影响,出现上升运动或者平移运动[25],面积扩散,浓度发生变化,是个动态变化的过程,视频图像序列像素值随之发生变化。

      利用连续图像帧序列的像素变化,确定疑似烟雾区域。当前帧像素值是参考帧与噪声的叠加,当前帧与参考帧的像素差值即为噪声。图像区域信噪比计算公式如下:

      $${\rm{SNR = 10 }} \times {\rm{ lg}}\frac{{\displaystyle\sum\limits_{x = 1}^{{N_x}} {\displaystyle\sum\limits_{y = 1}^{{N_y}} {{{[f(x,y)]}^2}} } }}{{\displaystyle\sum\limits_{x = 1}^{{N_x}} {\displaystyle\sum\limits_{y = 1}^{{N_y}} {{{[f'(x,y) - f(x,y)]}^2}} } }}$$ (1)

      式中:xy分别表示像素点所在的行和列,$\mathop N\nolimits_x $$\mathop N\nolimits_y $ 分别表示计算区域的总行数和总列数,$f(x,y)$ 是参考帧图像在 $(x,y)$ 像素点的像素值,$f'(x,y)$ 表示当前帧图像在对应 $(x,y)$ 像素点的像素值,计算结果为以dB为单位的 ${\rm{SNR}}$ 值。

      参考帧取背景帧时,得到 $\mathop {{\rm{SNR}}}\nolimits_{\rm{m}} $,表示当前帧相对背景帧的绝对变化;参考帧取前一帧时,得到 $\mathop {{\rm{SNR}}}\nolimits_{\rm{n}} $,表示连续两帧的相对变化。根据 ${\rm{SNR}}$ 变化序列,设定阈值,检测局部变化大于阈值的区域,作为疑似烟雾区域。阈值的选取参考背景差分法,选取前一段时间连续20帧计算信噪比,并计算平均值和最大最小值。其中,最大值作为阈值上限,最小值作为阈值下限。

    • 采用依次向下分块的方法,第一层对连续图像分成2 × 2块,第二层取每一小块再进行2 × 2分块,得到4 × 4块,生成具有连续性的分块,分块后编码如图1所示。分别计算每层块内信噪比的方差${\rm{SN}}{\rm{R_{var}}}$,若下层4个小分块与对应上层分块得到的${\rm{SNR}}$的方差均超出阈值,说明下层分块的块内变化不明显,上层分块即可检测到变化,停止继续分块。

      图  1  分块后编码

      Figure 1.  Block encoding

    • 原始的LBP算子研究3 × 3邻域内像素的分布,将窗口中心像素灰度值与周围相邻的8个像素的灰度值进行比较,若周围像素灰度值大于中心像素值,则该像素点的位置被标记为1,否则为0。将8个像素灰度值组成二进制数,转化为十进制,即为中心像素的LBP值[16],得到图像的纹理分布特征。

      计算公式如下:

      $$\mathop {{\rm{LBP}}}\nolimits_{p,r} = \sum\limits_{i = 0}^{p - 1} {S(\mathop g\nolimits_i - \mathop g\nolimits_ {\rm c} )\mathop 2\nolimits^i } $$ (2)
      $$S(x) = \left\{ {\begin{array}{*{20}{l}} {1,}&{x \geqslant 0}\\ {0,}&{\text{其他}} \end{array}} \right.$$ (3)

      式中:$\mathop g\nolimits_i $是周围邻域像素灰度值;$\mathop g\nolimits_ \rm c$是中心点像素灰度值;pr分别是邻域内中心点周围像素的个数和邻域半径;邻域半径是中心像素点与邻域像素点的欧氏距离[3, 12]$S(x)$为符号函数;原始的LBP算子周围邻域像素数目p设为8,邻域半径r设为1,表示1个像素代表的距离。

      经过改进的圆形LBP算子将邻域增大到任意邻域,即邻域半径r可扩展,满足不同尺寸的纹理特征要求,具有灰度和旋转不变性。旋转不变模式的LBP算子是原始LBP值的经过圆形邻域旋转,取最小值作为最终LBP值,提取的特征具有灰度不变性。统一模式的LBP算子通过计算LBP所对应的循环二进制数1到0或从0到1的跳变次数,跳变次数少于2作为等价模式类,跳变次数大于2的归为一类,称为混合模式,可以达到降维的目的,减少高频噪声的影响。

      提取纹理特征的主要步骤:将图像转化为灰度图像;利用原始LBP算子,计算LBP图像;统计得到LBP直方图,得到每个图像的256维LBP特征向量[12]

    • 支持向量机(support vector machine,SVM)是通过建立最优分类曲面,使两类样本之间间隔最大,实现正样本和负样本正确分类,计算复杂度较低,有助于解决小样本学习、非线性以及高维模式识别等问题[26]。选取所有视频中林火烟雾区域共5 544个,作为正样本,典型的非烟雾区域1 470个,包括云雾、汽车、行人等,作为负样本。提取LBP特征作为SVM输入,采用交叉验证(K-fold cross validation,K-CV)方法获得模型的最优参数[27],核函数设置为径向基核函数(RBF),该核函数将数据非线性地映射到高维空间,处理特征及其属性之间非线性关系,惩罚因子C为100,系数γ为0.001。将原始样本的70%作为训练集,30%作为测试集,利用最优参数,训练得到SVM分类模型并进行测试。然后利用训练好的SVM分类模型对疑似烟雾区进行分类,区分出烟雾区和非烟雾区。

      分类算法评价指标,精确率P、召回率RF1计算公式如下:

      $$P = \frac{{\mathop T\nolimits_{\rm{p}} }}{{\mathop T\nolimits_{\rm{p}} + \mathop F\nolimits_{\rm{p}} }}$$ (4)
      $$R = \frac{{\mathop T\nolimits_{\rm{p}} }}{{\mathop T\nolimits_{\rm{p}} + \mathop F\nolimits_{\rm{n}} }}$$ (5)
      $$\mathop F\nolimits_1 = 2 \times \frac{{P \times R}}{{P + R}}$$ (6)

      式中:$\mathop T\nolimits_{\rm{p}} $ 表示预测为烟雾,实际也为烟雾的图像块数目;$\mathop F\nolimits_{\rm{p}} $ 表示预测为烟雾,实际为非烟雾的图像块数目;$\mathop F\nolimits_{\rm{n}} $ 表示预测为非烟雾,实际为烟雾的图像块数目;$P$ 为精确率,针对预测结果,这里表示预测为烟雾的样本中实际为烟雾的比例;$R$ 为召回率,表示实际为烟雾样本中准确预测为烟雾的比例;$\mathop F\nolimits_1 $ 为精确率和召回率的调和平均数。

    • 根据前文所述研究方法,等间隔每秒取一帧图像,生成连续的图像序列。对图像序列进行规则分块,然后计算局部区域的信噪比。设定背景阈值,找到发生变化的图像块,即为下一步待分类识别的疑似烟雾块;提取LBP特征,利用SVM进行分类,区分烟雾块和非烟雾块。云台有12个预置位,每个位置停留20 s,4 min为一个周期完成360°检测,因此设定20 s作为时间窗口。算法流程如图2所示。

      图  2  算法流程图

      Figure 2.  Algorithm flowchart

      步骤1:待检测图像序列分块并计算信噪比。

      步骤2:设定阈值。计算前一时间窗口内对应分块区域的信噪比,最大值和最小值分别作为阈值上限和下限。

      步骤3:变化检测。待检测区域的信噪比超出阈值,标记为1,否则标记为0,生成连续的二值化检测序列。时间窗口内,连续四个检测值形成检测码,如果出现0111检测模式进行标记,表示检测到发生变化的时间,同时确定疑似烟雾区。

      步骤4:烟雾识别。提取疑似烟雾区的LBP特征向量,利用已训练好的SVM分类模型,对疑似烟雾区进行分类,得到分类结果。

      实验的硬件环境为64位Windows10操作系统台式机,CPU为Intel(R)Core(TM)i7-2600 CPU @ 3.40 GHz,内存为4 GB,显卡Intel(R)HD Graphics。利用Microsoft Visual Studio 2017开发平台,使用python 3.6程序语言并结合opencv3.4.5开源函数库实现检测算法,得到疑似烟雾区分类结果。

    • 对比分析烟雾区域HSV颜色空间H(色度)通道、S(饱和度)通道、V(亮度)通道3个通道的${\rm{SNR}}$曲线,选择能反映出烟雾变化的通道进行计算;计算干扰因素的${\rm{SNR}}$曲线,得到不同干扰因素的曲线特征。根据待检测图像序列的方差,确定分块大小。利用待检测区域与对应背景区域的${\rm{SNR}}$,设置阈值,检测出疑似烟雾区。利用LBP特征,训练SVM分类模型,对疑似烟雾${\rm{SNR}}$区进一步识别。

    • 图3所示烟雾区域,分别利用H、S、V通道计算得到${\rm{H\_SNR}}$${\rm{S\_SNR}}$${\rm{V\_SNR}}$,变化趋势如图4所示。

      图  3  Video4烟雾发生区域连续图像

      Figure 3.  Continuous image of smoke occurrence area in video4

      图  4  烟雾HSV颜色通道SNR变化趋势

      Figure 4.  SNR changing trend of smoke HSV color channel

      从通道来看,${\rm{H}}\_{\rm{SN}}{{\rm{R}}_{\rm{m}}}$${\rm{H\_SN}}{{\rm{R}}_{\rm{n}}}$ 在20左右上下波动,${\rm{S}}\_{\rm{SN}}{{\rm{R}}_{\rm{m}}}$${\rm{S}}\_{\rm{SN}}{{\rm{R}}_{\rm{n}}}$ 在10左右上下波动,${\rm{V}}\_{\rm{SN}}{{\rm{R}}_{\rm{m}}}$${\rm{V}}\_{\rm{SN}}{{\rm{R}}_{\rm{n}}}$ 变化范围较大。H通道和S通道呈现小幅度波动特征,无法描述烟雾区域随时间的变化,V通道计算连续图像的 ${\rm{SNR}}$,比H通道和S通道变化明显,能较好反映烟雾区域的变化趋势。

      ${\rm{SNR}}$ 计算方式看,由于烟雾发生之后一般会持续扩散,扩散速度与当时空气流动速度有关,$ {\rm{SN}}{{\rm{R}}_{\rm{n}}} $ 在烟雾持续状态时与初始水平值接近,区分能力较差。因此,采用 ${\rm{V}}\_{\rm{SN}}{{\rm{R}}_{\rm{m}}}$ 提取烟雾动态特征效果较好。

      ${\rm{SNR}}$曲线变化趋势反映烟雾变化的过程。图5是由图3所示区域连续160帧图像得到的${\rm{SNR}}$曲线,反映了烟雾发生、持续、消散的过程。在烟雾发生时${\rm{SNR}}$有明显的下降,烟雾消散${\rm{SNR}}$恢复到初始水平。具体来看,第8帧到第43帧烟雾出现并且浓度增大,${\rm{SNR}}$下降,幅度较大。第44到85帧烟雾浓度略有降低而后又升高,${\rm{SNR}}$持续较低,出现小幅度上升而后又下降。第86至115帧烟雾逐渐消散,${\rm{SNR}}$增大恢复到初始较高值。结合背景${\rm{SNR}}$阈值,该区域第31帧检测到变化,定为疑似烟雾区域。

      图  5  SNR变化趋势

      Figure 5.  Changing trend of SNR

      利用V通道计算信噪比,得到Video6至Video8中云、行人、汽车的${\rm{SN}}{{\rm{R}}_{\rm{m}}}$${\rm{SN}}{{\rm{R}}_{\rm{n}}}$曲线如图6所示。云的${\rm{SN}}{{\rm{R}}_{\rm{m}}}$呈现缓慢下降,${\rm{SN}}{{\rm{R}}_{\rm{n}}}$在40 ~ 45之间上下波动,这是由于云移动速度较慢,连续两帧之间差别不大。人和汽车出现时,${\rm{SN}}{{\rm{R}}_{\rm{m}}}$${\rm{SN}}{{\rm{R}}_{\rm{n}}}$有明显的下降。人和汽车离开,${\rm{SN}}{{\rm{R}}_{\rm{m}}}$${\rm{SN}}{{\rm{R}}_{\rm{n}}}$上升,恢复到初始水平。

      图  6  非烟雾SNRm和SNRn变化趋势

      Figure 6.  Changing trend of non-smoke SNRm and SNRn

      ${\rm{V}}\_{\rm{SNR}}$能较好的反映出烟雾区域的动态变化特征。因此,通过亮度V分量计算图像序列信噪比提取出动态特征,能将图像中的亮度变化区域检测出来,但检测结果包含部分非烟雾区域,需要进一步排除非烟雾区。

    • 通过2 × 2、4 × 4、8 × 8分块方式得到的Video3中连续图像序列${\rm{SN}}{{\rm{R}}_{\rm{m}}}$曲线,如图7所示。其中图7b是由图a中的块0四分块得到,图c是由图b中的块03四分块得到。分析曲线变化可得,随着分块层数增加,变化区域的${\rm{SNR}}$变化范围增大。

      图  7  不同分块方法得到SNR变化趋势

      Figure 7.  Changing trend of SNR by diffirent block methods

      对每一小块计算方差,如表2 ~ 4所示。第3层的4个小块方差与对应第二层块03方差均大于设定值2,即第二层块03可检测到发生变化的区域。随着分块数目增多,${\rm{SNR}}$的方差增大,说明图像序列发生变化越明显,有利于准确检测到发生变化区域。

      表 2  2 × 2分块方式

      Table 2.  2 × 2 block pattern

      编码 No.块0 Block 0块1 Block 1块2 Block 2块3 Block 3
      待检测区域信噪比的方差SNRvar SNRvar of the area to be detected5.477 50.041 30.054 20.053 1

      表 4  8 × 8分块方式

      Table 4.  8 × 8 block pattern

      编码 No.块030 Block 030块031 Block 031块032 Block 032块033 Block 033
      待检测区域信噪比的方差SNRvar SNRvar of the area to be detected21.453 716.541 425.686 140.761 4

      表 3  4 × 4分块方式

      Table 3.  4 × 4 block pattern

      编码 No.块00 Block 00块01 Block 01块02 Block 02块03 Block 03
      待检测区域信噪比的方差SNRvar SNRvar of the area to be detected0.083 51.738 10.677 114.888 5

      变化检测过程中,分块方法通过缩减区域使图像变化更加明显,图像块的面积越接近变化区域的面积,越有利于精确检测到发生变化的区域。

    • 部分变化检测结果如图8所示。图8a检测到烟雾区域和汽车移动的区域,对比分成8 × 8分块方式(红色框)和16 × 16分块方式(黄色框)的检测结果,黄色框范围更加精确到图像发生变化区域。图8bcd显示均能检测到变化区域。图8b中标注的亮度变化区域是由烟雾扩散和卡车施工作业引起,图8c中检测到的亮度区域是由行人移动引起的图像亮度变化。图8d中汽车为黑色,与道路有明显的颜色差异。对连续图像中的运动物体具有较好的检测效果。从实际发生变化到检测出变化的响应时间平均为5 s。

      图  8  检测结果

      Figure 8.  Detection results

    • 对检测到的疑似烟雾块,提取LBP纹理特征,利用训练好的SVM分类模型,得到疑似烟雾区的分类结果。已经训练的SVM分类模型,精度达到90%以上。Video1至Video5中变化区域的数量分别为15、129、11、184、140。测试结果如表5

      表 5  测试结果

      Table 5.  Test results %

      烟雾视频数据 Smoke video data精确率 Precision (P)F1
      视频1 Video19095
      视频2 Video29396
      视频3 Video39095
      视频4 Video49598
      视频5 Video59396
      注:F1为精确率和召回率的调和平均数。Note: F1 is harmonic mean of precision and recall.

      测试数据烟雾检测精确率90%以上,平均为92.2%,F1平均为96%。召回率R为100%,表示所有实际是烟雾的正样本,全部预测为烟雾,说明没有漏报烟雾区域。Video6、Video7、Video8无误报情况。Video1和Video3的PF1较低,是由于图像分辨率低,检测到的疑似烟雾区域较少,非烟雾区域误报为烟雾区域的数目对结果影响大。本文方法检测到图像序列的变化区域,包括图像序列中存在的烟雾,树枝晃动,汽车移动,行人走动等,无漏报,因此对图像序列中变化块检测具有较高的灵敏度。通过0111的检测模式,排除部分非烟雾引起的图像变化区域。结合图像纹理特征,使用SVM分类模型对疑似烟雾区域进行分类,降低了误报率,精确率有待进一步提高。

    • 本文主要研究林火烟雾视频自动检测技术,利用图像序列的时序性,通过多尺度分区和局部区域动态特征提取,实现连续图像的变化检测,检测出林火烟雾早期发生所在图像区域。通过分层分块检测与机器学习相结合的方法,烟雾视频中没有漏报,干扰物视频无误报,有利于林火烟雾检测的自动化,为林火烟雾智能化提供了新思路。与传统的林火烟雾视频检测方法相比,本文提出的方法具有算法简单、对林火烟雾检测灵敏度高,具有以下优点:

      (1)经典的帧间变化信息提取方法有背景差分法和帧间差分法。背景差分法易受背景光照变化的影响,帧间差分法容易出现“空洞”,本研究对图像序列进行等间隔抽样,标记发生变化时刻的疑似烟雾区,达到简单预警的目的。

      (2)烟雾出现早期或烟雾距离摄像头距离较远时,烟雾在图像中所占像素数较少,甚至到十几个像素。相对于整幅图像,少量像素亮度的变化对整幅图像信噪比的计算值影响不大。通过多尺度分区的方式,可以检测到小区域的变化,检测区域更加准确。

      (3)森林环境场景复杂,不同区域SNR值不同,分区域检测,避免了整幅图像使用同一阈值导致漏报增多,克服复杂背景环境差异对烟雾检测的影响。

      为进一步降低视频林火烟雾检测误报率,下一步需要增加更多反映林火烟雾本质的特征,并对支持向量机分类模型的参数进行调整,以提高烟雾检测的能力,获取更多的森林环境视频数据进行验证,为视频监控林火烟雾检测提供快速有效的方法。

参考文献 (27)

目录

    /

    返回文章
    返回