高级检索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于分数阶微分视频融合的森林烟火检测算法

仲亭玉 刘文萍 刘鹏举

仲亭玉, 刘文萍, 刘鹏举. 基于分数阶微分视频融合的森林烟火检测算法[J]. 北京林业大学学报, 2017, 39(3): 24-31. doi: 10.13332/j.1000-1522.20160163
引用本文: 仲亭玉, 刘文萍, 刘鹏举. 基于分数阶微分视频融合的森林烟火检测算法[J]. 北京林业大学学报, 2017, 39(3): 24-31. doi: 10.13332/j.1000-1522.20160163
ZHONG Ting-yu, LIU Wen-ping, LIU Peng-ju. A forest fire smoke detection algorithm based on fractional-calculus video fusion[J]. Journal of Beijing Forestry University, 2017, 39(3): 24-31. doi: 10.13332/j.1000-1522.20160163
Citation: ZHONG Ting-yu, LIU Wen-ping, LIU Peng-ju. A forest fire smoke detection algorithm based on fractional-calculus video fusion[J]. Journal of Beijing Forestry University, 2017, 39(3): 24-31. doi: 10.13332/j.1000-1522.20160163

基于分数阶微分视频融合的森林烟火检测算法

doi: 10.13332/j.1000-1522.20160163
基金项目: 

中央高校基本科研业务费专项 2015ZCQ-XX

详细信息
    作者简介:

    仲亭玉。主要研究方向:数字图像视频处理。Email: ztyzhong@163.com  地址:100083  北京市海淀区清华东路35号北京林业大学信息学院

    通讯作者:

    刘文萍,教授,博士生导师。主要研究方向:计算机图象及视频分析与处理、模式识别与人工智能。Email: wendyl@vip.163.com  地址:同上

  • 中图分类号: S762.2;TP391

A forest fire smoke detection algorithm based on fractional-calculus video fusion

  • 摘要: 森林火灾检测是国内外林业应用研究的重要课题之一。及时准确地检测到森林火灾,对于森林健康及环境安全意义重大。现有的利用视频技术检测森林火灾的方法大多针对单一波段,如可见光波段或红外波段的视频信息进行分析,然而在实际应用过程中,由于森林环境复杂,基于单一波段视频信息检测火灾的结果欠佳。现阶段,基于多个波段的森林火灾检测方法非常少。本文综合利用红外及可见光视频特征,提出了一种基于分数阶微分视频融合的森林烟火检测算法,将分数阶微分理论引入红外视频和可见光视频融合中,利用分数阶微分算子对两个波段视频进行融合,然后利用背景去除法检测融合视频中的异常帧,且对异常帧图像及其与背景帧的差分图像分别进行图像分割,最终得到检测出的森林烟火区域。采用空间频率、平均梯度、森林火灾检测准确率和森林火灾检测时间误差度4个测度对本文算法和基于区域能量融合算法、基于窗口方差融合算法、基于HSI变换融合算法进行定量分析和比较。结果表明,本文算法的融合视频的融合效果最佳,并且森林火灾检测准确率和森林火灾检测时间误差均明显优于其他3种算法,说明本文提出的算法具有较好的有效性和准确性,为森林火灾检测提供了有利的新途径。
  • 图  1  基于可见光和红外融合视频的森林烟火检测算法流程

    Figure  1.  Forest fire detection algorithm process based on visible light and infrared fusion video

    图  2  FCBF算法step 1实验结果

    Figure  2.  Experiment results of step 1 based on FCBF algorithm

    图  3  FCBF算法step 3至step 5实验结果

    Figure  3.  Experiment results of step 3-step 5 based on FCBF algorithm

    图  4  FCBF算法step 6和step 7实验结果

    Figure  4.  Experiment results of step 6 & step 7 based on

    图  5  本文提出的分数阶微分算子

    Figure  5.  Proposed fractional-calculus operator

    图  6  不同融合算法生成的融合图像及林区烟火检测结果(门头沟1号火点)

    Figure  6.  Results of forest fire detection based on different fusion algorithms (No.1 fire point in Mentougou District)

    图  7  不同融合算法生成的融合图像及林区烟火检测结果(门头沟2号火点)

    Figure  7.  Results of forest fire detection based on different fusion algorithms (No.2 fire point in Mentougou District)

    图  8  不同融合算法生成的融合图像及林区烟火检测结果(门头沟3号火点)

    Figure  8.  Results of forest fire detection based on different fusion algorithms (No.3 fire point in Mentougou District)

    图  9  不同融合算法生成的融合图像及林区烟火检测结果(门头沟4号火点)

    Figure  9.  Results of forest fire detection based on different fusion algorithms (No.4 fire point in Mentougou District)

    表  1  FCBF算法与其他3种算法性能比较

    Table  1.   Comparison of FCBF algorithm and other algorithms

    算法
    Algorithm
    空间频率
    Spatial frequency(S)
    平均梯度
    Average gradient(AG)
    准确率
    Detection accuracy rate(P)/%
    时间误差度
    Detection time rate(T)/%
    HSI变换融合算法HSI fusion algorithm 16.3270 7.8280 1.26 56.12
    区域能量融合算法Regional energy fusion algorithm 28.3191 12.3122 86.20 38.57
    窗口方差融合算法Regional variance fusion algorithm 32.5767 16.1555 87.13 21.14
    FCBF算法FCBF algorithm 35.9066 19.6399 91.85 2.03
    下载: 导出CSV
  • [1] 彭禹, 蔡邦成.森林火灾监测及相关技术综述[J].安徽农业科学, 2014, 42(32):11355-11357. doi:  10.3969/j.issn.0517-6611.2014.32.048

    PENG Y, CAI B C. Review of forest fire monitoring and interrelated technology[J]. Journal of Anhui Agricultural Sciences, 2014, 42(32): 11355-11357. doi:  10.3969/j.issn.0517-6611.2014.32.048
    [2] 武桂林, 吴昊, 张蓉.基于图像处理的森林烟火检测系统[J].计算机技术与发展, 2013, 10(10):227-231. http://d.old.wanfangdata.com.cn/Periodical/wjfz201310057

    WU G L, WU H, ZHANG R. Wildfire detection system based on image processing[J]. Computer Technology and Development, 2013, 10(10): 227-231. http://d.old.wanfangdata.com.cn/Periodical/wjfz201310057
    [3] JIA Y, YUAN J, WANG J, et al. A saliency-based method for early smoke detection in video sequences[J]. Fire Technology, 2016, 52(5):1-22. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=4af6d0869ff898ac610ea54a4393f8c0
    [4] KO B, KWAK J Y, NAM J Y. Wildfire smoke detection using temporospatial features and random forest classifiers[J/OL].[2016-03-10]. http://cvpr.kmu.ac.kr/papers/international-papers/0E-publication(wildfire).pdf.
    [5] KRSTINI D, STIPANICEV D, JAKOVCEVI T. Histogram-based smoke segmentation in forest fire detection system[J]. Information Technology & Control, 2009, 38(3): 237-244.
    [6] YUAN F. Video-based smoke detection with histogram sequence of LBP and LBPV pyramids[J]. Fire Safety Journal, 2011, 46(3): 132-139. doi:  10.1016/j.firesaf.2011.01.001
    [7] 邵婧, 王冠香, 郭蔚.基于视频动态纹理的火灾检测[J].中国图象图形学报, 2013, 18(6):647-653. http://d.old.wanfangdata.com.cn/Periodical/zgtxtxxb-a201306005

    SHAO J, WANG G X, GUO W. Fire detection based on video dynamic texture[J]. Journal of Image and Graphics, 2013, 18(6): 647-653. http://d.old.wanfangdata.com.cn/Periodical/zgtxtxxb-a201306005
    [8] 张红民, 谈世磊.基于邻域对比的红外林火小目标检测[J].重庆理工大学学报(自然科学版), 2015, 29(1):107-110. doi:  10.3969/j.issn.1674-8425(z).2015.01.020

    ZHANG H M, TAN S L. Small infrared forest fire target detection based on neighborhood contrast[J]. Journal of Chongqing Institute of Technology (Natural Science), 2015, 29(1): 107-110. doi:  10.3969/j.issn.1674-8425(z).2015.01.020
    [9] BOSCH I, SERRANO A, VERGARA L. Multisensor network system for wildfire detection using infrared image processing[J]. Scientific World Journal, 2013, 2013(3): 402196-402206. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=Doaj000003741061
    [10] 王进成, 张捷, 赵高鹏, 等.可见光与红外的视频火灾探测器设计[J].单片机与嵌入式系统应用, 2014(9):28-31. http://d.old.wanfangdata.com.cn/Periodical/dpjyqrsxtyy201409009

    WANG J C, ZHANG J, ZHAO G P, et al. Video fire detector based on visible light and infrared ray[J]. Microcontroller and Embedded Systems, 2014(9): 28-31. http://d.old.wanfangdata.com.cn/Periodical/dpjyqrsxtyy201409009
    [11] ZHANG Y S, ZHANG F, LI B Z. Fractional domain varying-order differential denoising method[J/OL]. Optical Engineering, 2014, 53(10).[2016-03-10]. http://opticalengineering.spiedigitallibrary.org/article.aspx?articleid=1862284.
    [12] PU Y F, ZHOU J L, SIARRY P. Fractional partial differential equation: fractional total variation and fractional steepest descent approach-based multiscale denoising model for texture image[J]. Abstract & Applied Analysis, 2013, 2013(4): 764-787. http://d.old.wanfangdata.com.cn/OAPaper/oai_doaj-articles_a88dcdc41c4220caa80d3c0a02e78b7d
    [13] YANG X Z, WANG W. Road identification in aerial images on fractional differential and one-pass ridge edge detection[J]. Journal of Applied Remote Sensing, 2014, 8(7): 4480-4494. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=12231f8fce4dfbc92233eadb9b056bc8
    [14] CHI C, GAO F. Palm print edge extraction using fractional differential algorithm[J]. Journal of Applied Mathematics, 2013, 2014(2): 1-7. http://d.old.wanfangdata.com.cn/NSTLQK/NSTL_QKJJ0232715086/
    [15] GHAMISI P, COUCEIRO M S, BENEDIKTSSON J A. An efficient method for segmentation of images based on fractional calculus and natural selection[J]. Expert Systems with Applications, 2012, 39(16): 12407-12417. doi:  10.1016/j.eswa.2012.04.078
    [16] ZHIMING W, HONG B. Entropy based multi-resolution visible-infrared image fusion[C]//Proceedings of 2012 IEEE Symposium on Electrical & Electronics Engineering (EEESYM). Boston: IEEE: 2012: 639-643.
    [17] 杨勇, 童松, 黄淑英.快速离散Curvelet变换域的图像融合[J].中国图象图形学报, 2015, 20(2):219-228. http://d.old.wanfangdata.com.cn/Periodical/zgtxtxxb-a201502008

    YANG Y, TONG S, HUANG S Y. Image fusion based on fast discrete Curvelet transform[J]. Journal of Image and Graphics, 2015, 20(2): 219-228. http://d.old.wanfangdata.com.cn/Periodical/zgtxtxxb-a201502008
  • [1] 刘长春, 刘鹏举, 季烨云.  基于视频区域动态特征的林火烟雾检测技术研究 . 北京林业大学学报, 2020, 42(): 1-10. doi: 10.12171/j.1000-1522.20200049
    [2] 李鹏飞, 郭小平, 顾清敏, 张昕, 冯昶栋, 郭光.  基于可见光植被指数的乌海市矿山排土场坡面植被覆盖信息提取研究 . 北京林业大学学报, 2020, 42(6): 102-112. doi: 10.12171/j.1000-1522.20190252
    [3] 陈珠琳, 王雪峰, 孙汉中.  基于可见光-近红外图像的幼龄檀香全磷含量诊断 . 北京林业大学学报, 2019, 41(2): 88-96. doi: 10.13332/j.1000-1522.20180214
    [4] 时小龙, 王立海, 徐华东, 徐庆波, 曹时凯, 许明贤.  基于阻抗仪和ERT技术的红松内部腐朽定量检测 . 北京林业大学学报, 2017, 39(9): 102-111. doi: 10.13332/j.1000-1522.20170196
    [5] 时小龙, 王立海, 徐华东, 徐庆波, 曹时凯, 许明贤.  基于阻抗仪和ERT技术的红松内部腐朽定量检测 . 北京林业大学学报, 2017, 39(9): 102-111. doi: 10.13332/j.1000-1522.20170123
    [6] 李一琳, 丁长青.  基于GIS和MaxEnt技术对濒危物种褐马鸡的保护空缺分析 . 北京林业大学学报, 2016, 38(11): 34-41. doi: 10.13332/j.1000-1522.20160134
    [7] 伏静, 戴思兰.  基于高光谱成像技术的菊花花色表型和色素成分分析 . 北京林业大学学报, 2016, 38(8): 88-98. doi: 10.13332/j.1000-1522.20150483
    [8] 李加国, 李松林, 韩梅, 汪晓峰.  4种检测柠条种子活力技术的比较分析 . 北京林业大学学报, 2015, 37(1): 15-28. doi: 10.13332/j.cnki.jbfu.2015.01.020
    [9] 赵索菲, 撒潮, 杨娜, 李婷婷.  基于时域和频域的层积材强度检测系统 . 北京林业大学学报, 2012, 34(3): 116-119.
    [10] 胡雄武, 张平松, 于仲.  直流电法CT技术检测林木孔洞结构特征 . 北京林业大学学报, 2012, 34(3): 103-106.
    [11] 孙伟, 侯瑞霞, 唐小明.  荒漠化和沙化监测数据动态分析技术 . 北京林业大学学报, 2012, 34(5): 105-112.
    [12] 陈凤毛, 叶建仁, 吴小芹, 谈家金, 黄麟.  松材线虫两种实用分子检测技术 . 北京林业大学学报, 2011, 33(4): 149-152.
    [13] 彭冠云, 江泽慧, 刘杏娥, 任海青, 余雁.  木质地板结构与密度分布特征的CT技术检测 . 北京林业大学学报, 2010, 32(6): 109-113.
    [14] 徐爱俊, 方陆明, 楼雄伟.  基于可见光视频的森林火灾识别算法 . 北京林业大学学报, 2010, 32(2): 14-20.
    [15] 冯仲科, 姚山, 董斌.  数字山东林业生态工程建设关键技术分析 . 北京林业大学学报, 2008, 30(增刊1): 147-151.
    [16] 秦爱光, 何亚平, 周永学, 王芳, 颜绍馗, 张璧光, 魏潇潇, 郑小贤, 袁怀文, 张洪江, 刘杏娥, 李瑞, 白岗栓, 胡万良, 毛俊娟, 高黎, 邓小文, 张莉俊, 杨平, 吴彩燕, 黄荣凤, 王费新, 胡胜华, 殷亚方, 崔赛华, 王胜华, 刘燕, 孙向阳, 李猛, 张克斌, 罗晓芳, 常旭, 费世民, 杜社妮, 王晓欢, 戴思兰, 王正, 樊军锋, NagaoHirofumi, 汪思龙, 谭学仁, 乔建平, 赵天忠, 王小青, 张岩, 王兆印, , 孔祥文, 张旭, 李昀, 高荣孚, 张双保, 江玉林, 徐嘉, 张占雄, 龚月桦, 刘云芳, 王海燕, KatoHideo, 陈放, 江泽慧, 范冰, 李华, 韩士杰, 刘秀英, 侯喜录, 杨培华, 任海青, 丁磊, 郭树花, IdoHirofumi, 李晓峰, 陈秀明, 李媛良, 常亮, , 陈宗伟, 薛岩, , 费本华, 李考学, 高建社, 蒋俊明, 陈学平, 张桂兰, 张代贵, 徐庆祥, , 涂代伦, 金鑫, 刘永红, 续九如, , 王晓东, 李雪峰, 张红丽, , , 丁国权.  基于XML技术的生物标本信息共享规范数字化表达技术 . 北京林业大学学报, 2007, 29(6): 215-218.
    [17] 张仁军, 李昌晓, 尹增芳, 林勇明, 谭健晖, 陈圆, 张玉兰, 林娅, 崔丽娟, 邢韶华, 闫德千, 张运春, 李云开, 孙阁, 吴淑芳, 王超, 李春义, 刘杏娥, 赵铁珍, 张颖, 王蕾, 周海宾, 王春梅, 任云卯, 金莹杉, 张秀新, 梁善庆, 周繇, 王戈, 徐秋芳, 王莲英, 刘青林, 张志强, 于俊林, 杨培岭, 翟明普, 杨远芬, 江泽慧, 江泽慧, 刘国经, 洪滔, 高岚, 周荣伍, 吴普特, 余养伦, 罗建举, 马钦彦, 张明, 张桥英, 钟章成, 樊汝汶, 张曼胤, 赵勃, 刘艳红, 黄华国, 王以红, 马履一, 温亚利, 张晓丽, 张本刚, 崔国发, 王小青, 于文吉, 费本华, 刘俊昌, 殷际松, 邵彬, 冯浩, 田英杰, 吴承祯, 汪晓峰, 王希群, 周国逸, 柯水发, 罗鹏, 周国模, 何春光, 安玉涛, 陈学政, 王玉涛, 杨海军, 李敏, 何松云, 徐克学, 刘爱青, 温亚利, 徐昕, 洪伟, 骆有庆, 王九中, 马润国, 康峰峰, 任树梅, 高贤明, 邬奇峰, 赵景刚, 费本华, 蔡玲, 魏晓华, 胡喜生, 吴家森, 安树杰, 田平, 林斌, 郑万建, 朱高浦, 赵弟行, 赵焕勋, 吴宁, 任海青, 卢俊峰, 李永祥, 宋萍, 范海兰.  分布式数据库技术在数字化森林生态站的应用 . 北京林业大学学报, 2007, 29(3): 131-135.
    [18] 姚洪军, 惠刚盈, 李瑞, 徐向舟, 宋颖琦, 王顺忠, 王旭, 王尚德, 白新祥, 周成理, 余雁, 任琴, 王清奎, 武广涛, 马尔妮, 雷加富, 齐实, 耿玉清, 何亚平, 徐基良, 刘秀萍, 陈丽华, 周国逸, 刘大庆, 赵广杰, 费世民, 王飞, 费本华, 俞国胜, 杨莉, 云琦, 杨谦, 康向阳, 胡可, 徐海, 崔国发, 史军义, 石玉杰, 白翠霞, 汪思龙, 张克斌, 胡永建, 徐秉玖, 秦跟基, 孙阁, 张红武, 蒋俊明, 戴思兰, 胡艳波, 赵铁蕊, 宋维峰, 李忠, 陈晓鸣, 李代丽, 王百田, 冯宗炜, 孙阁, 张波, 张恒明, 瞿礼嘉, 易传辉, 张慧, 王戈, 王亮生, 代力民, 陈秀明, 张德强, 陈华君, 高荣孚, 杨晓晖, 董占地, 朱金兆, 王树森, 朱明东, 金幼菊, 余英, 石雷, 乔锋, 肖玉保, 闫俊华, 武波, 陈峻崎, 王庆礼, 赵辉, 杨海龙, 杨俊杰, 李镇宇, 陈晓阳, 唐森强, 杨莉, SteveMcNulty.  超声技术在造林地表面障碍检测中的应用 . 北京林业大学学报, 2006, 28(5): 125-128.
    [19] 杜官本, 周志强, 江泽慧, 刘志军, 李国平, 徐剑琦, 刘智, 李贤军, 施婷婷, 于寒颖, 周国模, 雷相东, 黄心渊, 张煜星, 曹伟, 程丽莉, 赵俊卉, 崔彬彬, 肖化顺, 张展羽, 王志玲, 陈伟, 程金新, 雷霆, 宗世祥, 张贵, 李云, 苏淑钗, 杨谦, 吴家森, 郭广猛, 李云, 张璧光, 黄群策, 张璧光, 王正, 刘童燕, 王海, 张彩虹, 雷洪, 丁立建, 郝雨, 曹金珍, 关德新, 苏里坦, 张则路, 骆有庆, 王正, 常亮, 张大红, 姜培坤, 方群, 刘彤, 金晓洁], 许志春, 张国华, 秦岭, 贺宏奎, 宋南, 秦广雍, 李文军, 黄晓丽, 张慧东, 张书香, 陈晓光, 吴家兵, 周晓燕, 张佳蕊, 王勇, 刘大鹏, 于兴华, 姜金仲, 张弥, 高黎, 蔡学理, 苏晓华, 张金桐, 李延军, 陈燕, 冯慧, 刘建立, 刘海龙, 姜静, 陈绪和, 周梅, 朱彩霞, 成小芳, 王谦, 王德国, 王安志, 尹伟伦, 张冰玉, 张连生, 金昌杰, 聂立水, 陈建伟3, 亢新刚, 张勤, 冯大领, 梁树军, 韩士杰, 崔国发, 胡君艳, 姚国龙.  “数字林业”及其技术与发展 . 北京林业大学学报, 2006, 28(6): 142-147.
    [20] 李艳华, 李贤军, 吴娟, 张占宽, 卜崇峰, 王发国, 郝朝运, 杨丽韫, 徐秋芳, 王安志, 宋瑞清, 罗辑, 刘海军, 程万里, 毕华兴, 赵廷宁, 张志, 陈永亮, 旷远文, 王鸿斌, 明军, 程根伟, 马洁, 张启翔, 习宝田, 骆有庆, 张真, 马忠明, 姜培坤, 刘建梅, 李文华, 曹子龙, 冀瑞卿, 张璧光, 叶华谷, 刘一星, 谭秀英, 郭卫东, 陈天全, 刘国彬, 温达志, 朱金兆, 温俊宝, 兰彦平, 郑翠玲, 李笑吟, 李文军, 敏朗, 李伟, 沈泉, 朱清科, 周国逸, 康向阳, 陈玉福, 孔祥波, 刘鹏, 裴铁, 程放, 邢福武, 刘世忠, 孙保平, 何祖慰, 李延军, 马其侠, 则元京, 张志明, 张宇清, 金昌杰, 沈佐锐, 姚爱静, 陈红锋, 张德强, 丁国栋, 金幼菊, 冯继华, 陶万强, 曹刚, 魏铁.  基于DEM的数字地形分析 . 北京林业大学学报, 2005, 27(2): 49-53.
  • 加载中
图(9) / 表 (1)
计量
  • 文章访问数:  547
  • HTML全文浏览量:  123
  • PDF下载量:  16
  • 被引次数: 0
出版历程
  • 收稿日期:  2016-06-24
  • 修回日期:  2017-01-10
  • 刊出日期:  2017-03-01

基于分数阶微分视频融合的森林烟火检测算法

doi: 10.13332/j.1000-1522.20160163
    基金项目:

    中央高校基本科研业务费专项 2015ZCQ-XX

    作者简介:

    仲亭玉。主要研究方向:数字图像视频处理。Email: ztyzhong@163.com  地址:100083  北京市海淀区清华东路35号北京林业大学信息学院

    通讯作者: 刘文萍,教授,博士生导师。主要研究方向:计算机图象及视频分析与处理、模式识别与人工智能。Email: wendyl@vip.163.com  地址:同上
  • 中图分类号: S762.2;TP391

摘要: 森林火灾检测是国内外林业应用研究的重要课题之一。及时准确地检测到森林火灾,对于森林健康及环境安全意义重大。现有的利用视频技术检测森林火灾的方法大多针对单一波段,如可见光波段或红外波段的视频信息进行分析,然而在实际应用过程中,由于森林环境复杂,基于单一波段视频信息检测火灾的结果欠佳。现阶段,基于多个波段的森林火灾检测方法非常少。本文综合利用红外及可见光视频特征,提出了一种基于分数阶微分视频融合的森林烟火检测算法,将分数阶微分理论引入红外视频和可见光视频融合中,利用分数阶微分算子对两个波段视频进行融合,然后利用背景去除法检测融合视频中的异常帧,且对异常帧图像及其与背景帧的差分图像分别进行图像分割,最终得到检测出的森林烟火区域。采用空间频率、平均梯度、森林火灾检测准确率和森林火灾检测时间误差度4个测度对本文算法和基于区域能量融合算法、基于窗口方差融合算法、基于HSI变换融合算法进行定量分析和比较。结果表明,本文算法的融合视频的融合效果最佳,并且森林火灾检测准确率和森林火灾检测时间误差均明显优于其他3种算法,说明本文提出的算法具有较好的有效性和准确性,为森林火灾检测提供了有利的新途径。

English Abstract

仲亭玉, 刘文萍, 刘鹏举. 基于分数阶微分视频融合的森林烟火检测算法[J]. 北京林业大学学报, 2017, 39(3): 24-31. doi: 10.13332/j.1000-1522.20160163
引用本文: 仲亭玉, 刘文萍, 刘鹏举. 基于分数阶微分视频融合的森林烟火检测算法[J]. 北京林业大学学报, 2017, 39(3): 24-31. doi: 10.13332/j.1000-1522.20160163
ZHONG Ting-yu, LIU Wen-ping, LIU Peng-ju. A forest fire smoke detection algorithm based on fractional-calculus video fusion[J]. Journal of Beijing Forestry University, 2017, 39(3): 24-31. doi: 10.13332/j.1000-1522.20160163
Citation: ZHONG Ting-yu, LIU Wen-ping, LIU Peng-ju. A forest fire smoke detection algorithm based on fractional-calculus video fusion[J]. Journal of Beijing Forestry University, 2017, 39(3): 24-31. doi: 10.13332/j.1000-1522.20160163
  • 森林火灾是一种危害性极大的自然灾害,及时并准确检测森林火灾是森林防火的重要内容之一。森林烟火探测方法一般采用地面巡护、瞭望台监测、地面雷达、卫星遥感和分布式传感器网络技术[1]。这些技术多是通过火灾探测器中的参量分析来判断森林中是否发生了火灾,但是复杂的森林环境容易干扰其信号,降低火灾检测的准确率。随着计算机技术的发展,利用图像及视频分析技术检测森林烟火的方法越来越多。视频火灾检测技术具有更广的空间覆盖,且森林火灾检测准确率更高。现有的利用图像及视频分析技术检测森林烟火算法多是针对可见光视频。基于可见光视频的森林烟火检测算法一般是检测火焰或烟的颜色特征、纹理特征和动态特征。武桂林等[2]采用最小均方算法对视频中基于慢运动物体检测、烟雾颜色区域检测、上升烟区检测、阴影检测与去除等4个子算法进行加权得到决策值以判断是否发生火灾;Jia等[3]通过森林火灾中的颜色和运动特征得到显著特征图像,再根据运动能量特征与显著特征图像估计可疑烟区;Ko等[4]利用森林火灾中烟的时空差异特征与随机森林相结合检测森林火灾;Krstini等[5]分析森林火灾中有烟区域和无烟区域在不同颜色空间的直方图特征,实现对森林火灾中烟的实时检测;Yuan[6]提取森林火灾中烟的纹理特征,将图像LBP和LBPV的直方图序列与神经网络分类器结合实现视频中烟的检测;邵婧等[7]提出一种基于动态纹理特征分析的火灾检测算法,他们对视频图像建立线性动力系统模型,分析其动态纹理特征,最后采用Adaboost分类器判断是否发生火灾。上述基于可见光视频的森林烟火检测算法虽然利用多种火灾的颜色、纹理及动态特征,但是很难适应森林中复杂的环境变化。现阶段森林烟火检测还有针对红外视频的算法,张红民等[8]提出了一种基于邻域对比的目标提取算法检测红外视频中的森林火灾。因为在红外视频中森林火点为高温区域,所以基于红外视频检测森林火灾的算法一般采用传感器网络处理得到的火灾信号[9],但是红外视频中与森林火点具有相似特征的影响因素比较多,尤其在白天,经过阳光照射的石头、工作设备等都属于干扰因素,容易影响算法的准确度,因此森林火灾的误检率也比较高。由于森林烟火在可见光视频和红外视频中具有各自不同的特点,将两种视频中的数据进行融合可以保留森林火灾在两种视频中的特征,更有利于森林烟火检测,但是国内外在森林火灾的可见光视频和红外视频融合方面的研究非常少,王进成等[10]采用编号标记、编号生存期等一系列标记机制跟踪识别火焰目标,并采用基于图像轮廓的算法,结合硬件DSP与ARM双系统组合检测火灾。上述的基于红外和可见光视频融合的火灾检测更侧重的是硬件方面的设计,并且实验环境比较简单,完全不同于森林火灾的复杂环境情况,因此本文基于红外视频和可见光视频的森林烟火检测方法,提出了一种基于分数阶微分的红外和可见光融合算法。

    本文提出一种新的基于分数阶微分融合(Fractional-Calculus Based Fusion Algorithm, 简称FCBF算法)红外和可见光视频的森林烟火检测算法可对林区烟火进行实时准确的检测。首先,基于分数阶微分理论将红外视频和可见光视频融合;然后,再对融合后的视频采用背景减法判断是否出现异常情况,如若判断发生异常,则提取异常帧图像进行阈值分割,同时也提取背景帧与异常帧的差分图像,再对差分图像进行阈值分割;最后,对分割后的异常帧图像与差分图像进行去噪处理,得到森林烟火区域并在融合视频中将其用黑色的方框框出。实验结果表明,本文算法能够提高森林中烟火检测的准确率,从而减少误检和漏检的情况。

    • 分数阶微分是数学分析领域的一个重要分支,它是整数阶微分运算的推广,但由于微分的分数阶概念不宜理解,因此没有得到广泛应用。数字图像处理中经典的基于一阶微分的Sobel算子、Prewitt算子、Roberts算子和基于二阶微分的Laplace算子等都是由数学中的模型衍生而来,因此将非整数步长的分数阶微分应用到数字图像处理中具有广阔的发展前景。

      目前,分数阶微分在数字图像处理中主要应用于去噪、图像增强以及边缘检测。Zhang等[11]分析了不同阶次的微分对图像中高斯噪声的去除效果,发现分数阶的微分去噪效果优于整数阶微分,并且图像结构和纹理的保留情况也比整数阶微分效果好;Pu等[12]利用分数阶微分提出了一种纹理图像去噪模型,因为与整数阶微分相比,分数阶微分能非线性增强图像中复杂的纹理细节信息,能更好地保留图像中的边缘和纹理信息;Yang等[13]先用分数阶微分增强遥感图像以提取图像中的道路,其实验结果表明,较于传统的图像增强方法,基于分数阶微分的图像增强方法对于检测狭窄、模糊的道路效果更好;Chi等[14]通过分数阶微分提取掌纹,并与采用经典的Sobel算子、Prewitt算子和Laplace算子的实验结果进行比较,其峰值信噪比明显高于经典的整数阶算子;Ghamisi等[15]提出了分数阶达尔文粒子群优化算法,图像分割结果优于经典的图像阈值分割结果。

      本文创新性地提出了一种基于分数阶微分融合算法(FCBF算法),该算法融合红外和可见光视频图像进行森林烟火检测。FCBF算法主要利用分数阶微积分思想代替图像的梯度信息,然后通过比较同一位置处红外和可见光图像中的分数阶微分值确定最终融合图像的像素值。实验结果表明,该融合算法在降低算法复杂度的同时增强像素的邻域信息从而得到更好的边缘信息。

      本文提出的森林烟火检测算法流程如图 1所示。首先,采用基于分数阶微分理论融合红外视频和可见光视频;然后,对融合后的视频采用背景减法判断是否出现异常情况,即森林中是否发生火灾;如果判断融合视频中出现异常情况,则提取异常帧图像进行R-C阈值分割,同时也提取背景帧图像与异常帧图像进行差分,再对差分图像进行矩不变法阈值分割;最后,对分割后的异常帧图像与差分图像取交集区域,并采用自适应局部平滑法去除噪声,得到森林烟火区域,在融合视频中将检测到的森林烟火区域用黑色方框框出。

      图  1  基于可见光和红外融合视频的森林烟火检测算法流程

      Figure 1.  Forest fire detection algorithm process based on visible light and infrared fusion video

    • Step 1:基于FCBF算法融合红外和可见光图像,见图 2

      图  2  FCBF算法step 1实验结果

      Figure 2.  Experiment results of step 1 based on FCBF algorithm

      Step 2:背景法判断是否出现异常,对序列图像作减法运算。

      设视频的序列图像fi(x, y), i=0, 1, 2, …,N,(x, y)为图像中各个像素的坐标,N为连续序列图像的帧数目。两幅图像的差值计算公式为:

      $$ \Delta {f_i}\left( {x,y} \right) = {f_i}\left( {x,y} \right) - {f_0}\left( {x,y} \right) = \left\{ {\begin{array}{*{20}{l}} {0,\;\;\Delta {f_i}\left( {x,y} \right) < T}&{}\\ {1,\;\;\Delta {f_i}\left( {x,y} \right) \ge T}&{} \end{array}} \right. $$ (1)

      式中:Δfi(x, y)为两幅图像的差值,fi(x, y)为当前图像,f0(x, y)为背景图像,T为阈值(T为经验值)。

      用两幅图像的差值与阈值T的比较判断视频中是否出现异常:如果出现异常,进行Step 3~7;如未出现异常,则摄像头继续进行检测。

      Step 3:背景图像与异常帧进行差分,然后采用矩不变法对差分图像阈值分割。

      Step 4:异常帧图像则是可能存在森林火灾的图像,因此对异常帧图像要进行可疑火点区域判断,对异常帧图像进行R-C法阈值分割。

      Step 5:异常帧的阈值分割图像与差分的阈值分割图像取交集区域,见图 3

      图  3  FCBF算法step 3至step 5实验结果

      Figure 3.  Experiment results of step 3-step 5 based on FCBF algorithm

      Step 6:采用自适应局部平滑方法去除分割图像的噪声,得到可疑火点区域图像,见图 4a

      图  4  FCBF算法step 6和step 7实验结果

      Figure 4.  Experiment results of step 6 & step 7 based on

      Step 7:可疑火点区域图像中的最大连通区域即为森林火灾区域,在融合图像中用黑色线条框出森林火灾区域,见图 4b

    • 本文是基于红外和可见光波段的融合视频检测森林火点,采用基于小波变换和Contourlet变换的融合算法需要图像分解、融合再重构,其过程比较繁琐,视频融合算法复杂度高,实时性差,不适用于实际的林火监测;然而基于区域能量的融合算法虽然可以反映红外和可见光图像中明显的亮度突变,但又忽略了微小的细节变化,使得融合图像比较模糊,出现清晰度下降和信息熵减少等情况;基于窗口方差的融合算法使得融合图像的对比度下降、目标指示能力减弱,并不能充分提取红外图像与可见光图像的互补信息。采用基于HSI变换的融合算法虽然提高了融合图像的空间分辨率,但使得融合后的图像色调饱和度值产生了扭曲,融合图像中出现色块,严重影响融合图像的效果。

      为解决上述算法中出现的问题,既能实现红外和可见光视频的实时融合,又可以尽可能保留红外和可见光视频中森林火点的特征,本文将分数阶微分理论引入红外和可见光视频融合技术中,并创新性地提出一种基于分数阶微分融合算子的森林烟火检测算法(FCBF算法),该算法对红外视频及可见光视频图像的分数阶微分值进行加权得到融合图像,并分析该融合图像检测森林烟火区域。

      由于分数阶微积分的计算过程复杂,为了降低算法的复杂度, 我们利用图 5所示分数阶微分算子计算图像的分数阶微分值。

      图  5  本文提出的分数阶微分算子

      Figure 5.  Proposed fractional-calculus operator

      图 5中的像素模板结构考虑到了当前像素在两个坐标轴正负向以及斜45°邻域方向的像素信息。FCBF算法采用图 5中的分数阶微分算子同时扫描待融合的红外和可见光图像,计算图像中同一位置处红外和可见光图像的分数阶微分值,分数阶微分值D的计算公式为:

      $$ D = \left\{ {\frac{1}{{8 - 24v + 16{v^2}}}\left| {\begin{array}{*{20}{l}} {2{v^2} - v}&{\;\;0}&{2{v^2} - v}&{\;\;0}&{2{v^2} - v}\\ {\;\;\;\;0}&{ - 2v}&{\;\; - 2v}&{ - 2v}&{\;\;\;\;0}\\ {2{v^2} - v}&{ - 2v}&{\;\;\;\;8}&{ - 2v}&{2{v^2} - v}\\ {\;\;\;\;0}&{ - 2v}&{\;\; - 2v}&{ - 2v}&{\;\;\;\;0}\\ {2{v^2} - v}&{\;\;0}&{2{v^2} - v}&{\;\;0}&{2{v^2} - v} \end{array}} \right| - 1{\rm{ }}} \right\}I $$ (2)

      式中:D为分数阶微分值,v为微分阶数(经验值为0.1),I为待融合的红外和可见光图像中模板对应的像素点的像素值。

      如将同一位置处红外图像和可见光图像的分数阶微分值D作为衡量图像信息的重要程度,并利用分数阶微分值D得到融合权重系数wAwB。计算公式为:

      $$ {w_{\rm{A}}} = \frac{{{D_{\rm{A}}}}}{{{D_{\rm{A}}} + {D_{\rm{B}}}}} $$ (3)
      $$ {w_{\rm{B}}} = 1 - {w_{\rm{A}}} $$ (4)

      式中:A和B分别代表红外图像和可见光图像,DADB表示红外和可见光图像的分数阶微分值。

      融合图像F的像素值可由下式得出:

      $$ {f_{\rm{F}}}\left( {i, {\rm{ }}j} \right) = {w_{\rm{A}}}{f_{\rm{A}}}\left( {i, j} \right) + {w_{\rm{B}}}{f_{\rm{B}}}\left( {i, j} \right) $$ (5)

      式中:fA(i, j)、fB(i, j)和fF(i, j)分别表示红外、可见光和融合图像中像素点(i, j)的像素值,wAwB表示红外和可见光图像在融合图像中所占的权重。

    • 本文实验数据为北京门头沟林区红外视频和可见光视频,实验中采用了2m×2m的加热板(65~90℃)模拟红外视频中的森林火点,同时采用烟雾弹(饼)模拟可见光视频中的森林火灾中的烟。图 6~9是门头沟4个不同火点的红外及可见光原始视频帧图像、融合后的图像及森林烟火的检测结果。为了阐明本文提出的FCBF算法的有效性,作者比较了FCBF算法与基于区域能量融合规则[16]、基于窗口方差融合规则[17]和基于HSI变换融合算法的图像融合效果、林火检测准确率和森林烟火检测时间的误差度。

      图  6  不同融合算法生成的融合图像及林区烟火检测结果(门头沟1号火点)

      Figure 6.  Results of forest fire detection based on different fusion algorithms (No.1 fire point in Mentougou District)

      图  7  不同融合算法生成的融合图像及林区烟火检测结果(门头沟2号火点)

      Figure 7.  Results of forest fire detection based on different fusion algorithms (No.2 fire point in Mentougou District)

      图  8  不同融合算法生成的融合图像及林区烟火检测结果(门头沟3号火点)

      Figure 8.  Results of forest fire detection based on different fusion algorithms (No.3 fire point in Mentougou District)

      图  9  不同融合算法生成的融合图像及林区烟火检测结果(门头沟4号火点)

      Figure 9.  Results of forest fire detection based on different fusion algorithms (No.4 fire point in Mentougou District)

      图 6~9中:a为可见光图像;b为红外图像;c和d为基于区域能量算法融合图像及其检测结果;e和f为基于窗口方差算法融合图像及其检测结果;g和h为基于HSI变换算法融合图像及其检测结果;i和j为基于FCBF算法融合图像及其检测结果。图 6~9中如果检测到森林烟火发生,则将该区域用黑色方框标记。从图 6~9中可以看出,基于分数阶微分融合的图像细节信息保留情况优于其他3种方法,FCBF算法的融合图像更为清晰,并且森林火灾监测更为准确。例如,在图 7ef中,基于窗口方差融合算法没有检测到森林烟火区域;在图 8cd中,基于区域能量融合算法出现了误检的情况;在图 9cd中,基于区域能量融合算法检测出的森林烟火区域不精确;而图 6~9的g、h中,基于HSI变换融合算法均无法检测出森林火灾区域,其原因可能是该算法用红外图像信息代替了可见光图像中的I通道信息,而森林火灾的烟在I通道中特征比较明显,因此降低了森林火灾区域检测的准确率且使得融合图像中出现大片失真的蓝色区域。

      本文比较了FCBF算法、基于区域能量融合算法、基于窗口方差融合算法和基于HSI变换融合算法的图像融合效果、对森林烟火检测的准确率和森林火灾发生初期的时间误差度。文中采用空间频率和平均梯度作为图像融合效果的评判测度。4种测度定义如下。

      1) 空间频率S

      $$ S = \sqrt {{R^2} + {C^2}} $$ (6)

      式中:R为图像的行频率,C为图像的列频率。

      图像的空间频率能够反映图像空间域的整体活跃程度,因此图像的空间频率越大,图像的效果越好。

      $$ R = \sqrt {\frac{1}{{MN}}\sum\limits_{i = 1}^M {\sum\limits_{j = 2}^N {{{\left[ {F\left( {i, j} \right) - F\left( {i, j - 1} \right)} \right]}^2}} } } $$ (7)

      式中:M为窗口的长度,N为窗口的宽度,F(i, j)为图像中像素值。

      $$ C = \sqrt {\frac{1}{{MN}}\sum\limits_{j = 1}^N {\sum\limits_{i = 2}^M {{{\left[ {F\left( {i, j} \right) - F\left( {i - 1, j} \right)} \right]}^2}} } } {\rm{ }} $$ (8)

      2) 平均梯度AG

      $$ \begin{array}{l} \;\;{\rm{AG}} = \frac{1}{{\left( {M - 1} \right)\left( {N - 1} \right)}}\sum\limits_{i = 1}^{M - 1} {\sum\limits_{j = 1}^{N - 1} {[((F\left( {i, j} \right) - } } \\ F\left( {i + 1, j} \right){)^2} + {\left( {F\left( {i, j} \right) - F\left( {i, j + 1} \right)} \right)^2})/2{]^{\frac{1}{2}}} \end{array} $$ (9)

      平均梯度指的是敏感反映图像对微小细节反差表达的能力,同时也可以反映图像的清晰度,因此图像的平均梯度越大,图像就越清晰。

      3) 森林烟火检测的准确率P

      $$ P = \frac{{{T_{\rm{P}}}}}{{{T_{\rm{P}}} + {F_{\rm{P}}}}} \times 100\% $$ (10)

      式中:TP表示准确检测到的森林烟火的帧数,FP为漏检和误检的帧数。

      森林烟火检测的准确率P展现了算法的有效性和鲁棒性。

      4) 森林火灾的时间误差度T

      $$ T = \frac{{|{D_{\rm{T}}} - {P_{\rm{T}}}|}}{{{P_{\rm{T}}}}} \times 100\% $$ (11)

      式中:DT为检测到森林火灾发生的时间,PT为实际森林火灾发生的时间。

      该时间测度反映了算法对森林火灾发生初期的时间灵敏程度,因此T值越小,算法就越有效。

      表 1可以看出:本文提出的FCBF算法的空间频率和平均梯度均高于其他3种算法,因此实验结果表明FCBF算法的图像融合效果最好;FCBF算法在森林烟火检测准确率和时间误差度方面明显优于其他3种算法,基于HSI变换的图像融合算法准确率最低且时间误差度最高。通过表 1数据的综合评判可知,FCBF算法的图像融合效果最好,并且森林烟火检测的准确率和时间灵敏程度最好,所以本文提出的FCBF算法很有效。

      表 1  FCBF算法与其他3种算法性能比较

      Table 1.  Comparison of FCBF algorithm and other algorithms

      算法
      Algorithm
      空间频率
      Spatial frequency(S)
      平均梯度
      Average gradient(AG)
      准确率
      Detection accuracy rate(P)/%
      时间误差度
      Detection time rate(T)/%
      HSI变换融合算法HSI fusion algorithm 16.3270 7.8280 1.26 56.12
      区域能量融合算法Regional energy fusion algorithm 28.3191 12.3122 86.20 38.57
      窗口方差融合算法Regional variance fusion algorithm 32.5767 16.1555 87.13 21.14
      FCBF算法FCBF algorithm 35.9066 19.6399 91.85 2.03
    • 本文主要研究红外和可见光视频融合算法及基于融合图像分析的森林烟火检测技术,提出了一种新的基于分数阶微分融合红外和可见光视频的森林火灾检测算法(FCBF算法)。实验结果表明,本文提出的FCBF算法中的红外和可见光的融合图像比基于区域能量融合图像、基于窗口方差融合图像和基于HSI变换融合图像更为清晰丰富。同时,本文对FCBF算法、基于区域能量融合算法、基于窗口方差融合算法和基于HSI变换融合算法的图像融合效果、森林烟火检测的准确率和森林火灾发生初期检测的时间误差度进行了定量比较。FCBF算法在空间频率和平均梯度这两个反映图像融合效果的评价准则方面均优于其他3种算法;FCBF算法比基于区域能量融合算法错检和漏检情况少,对于森林烟火检测的准确率和检测的时间误差度优于其他3种算法,并且明显优于基于HSI变换融合算法。本文算法可以在比较复杂的森林环境中非常准确地检测到火灾初期的烟和火,并且能够精准显示出森林烟火的发生地点以及火灾的变化过程,因此可以及时预警森林火灾的发生,为防止森林火灾的蔓延提供了有利的途径。

参考文献 (17)

目录

    /

    返回文章
    返回