高级检索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于全卷积神经网络的植物叶片分割算法

胡静 陈志泊 杨猛 张荣国 崔亚稷

胡静, 陈志泊, 杨猛, 张荣国, 崔亚稷. 基于全卷积神经网络的植物叶片分割算法[J]. 北京林业大学学报, 2018, 40(11): 131-136. doi: 10.13332/j.1000-1522.20180007
引用本文: 胡静, 陈志泊, 杨猛, 张荣国, 崔亚稷. 基于全卷积神经网络的植物叶片分割算法[J]. 北京林业大学学报, 2018, 40(11): 131-136. doi: 10.13332/j.1000-1522.20180007
Hu Jing, Chen Zhibo, Yang Meng, Zhang Rongguo, Cui Yaji. Plant leaf segmentation method based on fully convolutional neural network[J]. Journal of Beijing Forestry University, 2018, 40(11): 131-136. doi: 10.13332/j.1000-1522.20180007
Citation: Hu Jing, Chen Zhibo, Yang Meng, Zhang Rongguo, Cui Yaji. Plant leaf segmentation method based on fully convolutional neural network[J]. Journal of Beijing Forestry University, 2018, 40(11): 131-136. doi: 10.13332/j.1000-1522.20180007

基于全卷积神经网络的植物叶片分割算法

doi: 10.13332/j.1000-1522.20180007
基金项目: 

国家自然科学基金项目 61402038

详细信息
    作者简介:

    胡静,博士生,副教授。主要研究方向:图像处理与模式识别。Email:279641292@qq.com 地址:030006山西省太原市万柏林区窊流路66号太原科技大学计算机学院

    通讯作者:

    陈志泊,教授,博士生导师。主要研究方向:数据库技术、计算机软件与理论。Email:zhibo@bjfu.edu.cn 地址:100083北京市海淀区清华东路35号北京林业大学信息学院

  • 中图分类号: TP391.41

Plant leaf segmentation method based on fully convolutional neural network

  • 摘要: 目的植物叶片分割旨在从背景中分割出叶片区域,去除背景对象干扰。这对植物病害识别和物种鉴定具有重大意义。方法本文设计了基于全卷积神经网络的植物叶片分割算法。首先,目标函数用对数逻辑函数代替复杂的Softmax多类预测函数,从而将分割任务转化为适合于植物叶片分割的二分类问题;其次,把批归一化技术引入全卷积神经网络,从而改善网络整体的收敛性。最后,针对当前植物叶片分割研究中缺乏评估指标的状况,设计了新的评估协议——受试者工作特征曲线,该曲线反映了不同阈值情况下植物叶片图像分割的召回率与误报率之间的变化情况。结果本文提出的算法降低了全卷积神经网络的参数复杂度,改善了网络的收敛性。实验结果表明,该方法比Leafsnap提到的基于颜色的分割方法更完整地分割了植物叶片区域;提出的ROC曲线能够充分评估植物叶片的分割性能。结论与传统方法相比,基于深度学习的植物叶片分割方法实现了输入图像的端对端处理,无需图像转换、噪声滤波和形态运算等预处理技术,因此在植物叶片分割上具有可行性。
  • 图  1  分割前后的植物叶片图像

    Figure  1.  Plant leaf images before and after segmentation

    图  2  基于全卷积神经网络植物叶片图像分割方法框架

    Figure  2.  Framework of plant leaf image segmentation method based on fully convolutional neural network

    图  3  来自Leafsnap数据库的所有184种树种的缩略图

    此图源自文献[3] This image is derived from reference [3].

    Figure  3.  Thumbnail of all 184 tree species from the Leafsnap database

    图  4  基于全卷积神经网络的植物叶分割方法与基于颜色的分割方法的比较

    Figure  4.  Comparison between plant leaf segmentation method based on fully convolutional neural network and that based on the color segmentation method

    图  5  基于全卷积神经网络的植物叶片图像分割方法所产生的ROC曲线

    Figure  5.  ROC curve generated by plant leaf segmentation method based on fully convolutional neural network

    表  1  本文提出的卷积神经网络的参数配置

    Table  1.   Parameter configuration of the proposed fully convolutional neural network

    CBM学习块
    CBM learning block
    名称
    Name
    激活函数
    Activiate function
    滤波器(h×w×c×g)
    Filter (h×w×c×g)
    步进
    Step
    池化操作
    Pooling operation
    卷积层1 Convolutional layer 1 (conv 1) 3×3×3×64 1
    模块1 Block 1 批归一化层1 Batch normalization layer 1 ReLU 1
    最大池化层1 Max. pooling layer 1 2 3×3
    卷积层2 Convolutional layer 2 (conv 2) 3×3×64×128 1
    模块2 Block 2 批归一化层2 Batch normalization layer 2 ReLU 1
    最大池化层2 Max. pooling layer 2 2 3×3
    卷积层3 Convolutional layer 3(conv 3) 3×3×128×256 1
    模块3 Block 3 批归一化层3 Batch normalization layer 3 ReLU 1
    最大池化层3 Max. pooling layer 3 2 3×3
    卷积层4 Convolutional layer 4 (conv 4) 3×3×256×512 1
    模块4 Block 4 批归一化层4 Batch normalization layer 4 ReLU 1
    最大池化层4 Max. pooling layer 4 2 3×3
    卷积层5 Convolutional layer 5 (conv 5) 3×3×512×512 1
    模块5 Block 5 批归一化层5 Batch normalization layer 5 ReLU 1
    最大池化层5 Max. pooling layer 5 2 3×3
    卷积层6 Convolutional layer 6 (conv 6) 1×1×512×1 024
    注:hwcg分别表示高度、宽度、通道和组的大小。Notes:hwcg indicate height, width, channel and group size, respectively.
    下载: 导出CSV

    表  2  阈值为0时误报率对应的召回率

    Table  2.   Recall rate corresponding to false alarm rate when threshold is 0

    误报率False alarm rate 0.1% 0.67% 1% 10%
    召回率Recall rate 80.45% 95.80% 96.62% 99.68%
    下载: 导出CSV
  • [1] Cope J S, Corney D, Clark J Y, et al.Plant species identification using digital morphometrics:a review[J].Expert Systems with Applications, 2012, 39(8):7562-7573. doi:  10.1016/j.eswa.2012.01.073
    [2] Clarke J, Barman S, Remagnino P, et al.Venation pattern analysis of leaf images[C]//Bebis G, Boyle R, Parvin B, et al.Advances in visual computing: part Ⅱ. Berlin: Springer, 2006: 427-436.
    [3] Kumar N, Belhumeur P N, Biswas A, et al.Leafsnap: a computer vision system for automatic plant species identification[C]//Fitzgibbon A, Lazebnik S, Perona P, et al. Computer vision: ECCV 2012. Berlin: Springer, 2012: 502-516.
    [4] Wang X F, Huang D S, Du J X, et al.Classification of plant leaf images with complicated background[J].Applied Mathematics & Computation, 2008, 205(2):916-926. http://cs231n.stanford.edu/reports/2017/pdfs/325.pdf
    [5] Lee S H, Chan C S, Wilkin P, et al.Deep-plant: plant identification with convolutional neural networks[C]//Proccedings of IEEE International Conference on Image Processing.Piscataway: IEEE Signal Processing Society, 2015: 452-456.
    [6] Kavitha P, Ananthi B.Segmentation of unhealthy region of plant leaf using image processing techniques:a survey[J].International Journal of Research in Engineering and Technology, 2014, 11(3):24-27. https://ieeexplore.ieee.org/document/7164858/
    [7] Boykov Y, Funka-Lea G. Graph cuts and efficient N-D image segmentation[J].International Journal of Computer Vision, 2006, 70(2):109-131. doi:  10.1007/s11263-006-7934-5
    [8] Shi J, Malik J. Normalized cuts and image segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(8): 888-905. doi:  10.1109/34.868688
    [9] Zhang Y, Brady M, Smith S. Segmentation of brain MR images through a hidden Markov random field model and the expectation-maximization algorithm[J].IEEE Transactions on Medical Imaging, 2001, 20(1):45-57. doi:  10.1109/42.906424
    [10] Valliammal N, Geethalakshmi S N. A novel approach for plant leaf image segmentation using fuzzy clustering[J].International Journal of Computer Applications, 2012, 44(13):10-20. doi:  10.5120/6322-8669
    [11] Valliammal N, Geethalakshmi S N. Leaf image segmentation based on the combination of wavelet transform and k means clustering[J].International Journal of Advanced Research in Artificial Intelligence, 2012, 1(3):25-39. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=Doaj000003577404
    [12] Shelhamer E, Long J, Darrell T, et al.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4):640-651. doi:  10.1109/TPAMI.2016.2572683
    [13] 张帅, 淮永建.基于分层卷积深度学习系统的植物叶片识别研究[J].北京林业大学学报, 2016, 38(9):108-115. http://bjly.chinajournal.net.cn/WKC/WebPublication/paperDigest.aspx?paperID=94fda7a0-37de-449e-bcb0-bfb6a7916e6c

    Zhang S, Huai Y J.Leaf image recognition based on layered convolutions neural network deep learning[J].Journal of Beijing Forestry University, 2016, 38(9):108-115. http://bjly.chinajournal.net.cn/WKC/WebPublication/paperDigest.aspx?paperID=94fda7a0-37de-449e-bcb0-bfb6a7916e6c
    [14] Noh H, Hong S, Han B.Learning deconvolution network for semantic segmentation[C/OL]//Proceedings of IEEE International Conference on Computer Vision. Washington D C: IEEE Computer Society, 2015[2017-10-10]. https://arxiv.org/pdf/1505.04366.pdf.
    [15] Chen L C, Papandreou G, Kokkinos I, et al.Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4):834-848. doi:  10.1109/TPAMI.2017.2699184
    [16] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//Pereira F, Burges C J C, Bottou L, et al. Advances in neural information processing systems. New York: Curran Associates Inc., 2012: 1097-1105.
    [17] Ioffe S, Szegedy C.Batch normalization: accelerating deep network training by reducing internal covariate shift[C/OL]. ICML'15 Proccedings of the 32nd International Conference on Machine Learning, 2015, 37: 448-456[2017-09-20]. https://arxiv.org/pdf/1502.03167.pdf.
  • [1] 周浪, 樊坤, 瞿华, 吕媛媛, 张正宜.  基于Sparse-DenseNet模型的森林火灾识别研究 . 北京林业大学学报, 2020, 42(): 36-44. doi: 10.12171/j.1000-1522.20190371
    [2] 沈剑波, 王应宽, 雷相东, 雷渊才, 汪求来, 叶金盛.  基于BP神经网络的广东省针阔混交异龄林立地质量评价 . 北京林业大学学报, 2019, 41(5): 38-47. doi: 10.13332/j.1000-1522.20190028
    [3] 江涛, 王新杰.  基于卷积神经网络的高分二号影像林分类型分类 . 北京林业大学学报, 2019, 41(9): 20-29. doi: 10.13332/j.1000-1522.20180342
    [4] 刘嘉政, 王雪峰, 王甜.  基于多特征融合和CNN模型的树种图像识别研究 . 北京林业大学学报, 2019, 41(11): 76-86. doi: 10.13332/j.1000-1522.20180366
    [5] 刘嘉政, 王雪峰, 王甜.  基于深度学习的5种树皮纹理图像识别研究 . 北京林业大学学报, 2019, 41(4): 146-154. doi: 10.13332/j.1000-1522.20180242
    [6] 谢将剑, 李文彬, 张军国, 丁长青.  基于Chirplet语图特征和深度学习的鸟类物种识别方法 . 北京林业大学学报, 2018, 40(3): 122-127. doi: 10.13332/j.1000-1522.20180008
    [7] 于慧伶, 麻峻玮, 张怡卓.  基于双路卷积神经网络的植物叶片识别模型 . 北京林业大学学报, 2018, 40(12): 132-137. doi: 10.13332/j.1000-1522.20180182
    [8] 刘念, 阚江明.  基于多特征融合和深度信念网络的植物叶片识别 . 北京林业大学学报, 2016, 38(3): 110-119. doi: 10.13332/j.1000-1522.20150267
    [9] 张帅, 淮永建.  基于分层卷积深度学习系统的植物叶片识别研究 . 北京林业大学学报, 2016, 38(9): 108-115. doi: 10.13332/j.1000-1522.20160035
    [10] 林卓, 吴承祯, 洪伟, 洪滔.  基于BP神经网络和支持向量机的杉木人工林收获模型研究 . 北京林业大学学报, 2015, 37(1): 42-54. doi: 10.13332/j.cnki.jbfu.2015.01.008
    [11] 王轶夫, 孙玉军, 郭孝玉.  基于BP神经网络的马尾松立木生物量模型研究 . 北京林业大学学报, 2013, 35(2): 17-21.
    [12] 罗茜, 王鸿斌, 张真, 孔祥波.  基于MFCC与神经网络的小蠹声音种类自动鉴别 . 北京林业大学学报, 2011, 33(5): 81-85.
    [13] 黄家荣, 高光芹, 孟宪宇, 关毓秀.  基于人工神经网络的林分直径分布预测 . 北京林业大学学报, 2010, 32(3): 21-26.
    [14] 李春艳, 华德尊, 陈丹娃, 王萍, 任佳.  人工神经网络在城市湿地生态环境质量评价中的应用 . 北京林业大学学报, 2008, 30(增刊1): 282-286.
    [15] 胡淑萍, 余新晓, 王小平, 秦永胜, 陈俊崎.  人工神经网络在流域植被类型优化中的应用 . 北京林业大学学报, 2008, 30(supp.2): 1-5.
    [16] 张金屯, 孟东平, 席跃翔.  自组织神经影射网络排序及其在植物群落分析中的应用 . 北京林业大学学报, 2008, 30(1): 1-5.
    [17] 王兰珍, 吴丽娟, 李雪华, 赵铁珍, 周传艳, 李义良, 李生宇, 耿玉清, 方升佐, 王立海, HUALi_zhong, 张冬梅, 党文杰, 刘鹏举, 朱小龙, 薛康, 李国雷, 刘剑锋, 韦艳葵, 王旭, 任强, 段文霞, 汪杭军1, 李振基, 雷加强, 杨慧敏, 李建章, 何茜, 宋永明, 余新晓, 刘勇, 方陆明, 黎明, 尹光彩, 周亮, 杨娅, 刘勇, 朱波, 周国逸, 高岚, 韩士杰, 崔同林, 阎秀峰, 周宇飞, JIANGXi_dian, 苏晓华, 玲, 王清文, 孙向阳, 徐扬, 王春林, 虞木奎, 唐小明, 张冰玉, 沈熙环, 周国逸, 徐新文, 李吉跃, 鹿振友, 赖志华, 刘锐, 柯水发, 喻理飞, 宗文君, 程云清, HEXiu_bin, 王新杰, 国庆, 3, 周晓梅, 宋爱琴, 李丙文, 王伟宏, 李俊清, 李晓兰, , 郭蓓, 茹广欣, 齐涛, 孙阁, 陈峻崎, 陈培金, 陈实, 温亚利, 张志毅, 王建林, 蒋德明, 王旭, 张可栋, 王晓静, 周玉平, 姚永刚, 唐旭利, 长山, 刘志明, 宋湛谦, 王春林, 关少华, 陈放, 赵双荣, 杨伟伟, 闫俊华, 郑凌峰.  小波和神经网络在色木孔洞缺陷超声定量检测中的应用 . 北京林业大学学报, 2007, 29(2): 128-132.
    [18] 何亚平, 胡万良, 秦爱光, 王费新, 刘杏娥, 张洪江, 袁怀文, 毛俊娟, 邓小文, 黄荣凤, 李瑞, 杨平, 胡胜华, 周永学, 殷亚方, 白岗栓, 郑小贤, 颜绍馗, 高黎, 张莉俊, 张璧光, 魏潇潇, 吴彩燕, 王芳, 费世民, 赵天忠, 樊军锋, 罗晓芳, 王小青, 张克斌, 王兆印, 汪思龙, 刘燕, 李猛, 常旭, 杜社妮, 孙向阳, 戴思兰, 王胜华, 张岩, 崔赛华, 王晓欢, NagaoHirofumi, 乔建平, 谭学仁, 王正, 张占雄, 王海燕, 孔祥文, 范冰, 张旭, 徐嘉, 高荣孚, 李华, 江玉林, 陈放, 韩士杰, 张双保, 江泽慧, KatoHideo, 李昀, 刘云芳, 龚月桦, , 任海青, 陈秀明, 李媛良, 郭树花, 常亮, , IdoHirofumi, 杨培华, 陈宗伟, 侯喜录, 刘秀英, 李晓峰, 丁磊, 蒋俊明, 费本华, , 徐庆祥, 薛岩, 张代贵, 张桂兰, 陈学平, 李考学, , 高建社, 王晓东, , 续九如, 李雪峰, 涂代伦, 刘永红, 金鑫, 张红丽, , , 丁国权, .  Elman动态递归神经网络在树木生长预测中的应用 . 北京林业大学学报, 2007, 29(6): 99-103.
    [19] 王岩, 孙宇瑞, 冶民生, 谢响明, 何磊, 蒋佳荔, 李绍才, 张学俭, 罗菊春, 侯旭, 柳新伟, 张文娟, 张金凤, 李云成, 朱妍, 高鹏, 盖颖, 贺庆棠, 王盛萍, 李永慈, 李吉跃, 吕建雄, 申卫军, 何静, 关文彬, 张华丽, 崔保山, 孙海龙, 廖学品, 唐守正, 王文棋, 昌明, 成仿云, 冯仲科, 张志强, 康向阳, 陆佩玲, 吴玉英, 马道坤, 李小飞, 于晓南, 石碧, 杨志荣, 王军辉, 张桂莲, 蒋湘宁, 关毓秀, 吴斌, 静洁, 路婷, 张平冬, 史剑波, 何权, 孙阁, 赵广杰, 陈永国, 王尚德, 蒲俊文, 张满良, 孙晓霞, 马克明, 彭少麟, 汪燕, 赵燕东, 胡文忠, 余新晓, 刘国华, 林威, 汪西林, .  马尾松人工林直径分布神经网络模型研究 . 北京林业大学学报, 2006, 28(1): 28-31.
    [20] 马文辉, 
    王保平, 侯亚南, 李景文, 王明枝, 张一平, 殷亚方, 李梅, 杨海龙, 詹亚光, 黄国胜, 杜华强, 符韵林, 张秋英, 李慧, 龙玲, 李全发, 刘震, 宋小双, 杨晓晖, 李景文, 熊瑾, 饶良懿, 李吉跃, 徐峰, 韩海荣, 梁机, 秦瑶, 赵敏, 陆熙娴, 朱金兆, 朱金兆, 刘文耀, 李发东, 耿晓东, 李妮亚, 窦军霞, 李俊清, 吕建雄, 陈晓阳, 范文义, 王雪军, 李俊清, 尹立辉, 王洁瑛, 张克斌, 孙玉军, 唐黎明, 李云, 乔杰, 陈素文, 陈晓阳, 慈龙骏, 齐实, 于贵瑞, 赵宪文, 刘桂丰, 李黎, 秦素玲, 沈有信, 刘雪梅, 倪春, 康峰峰, 毕华兴, 欧国强, 李凤兰, 王玉成, 刘伦辉, 赵双菊, 王雪, 宋献方, 任海青, 李伟, 蒋建平, 魏建祥, 朱国平, 文瑞钧, 黎昌琼, 韦广绥, 张桂芹, 马钦彦, 李伟, 周海江, 孙涛, 丁霞, , 宋清海, 张万军, 李慧, 杨谦, 孙晓敏, 刘莹, 孙志强, 李宗然, 
    , .  杜仲全叶深度综合利用技术路线研究 . 北京林业大学学报, 2005, 27(5): 115-117.
  • 加载中
图(5) / 表 (2)
计量
  • 文章访问数:  2579
  • HTML全文浏览量:  201
  • PDF下载量:  10
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-01-04
  • 修回日期:  2018-09-10
  • 刊出日期:  2018-11-01

基于全卷积神经网络的植物叶片分割算法

doi: 10.13332/j.1000-1522.20180007
    基金项目:

    国家自然科学基金项目 61402038

    作者简介:

    胡静,博士生,副教授。主要研究方向:图像处理与模式识别。Email:279641292@qq.com 地址:030006山西省太原市万柏林区窊流路66号太原科技大学计算机学院

    通讯作者: 陈志泊,教授,博士生导师。主要研究方向:数据库技术、计算机软件与理论。Email:zhibo@bjfu.edu.cn 地址:100083北京市海淀区清华东路35号北京林业大学信息学院
  • 中图分类号: TP391.41

摘要: 目的植物叶片分割旨在从背景中分割出叶片区域,去除背景对象干扰。这对植物病害识别和物种鉴定具有重大意义。方法本文设计了基于全卷积神经网络的植物叶片分割算法。首先,目标函数用对数逻辑函数代替复杂的Softmax多类预测函数,从而将分割任务转化为适合于植物叶片分割的二分类问题;其次,把批归一化技术引入全卷积神经网络,从而改善网络整体的收敛性。最后,针对当前植物叶片分割研究中缺乏评估指标的状况,设计了新的评估协议——受试者工作特征曲线,该曲线反映了不同阈值情况下植物叶片图像分割的召回率与误报率之间的变化情况。结果本文提出的算法降低了全卷积神经网络的参数复杂度,改善了网络的收敛性。实验结果表明,该方法比Leafsnap提到的基于颜色的分割方法更完整地分割了植物叶片区域;提出的ROC曲线能够充分评估植物叶片的分割性能。结论与传统方法相比,基于深度学习的植物叶片分割方法实现了输入图像的端对端处理,无需图像转换、噪声滤波和形态运算等预处理技术,因此在植物叶片分割上具有可行性。

English Abstract

胡静, 陈志泊, 杨猛, 张荣国, 崔亚稷. 基于全卷积神经网络的植物叶片分割算法[J]. 北京林业大学学报, 2018, 40(11): 131-136. doi: 10.13332/j.1000-1522.20180007
引用本文: 胡静, 陈志泊, 杨猛, 张荣国, 崔亚稷. 基于全卷积神经网络的植物叶片分割算法[J]. 北京林业大学学报, 2018, 40(11): 131-136. doi: 10.13332/j.1000-1522.20180007
Hu Jing, Chen Zhibo, Yang Meng, Zhang Rongguo, Cui Yaji. Plant leaf segmentation method based on fully convolutional neural network[J]. Journal of Beijing Forestry University, 2018, 40(11): 131-136. doi: 10.13332/j.1000-1522.20180007
Citation: Hu Jing, Chen Zhibo, Yang Meng, Zhang Rongguo, Cui Yaji. Plant leaf segmentation method based on fully convolutional neural network[J]. Journal of Beijing Forestry University, 2018, 40(11): 131-136. doi: 10.13332/j.1000-1522.20180007
  • 在实践中,植物鉴定主要根据叶和花的形状来进行判断。植物学家普遍认为植物叶片特征的变化是作为植物病害识别研究的重要依据[1-2]。此外,与花朵相比,叶子特征分析往往更容易,因为叶子通常在形状上几乎都是二维的,而花朵却常常是三维的。因此,基于计算机视觉的植物物种识别往往基于植物叶片图像进行,而且首先要从图像中分割出叶片区域。

    植物叶片分割通常用于确定图像中的叶片区域和边界(见图 1),以减少背景区域的干扰,这是植物种类识别和植物病害识别中的重要步骤[3-5]。已经有许多植物图像分割方法被提出,它们大致可以分为基于非学习的分割方法和基于深度学习的分割方法两类。基于非学习的分割方法包括图像处理[6]、图形剪切[7]、归一化剪切[8]、马尔可夫随机场[9]、模糊理论[10]、聚类[11]等。对于基于深度学习的分割方法,主要有全卷积神经网络[12-13]、反卷积网络[5, 14]和全连接条件随机场(Conditional random field, CRF)[15]等。

    图  1  分割前后的植物叶片图像

    Figure 1.  Plant leaf images before and after segmentation

    目前,大多数植物叶片分割方法是基于非学习的分割方法。例如,Kumar等[3]通过期望最大化方法估计出前景和背景的颜色分布,并使用这些分布对每个像素进行独立分类。Valliammal等[10]使用模糊阈值和聚类技术检测植物叶片图像中的均匀叶片区域。此外,Valliammal等[11]还提出了基于离散小波变换(Discrete wavelet transform, DWT)和K-means聚类的植物叶片图像分割方法。虽然这些传统的分割方法能够从彩色或灰度图像中分割出叶片区域,但它们对于去除围绕在叶片周围的一些干扰,如小气泡、小石块等,分割结果往往不尽如人意。另一方面,基于深度学习的图像分割方法取得了长足的进步,例如,全卷积神经网络[12]的语义分割是第一个基于深度学习的通用分割模型,在PASCAL VOC 2011数据集中的分割效果令人鼓舞。在反卷积网络[14]中,有多个反卷积层被学习得到,用以更好地对卷积神经网络(Convolutional neural network, CNN)学习特征映射图(Feature map,FM)进行上采样,获得了更精确的分割结果。在全连接的条件随机场[15]中,通过将最后一个反卷积层的响应与全连接条件随机场进行结合来提高深度网络的前景分割能力。在这些进展的启发下,本文设计了基于深度学习的植物叶片分割方法,以提高植物叶片分割的准确率,同时还设计了ROC曲线评估协议用来评估植物叶片的分割性能,通过实验对比分析验证所提方法的优越性。

    • 全卷积神经网络(Fully convolutional neural network, FCNN)[12]最初用于实现图像语义分割。图像语义分割是一个复杂的多分类问题,需要为隶属不同类别物体的像素配置不同的标签。为了实现这种精细的语义分割,全卷积神经网络采用的是(C+1)类的Softmax函数,其中C是前景物体类别数量,多出一类是背景。基于Softmax这种需要强监督信息(物体类别标签)作为目标函数的网络模型,随着类别个数的增加,在实践中一般需要大规模训练数据集来驱动网络学习,否则容易出现模型过拟合现象。

      植物叶片分割是典型的二分类任务,其核心目标是将植物图像分割成二值化图像,将前景像素和背景像素分别标记为1和-1。对于这种二分类任务,无需用到复杂的Softmax函数。因此,本文用对数逻辑函数来代替复杂的Softmax多类预测函数作为分割目标函数,从而降低全卷积神经网络参数复杂度。基于对数逻辑函数的分割目标函数(Ls):

      $$ {L_s} = \frac{1}{K}\sum\limits_{k = 1}^K {\frac{1}{{HW}}} \sum\limits_{h = 1}^H {\sum\limits_{w = 1}^W {\ln \left( {1 + {{\rm{e}}^{ - Y_{h, w}^kX_{h, w}^k}}} \right)} } $$ (1)

      式中:XRH×W×K是卷积神经层提供的预测分数;YRH×W×K∈{1, -1}是植物前景和背景标定的真实数据(Ground Truth),1和-1分别表示前景和背景像素;HWK分别表示高度、宽度和样本数;h=1,2,…,Hw=1,2,…,Wk=1,2,…,K

      实际训练过程中,本文采用随机梯度下降算法[16]对分割目标函数进行优化。为了使分割目标函数Ls最小化,梯度下降算法会自动调整,尽量加大正样本的预测分数,同时减少负样本的预测分数。公式(1)的反向传播计算公式如下:

      $$ \frac{{\partial {L_{\rm{s}}}}}{{\partial X_{h, w}^k}} = - \frac{1}{K}\frac{1}{{HW}}\frac{{Y_{h, w}^k{{\rm{e}}^{ - Y_{h, w}^kX_{h, w}^k}}}}{{1 + {{\rm{e}}^{ - Y_{h, w}^kX_{h, w}^k}}}} $$ (2)
    • 全卷积神经网络由卷积神经网络模块和反卷积(Deconvolution)模块组成(图 2)。首先,借助卷积神经网络强大的特征学习能力和端到端的优势,卷积神经网络模块可以自动学习到有效的特征映射。其次,反卷积模块用于实现上采样和像素对齐,以确保分割后的二值图像和输入图像尺寸大小相等。再配合公式(1)中的目标函数,尽可能增大正样本的预测分数,同时减少负样本的预测分数,从而有利于实现植物叶片分割。

      图  2  基于全卷积神经网络植物叶片图像分割方法框架

      Figure 2.  Framework of plant leaf image segmentation method based on fully convolutional neural network

      与文献[12]的全卷积神经网络相比,除了目标函数的设计不同之外,本文在卷积神经网络模块的设计上与文献[12]亦有不同之处。本文的卷积神经网络模块采用了批归一化(Batch normalization, BN)层[17],以改善全卷积神经网络整体的收敛性。为了使描述简洁明确,将卷积层(Convolutional layer)、BN层和最大池化层(Max pooling layer)合并简称为CBM学习块。所提出的卷积神经网络模块中,有5个CBM学习块(CBM learning block)。每个CBM学习块的BN层后使用ReLU作为神经元激活函数,并在卷积层和最大池化层中应用补零填充操作,从而保证预测分数和标签数据的对准更精确。在所提出的卷积神经网络模块中,除了5个CBM学习块之外,还应用conv 6卷积层来调整第5个CBM学习块输出特征图的维数。值得注意的是,conv 6卷积层中采用1×1大小的滤波器,并且不使用ReLU神经激活函数,以避免丢失太多信息。

      表 1给出了设计的卷积神经网络模块的参数配置,包括卷积层的通道数、滤波器大小、池化窗口的大小等。

      表 1  本文提出的卷积神经网络的参数配置

      Table 1.  Parameter configuration of the proposed fully convolutional neural network

      CBM学习块
      CBM learning block
      名称
      Name
      激活函数
      Activiate function
      滤波器(h×w×c×g)
      Filter (h×w×c×g)
      步进
      Step
      池化操作
      Pooling operation
      卷积层1 Convolutional layer 1 (conv 1) 3×3×3×64 1
      模块1 Block 1 批归一化层1 Batch normalization layer 1 ReLU 1
      最大池化层1 Max. pooling layer 1 2 3×3
      卷积层2 Convolutional layer 2 (conv 2) 3×3×64×128 1
      模块2 Block 2 批归一化层2 Batch normalization layer 2 ReLU 1
      最大池化层2 Max. pooling layer 2 2 3×3
      卷积层3 Convolutional layer 3(conv 3) 3×3×128×256 1
      模块3 Block 3 批归一化层3 Batch normalization layer 3 ReLU 1
      最大池化层3 Max. pooling layer 3 2 3×3
      卷积层4 Convolutional layer 4 (conv 4) 3×3×256×512 1
      模块4 Block 4 批归一化层4 Batch normalization layer 4 ReLU 1
      最大池化层4 Max. pooling layer 4 2 3×3
      卷积层5 Convolutional layer 5 (conv 5) 3×3×512×512 1
      模块5 Block 5 批归一化层5 Batch normalization layer 5 ReLU 1
      最大池化层5 Max. pooling layer 5 2 3×3
      卷积层6 Convolutional layer 6 (conv 6) 1×1×512×1 024
      注:hwcg分别表示高度、宽度、通道和组的大小。Notes:hwcg indicate height, width, channel and group size, respectively.
    • 利用卷积神经网络模块,将输入图像转换为7×7×1×1 024维特征映射(Feature map),然后对反卷积模块进行上采样操作;将此特征映射进一步转化为与输入图像分辨率大小相等的分割预测分数,从而实现像素级别的植物叶片分割。

      图 2中的卷积神经网络模块,一共进行5次长宽各自降2采样,总体上相当于进行了长宽各自降32采样,因此必须设计一个升32插值的反卷积模块。为此,本文设计了插值滤波器FR64×64。为了避免插值滤波器FR64×64的过渡学习,又设计了正则化项来限制插值滤波器和双线性插值滤波器之间的差异。

      $$ L = {L_{\rm{s}}} + \frac{1}{2}\lambda \left\| {F - {F_0}} \right\|_2^2 $$ (3)

      式中:L为目标函数,λ≥0用于控制正则化项贡献的超参数,F为插值滤波器,F0为双线性插值滤波器。

      式(3)中双线性插值滤波器F0的计算公式为:

      $$ {F_0}\left( {i, j} \right) = \left( {1 - \frac{{\left| {i - 32} \right|}}{{32}}} \right)\left( {1 - \frac{{\left| {j - 32} \right|}}{{32}}} \right) $$ (4)

      式中:i, j∈{1, 2, …, 64}和F0(i, j)表示排列在第i行和第j列的元素。反卷积模块的反向传播过程中也应该考虑正则化项的作用,其计算公式如下:

      $$ \frac{{\partial L}}{{\partial F}} = - \frac{{\partial {L_{\rm{s}}}}}{{\partial F}} - \lambda \left( {F - {F_0}} \right) $$ (5)
    • 针对植物叶片分割中正、负样本不对称分类问题,准确率不完全适合评估分割性能。为了能充分评估植物叶片分割的性能,本文提出受试者工作特征(Receiver Operating Characteristic, ROC)曲线。该曲线通过不同阈值情况下召回率(Recall Rate, RR)与误报率(False Alarm Rate, FAR)之间的变化评估分割性能,召回率和误报率的计算公式分别为:

      $$ {\rm{RR}} = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FN}}}} $$ (6)
      $$ {\rm{FAR}} = \frac{{{\rm{FP}}}}{{{\rm{FP}} + {\rm{TN}}}} $$ (7)

      式中:TP表示被正确检测出来的正样本数量,TN表示被正确检测出来的负样本数量,FN表示被错误检测出来的负样本的正样本数量,FP表示被错误检测出来的正样本的负样本数量。

    • 本文在Leafsnap数据库[3]上评估了基于全卷积神经网络(FCNN)的植物叶分割方法,并将其与已有的植物叶分割方法进行比较,验证所提出的方法的优越性。

    • Leafsnap植物叶片图像数据库涵盖了美国东北部的185种树种(图 3),由移动设备在野外拍摄的7 719张图像组成。该数据库中的植物图像含有不同程度的模糊、视角变化和光照变化。

      图  3  来自Leafsnap数据库的所有184种树种的缩略图

      Figure 3.  Thumbnail of all 184 tree species from the Leafsnap database

    • Leafsnap数据库中所有图像都被随机裁剪为224×224像素,并通过水平镜像和随机旋转进行数据增强。比如[-3°, 0°]、[0°, 3°]就是随机旋转图像。每层权重使用正态分布N(0, 0.01)初始化,并将偏置项初始化为0。式(3)中正则化权重设置为0.5。动量(momentum)设置为0.9。随机梯度下降算法中,小批(mini-batch)数据量是128。随着训练的进行,学习率从0.01逐渐降低。如果目标函数在某个阶段收敛,则学习率降低到当前值的1/10,最小学习率为0.000 1。在实验中,图像随机地被分为训练集、验证集和测试集,3个集合的比例为0.6:0.2:0.2。

    • 由于目前很多植物叶片分割算法都未提供源代码、可供复现的技术细节和可供比较的分割实验结果,尤其是定量的实验数据,所以给植物叶片分割算法性能的对比造成了较大的障碍。因此,本文在Leafsnap数据库上,与文献[3]中提出的基于颜色植物叶片分割方法进行定性比较。从图 4中可以看出,本文提出的分割方法比文献[3]中基于颜色的分割方法更能完整地分割植物叶片区域。

      图  4  基于全卷积神经网络的植物叶分割方法与基于颜色的分割方法的比较

      Figure 4.  Comparison between plant leaf segmentation method based on fully convolutional neural network and that based on the color segmentation method

      在实验中,由于负样本(背景像素)远大于正样本(植物叶片像素),植物叶片分割被视为不平衡的二进制分类问题,准确率不完全适合评估分割性能,因此本文提出ROC评估协议来评估分割性能。为了让未来的植物叶片分割算法能够更方便地与本文提出的分割算法进行性能比较,根据本文提出的ROC评估协议给出了ROC曲线(图 5)。从图 5可以看出,一个阈值对应ROC曲线上的一个点,一条ROC曲线代表不同阈值下召回率(Recall Rate, RR)与误报率(False Alarm Rate, FAR)的对应情况。

      图  5  基于全卷积神经网络的植物叶片图像分割方法所产生的ROC曲线

      Figure 5.  ROC curve generated by plant leaf segmentation method based on fully convolutional neural network

      表 2中列出本文算法在阈值默认为0的情况下误报率对应的召回率。例如,当误报率设置为1%时,对应的召回率为96.62%;当误报率设置为0.67%时,对应的召回率为95.80%。由此可见,对于整个Leafsnap数据库中的叶片像素来说,本文算法基本都能较为完整地将叶片分割出来。

      表 2  阈值为0时误报率对应的召回率

      Table 2.  Recall rate corresponding to false alarm rate when threshold is 0

      误报率False alarm rate 0.1% 0.67% 1% 10%
      召回率Recall rate 80.45% 95.80% 96.62% 99.68%
    • 本文设计了基于全卷积神经网络的植物叶片图像分割方法。首先,分割的目标函数用对数逻辑函数代替复杂的Softmax多类预测函数,从而将植物叶片分割任务转化为二分类问题,降低了全卷积神经网络参数复杂度。其次,把批归一化技术引入全卷积神经网络,改善网络整体的收敛性。实验结果表明,与现有的植物叶片分割方法相比,本文所提出的方法能更好地分割植物叶片图像;同时,提出的ROC曲线能够充分地评估植物叶片的分割性能。

参考文献 (17)

目录

    /

    返回文章
    返回