高级检索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于自注意力卷积网络的遥感图像分类

李彦甫 范习健 杨绪兵 徐新洲

李彦甫, 范习健, 杨绪兵, 徐新洲. 基于自注意力卷积网络的遥感图像分类[J]. 北京林业大学学报. doi: 10.12171/j.1000-1522.20210196
引用本文: 李彦甫, 范习健, 杨绪兵, 徐新洲. 基于自注意力卷积网络的遥感图像分类[J]. 北京林业大学学报. doi: 10.12171/j.1000-1522.20210196
Li Yanfu, Fan Xijian, Yang Xubing, Xu Xinzhou. Remote sensing image classification framework based on self-attention convolutional neural network[J]. Journal of Beijing Forestry University. doi: 10.12171/j.1000-1522.20210196
Citation: Li Yanfu, Fan Xijian, Yang Xubing, Xu Xinzhou. Remote sensing image classification framework based on self-attention convolutional neural network[J]. Journal of Beijing Forestry University. doi: 10.12171/j.1000-1522.20210196

基于自注意力卷积网络的遥感图像分类

doi: 10.12171/j.1000-1522.20210196
基金项目: 国家自然科学基金(61902187,61801241),江苏省自然科学基金(BK20180746),辽宁省自然科学基金(2020-KF-22-04),南京市留学人员科技创新项目
详细信息
    作者简介:

    李彦甫,主要研究方向:遥感图像分析和理解。Email:liyanfu@njfu.edu.cn 地址:210037 江苏省南京市龙蟠路159号

    责任作者:

    范习健,副教授。主要研究方向:深度学习;计算机视觉。Email:xijian.fan@njfu.edu.cn 地址:同上

  • 中图分类号: S771.8;TP751.1

Remote sensing image classification framework based on self-attention convolutional neural network

  • 摘要:   目的  遥感图像分类技术在森林资源调查、生态工程规划以及森林病虫害防控等林业监测业务中,扮演着至关重要的角色。通过引入自注意力模块增强卷积网络对遥感图像的特征刻画能力,以期提高遥感图像的分类效果。  方法  该文提出了一种融合自注意力机制和残差卷积网络的遥感图像分类方法,首先利用卷积神经网络提取丰富的深度纹理语义特征,然后在卷积网络的最后3个瓶颈层嵌入多头自注意力模块,挖掘遥感图像复杂的全局结构信息。嵌入自注意力模块的卷积分类网络,能够有效提升遥感图像的分类精确度。该研究使用RSSCN7、EuroSAT与PatternNet 3个公开的遥感图像数据集,基于Pytorch深度学习库,训练与测试该方法,并增加与已有分类框架算法精度和性能的对比试验。同时,使用不同批次、不同数量大小的数据训练改研究提出的方法,并测试分类效果。  结果  试验得出,该研究提出的方法在3个遥感分类数据集上的平均识别率分别达到了91.30%,97.88%,和97.37%,其中在前两个数据集上较现有的基于深度卷积网络的算法分别提升了2.26%和3.73%。同时,该算法的总参数量为2.08 × 107,较现有参数量最低的方法减少了5.2 × 106  结论  相比已有的遥感图像分类框架,该研究提出的方法法能够在图形处理器(GPU)加速的环境中,取得更为准确的分类效果。同时有效减少了模型的参数量,提高了算法执行的效率,便于后续的实际应用部署。

     

  • 图  1  本算法网络模型整体结构

    Figure  1.  The overall model architecture of the proposed method

    图  2  多头自注意力模块结构图

    Figure  2.  The structure of multi-head self-attention block

    图  3  残差模块结构

    Figure  3.  Structural sketch of residual module

    图  4  ResNet瓶颈层和替换后的瓶颈层

    Figure  4.  The bottleneck of ResNet and ResNet with MHSA

    图  5  RSSCN7数据集中3种场景图片

    Figure  5.  The images of three scenes in RSSCN7 dataset

    图  6  EuroSAT数据集中3种场景图片

    Figure  6.  The images of three scenes in EuroSAT dataset

    图  7  PatternNet数据集中3种场景图片

    Figure  7.  The images of three scenes in PatternNet dataset

    图  8  正确率与损失值随迭代次数变化曲线

    Figure  8.  Curve of accuracy and loss with iteration times

    图  9  不同分类框架对应特征图的Grad-CAM

    Figure  9.  Grad-CAM of feature maps corresponding to different Classification framework

    表  1  基于多头自注意力模块遥感图像分类框架的结构配置

    Table  1.   Parameters configuration of the proposed framework on multi-head self-attention block

    模块
    Block
    名称
    Name
    核大小与数量
    Kernel size & quantiy
    步长
    Stride
    1 卷积 Convolutional 7 × 7 × 64 2
    2 最大池化 Max pooling 3 × 3 2
    3 卷积 Convolutional 1 × 1 × 64 1
    卷积 Convolutional 3 × 3 × 64 2
    卷积 Convolutional 1 × 1 × 256 1
    模块3重复3次
    Repeat block 3 for 3 times
    4 卷积 Convolutional 1 × 1 × 512 1
    多头自注意力模块
    Multi-head self-attention block
    卷积 Convolutional 1 × 1 × 2 048 1
    次序4重复3次
    Repeat block 4 for 3 times
    平均池化、全连接层、softmax
    Average pooling, fully connected layer, softmax
    下载: 导出CSV

    表  2  不同数据集在不同分类算法精度的比较结果

    Table  2.   Comparison of accuracy of differentdata sets in different classification frameworks

    分类框架
    Classification framewor
    分类精度 Classification accuracy/%
    RSSCN7EuroSATPatternNet
    AlexNet 82.230 91.062 93.697
    VGGNet 80.833 90.728 94.118
    ResNet50 89.048 94.148 97.697
    ViT 89.643 96.111 98.180
    使用单头自注意力
    Single-head self-attention
    88.143 95.148 97.336
    本研究方法
    Proposed method
    91.310 97.877 97.371
    下载: 导出CSV

    表  3  本研究算法在不同训练批次大小的分类效果

    Table  3.   The classification performance of the proposed framework in different training batch sizes

    分类框架
    Classification
    framework
    样本数量
    Batchsize
    分类精度 Classification accuracy/%
    训练集 Training set验证集 Validation set
    EuroSAT 8 95.162 95.453
    16 96.521 96.851
    32 97.603 97.877
    64 96.143 96.001
    RSSCN7 8 90.926 90.532
    16 91.237 91.011
    32 91.538 91.310
    64 91.859 91.137
    PatternNet 8 95.947 95.859
    16 96.740 96.572
    32 98.392 97.371
    64 98.593 97.286
    下载: 导出CSV

    表  4  不同分类算法框架包含的参数数量

    Table  4.   Number of parameters contained in different classification frameworks

    分类框架 Classification framework参数量 Parameter number
    AlexNet 6.00 × 107
    VGG16 1.33 × 108
    ResNet50 2.55 × 107
    ViT 2.6 × 107
    本研究方法 Proposed Mehod 2.08 × 107
    下载: 导出CSV
  • [1] 王海晖. 不同遥感图像的融合与应用[D]. 武汉: 华中科技大学, 2003.

    Wang H H. Fusion and application of different remote sensing images[D]. Wuhan: Huazhong University of science and technology, 2003.
    [2] 曾如珠. 遥感图像分类识别探究[J]. 泉州师范学院学报, 2000, 18(4):1−4. doi: 10.3969/j.issn.1009-8224.2000.04.011

    Zeng R Z. On identification of classification of remote sensing images[J]. Journal of Quanzhou Nor-Mal College, 2000, 18(4): 1−4. doi: 10.3969/j.issn.1009-8224.2000.04.011
    [3] 李石华, 王金亮, 毕艳. 遥感图像分类方法研究综述[J]. 国土资源遥感, 2005, 64(2):1−6. doi: 10.3969/j.issn.1001-070X.2005.02.001

    Li S H, Wang J L, Bi Y. A review of methods for classification of remote sensing images[J]. Remote Sensing for Land & Resources, 2005, 64(2): 1−6. doi: 10.3969/j.issn.1001-070X.2005.02.001
    [4] 张裕, 杨海涛, 袁春慧. 遥感图像分类方法综述[J]. 兵器装备工程学报, 2018, 39(8):108−112. doi: 10.11809/bqzbgcxb2018.08.023

    Zhang Y, Yang H T, Yuan C H. A survey of remote sensing image classification methods[J]. Journal of Ordnance Equipment Engineering, 2018, 39(8): 108−112. doi: 10.11809/bqzbgcxb2018.08.023
    [5] 罗军, 潘瑜春, 王纪华. 基于高分辨率遥感影像的设施农业资源信息采集技术研究[J]. 地理与地理信息科学, 2007, 23(3):51−54. doi: 10.3969/j.issn.1672-0504.2007.03.012

    Luo J, Pan Y C, Wang J H. Study on building agricultural resource information collection technology based on high-resolution remote sensing image[J]. Geography and Geo-information Science, 2007, 23(3): 51−54. doi: 10.3969/j.issn.1672-0504.2007.03.012
    [6] 刘建闽, 黄帆, 戴军. 基于机器学习的遥感图像识别检测技术研究及应用[J]. 西安文理学院学报(自然科学版), 2015, 18(4):66−69. doi: 10.3969/j.issn.1008-5564.2015.04.016

    Liu J M, Huang F, Dai J. Study and application of the technology of remote sensing image recognition and detection based on machine learning[J]. Journal of Xi’an University of Arts and Science (Natural Science Edition), 2015, 18(4): 66−69. doi: 10.3969/j.issn.1008-5564.2015.04.016
    [7] 李国和, 乔英汉, 吴卫江, 等. 深度学习及其在计算机视觉领域中的应用[J]. 计算机应用研究, 2019, 36(12):3521−3529, 3564. doi: 10.19734/j.issn.1001-3695.2018.08.0604

    Li G H, Qiao Y H, Wu W J, et al. Review of deep learning and its application in computer vision[J]. Application Research of Computers, 2019, 36(12): 3521−3529, 3564. doi: 10.19734/j.issn.1001-3695.2018.08.0604
    [8] 陈超, 齐峰. 卷积神经网络的发展及其在计算机视觉领域中的应用综述[J]. 计算机科学, 2019, 46(3):63−73. doi: 10.11896/j.issn.1002-137X.2019.03.008

    Chen C, Qi F. Review on development of convolutional neural network and its application in computer vision[J]. Computer Science, 2019, 46(3): 63−73. doi: 10.11896/j.issn.1002-137X.2019.03.008
    [9] 陈波. 基于循环结构的卷积神经网络文本分类方法[J]. 重庆邮电大学学报(自然科学版), 2018, 30(5):705−710. doi: 10.3979/j.issn.1673-825X.2018.05.018

    Chen B. Text classification method based on the cycle structured convolutional neural network[J]. Journal of Chongqing University of Posts and Telecommunications (Natural Science Edition), 2018, 30(5): 705−710. doi: 10.3979/j.issn.1673-825X.2018.05.018
    [10] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J/OL]. ArXiv Preprint ArXiv: 1409.1556, 2014 [2014−09−04]. https://arxiv.org/abs/1409.1556
    [11] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition (CVPR). Boston: IEEE, 2015: 1−9.
    [12] He K, Zhang X, Ren S, et al. Deep Residual learning for image recognition[C]// Las Vegas: Proceedings of the IEEE conference on computer vision and pattern recognition (CVPR), 2016: 770−778.
    [13] 张德园, 常云翔, 张利国, 等. SAT-CNN: 基于卷积神经网络的遥感图像分类算法[J]. 小型微型计算机系统, 2018, 39(4):859−864. doi: 10.3969/j.issn.1000-1220.2018.04.042

    Zhang D Y, Chang Y X, Zhang L G, et al. SAT-CNN: convolutional neural network framework for remote sensing image classification[J]. Journal of Chinese Computer Systems, 2018, 39(4): 859−864. doi: 10.3969/j.issn.1000-1220.2018.04.042
    [14] 徐风, 苗哲, 业巧林. 基于卷积注意力模块的端到端遥感图像分类[J]. 林业工程学报, 2020, 5(4):133−138. doi: 10.13360/j.issn.2096-1359.201907003

    Xu F, Miao Z, Ye Q. End-to-end remote sensing image classification framework based on convolutional block attention module[J]. Journal of Forestry Engineering, 2020, 5(4): 133−138. doi: 10.13360/j.issn.2096-1359.201907003
    [15] Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[J/OL]. ArXiv Preprint ArXiv, 2014 [2020−12−01]. https://arxiv.org/abs/1409.0473.
    [16] Dosovitskiy A, Beyer L, Kolesnikov A, et al. An image is worth 16x16 words: Transformers for image recognition at scale[J/OL]. ArXiv Preprint ArXiv, 2020 [2021−03−01]. https://arxiv.org/abs/2010.11929.
    [17] Alex K, Ilya S, Geoffrey H. ImageNet classification with deep convolutional neural networks[C]. //Annual conference on Neural Information Processing Systems. Lake Tahoe: ACM 2012: 1097−1105.
    [18] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Advances in neural information processing systems (NeurIPS). Long Beach. 2017: 5998−6008.
    [19] Zhang D, Li N, Ye Q L. Positional context aggregation network for remote sensing scene classification[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 17(6): 943−947.
    [20] Selvaraju R R, Cogswell M, Das A, et al. Grad-CAM: visual explanations from deep networks via gradient-based localization[J]. International Journal of Computer Vision, 2020, 128(2): 336−359. doi: 10.1007/s11263-019-01228-7
  • 加载中
图(9) / 表(4)
计量
  • 文章访问数:  168
  • HTML全文浏览量:  46
  • PDF下载量:  11
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-05-24
  • 修回日期:  2021-07-03
  • 网络出版日期:  2021-07-21

目录

    /

    返回文章
    返回