基金项目:国家自然科学基金项目(41971375)和国家重点研发计划项目(2018YFB0505000)联合资助.
(1.中国科学院空天信息创新研究院 国家遥感应用工程技术研究中心,北京 100101; 2.中国科学院大学 资源与环境学院,北京 100049; 3.中国科学院大学 电子电气与通信工程学院,北京 100049)
(1.National Engineering Research Center for Geomatics,Aerospace Information Research Institute,Chinese Academy of Sciences,Beijing 100101,China)(2.College of Resources and Environment,University of Chinese Academy of Sciences,Beijing 100049,China)(3.School of Electronic,Electrical and Communication Engineering,University of Chinese Academy of Sciences,Beijing 100049,China)
remote sensing; earthquake damage; reconstruction assessment; deep learning; D-LinkNet; the Ludian MS6.5 Earthquake
DOI: 10.20015/j.cnki.ISSN1000-0666.2022.0063
备注
基金项目:国家自然科学基金项目(41971375)和国家重点研发计划项目(2018YFB0505000)联合资助.
引言
根据中国地震台网中心国家地震科学数据中心①发布的中国台网正式地震目录,2011年1月1日—2021年7月25日,在中国境内发生的6.0级以上强震共计61次,除东海海域内发生的地震,7.0级以上大地震共4次,其中造成人员死伤最多的是2013年四川芦山MS6.5地震和2017年四川九寨沟MS7.0地震。据中国地震局②公布的信息,两次地震造成的死伤人数分别为11 662和550人,九寨沟地震导致73 671间房屋不同程度受损。建筑物和道路是地震灾害最主要的承灾体,在地震中建筑物倒毁对生命及财产损失造成的影响尤为显著(眭海刚等,2019; Yang et al,2021; Zhai et al,2021)。因此,对建筑物震害进行评估对于在短期内的救援行动以及长期内的重建工作起着至关重要的作用(Uros et al,2020; Xiong et al,2020; Matin,Pradhan,2021)。
传统的地震现场人工调查方法虽然精度与可信度较高,但是费时费力,难以满足地震灾害抢险救援的需求(Song et al,2020)。20世纪90年代,震害信息的提取方式主要是目视解译,如张德成(1993)以1976年唐山7.8级大地震为例,建立了航空影像建筑物震害目视解译的判读标志,提出了建筑物倒塌率与烈度之间的关系,为建筑物震害快速评估提供了思路。20世纪末,随着遥感技术和计算机技术的飞速发展,获取建筑物震害信息的方法逐渐向半自动化和自动化方向发展。
基于对象的遥感图像信息提取方法具有非常好的应用前景(Bialas et al,2016; 杜浩国等,2021)。Taskin等(2011)基于2010年海地MS7.0地震的Quickbird图像,结合面向对象的方法,对震害信息(包括损毁建筑物在内)进行检测,总体精度为81.4%。分割尺度参数(Segmentation Scale Parameter,SSP)可以影响影像分割的效果,选择高的SSP会导致分割不足,而选择低的SSP会导致过度分割,产生大量的小目标片段(Davari et al,2019)。赵妍等(2016)基于2010年玉树MS7.1地震的QuickBird影像的光谱与纹理信息,人工控制变量以确定最佳分割尺度,得到震前和震后建筑物的提取精度分别为88.53%和90.21%。为了解决人工最佳分割尺度确定方法耗时耗力的问题,杜妍开等(2020)提出了一种影像分割尺度参数算法来自动选择最优分割尺度,对海地高分辨率遥感影像进行建筑物震害信息提取。面向对象方法在高分辨率影像处理与分析领域有较大的优势,但传统的面向对象分类方法存在精度和速度上的不足,且需要设置较多参数(Song et al,2020)。
地震图像信息提取的关键步骤是提取具有代表性的目标特征,而特征提取的准确性将直接影响最终的结果(Xu et al,2018)。为了避免手动特征的设计高度依赖于专业知识(Li et al,2018),深度学习算法为遥感影像识别提供了一种新的思路,通过深度神经网络的构建,充分利用影像的纹理、光谱、形状等特征,提高遥感影像信息提取的精度。Bialas等(2016)、Conner等(2016)、Liu等(2020)将机器或深度学习应用于地震灾害信息提取,证实了这种方法比已有方法表现得更好。在种类繁多的深度学习网络模型中,深度卷积神经网络(Deep Convolutional Neural Network,DCNN)因其在空间结构特征提取方面的优势,是应用效果最好的一种模型(王树华等,2020)。虽然深度学习的神经网络模型可以从具有高分辨率的原始图像中学习高层次的抽象特征,但它严重依赖于大量的训练样本,这限制了基于深度学习技术的遥感图像分类方法获得更好的性能(Li et al,2018; Masarczyk et al,2020)。目前可以获得的及时的震后遥感影像数据有限,针对可用的训练样本库很小的问题,Masarczyk等(2020)提出了一种简单有效的迁移学习方法,证实了该算法不受特定图像类型或神经网络结构的限制,在提高分类精度方面非常有效。王泽泓和刘厚泉(2019)基于迁移学习改善预训练的VGG-16网络,设计出自适应特征融合的卷积神经网络,用于建筑物的识别,准确率高达98.93%。
目前深度学习技术在震灾信息的快速识别、损毁分析方面应用较多,但在灾后重建评估中的应用仍处于初步研究阶段。本文以2014年云南鲁甸MS6.5地震破坏最严重的龙头山镇为例,基于多源遥感影像,利用D-LinkNet深度卷积神经网络实现震后损毁建筑物的较高精度识别和变化检测,并构建灾害损毁评估模型与灾后重建评估模型,实现区域受灾程度的快速分析及区域灾后重建恢复程度的准确评估。
1 研究区概况及数据源
2 研究方法
基于D-LinkNet的云南鲁甸MS6.5地震灾害建筑物损毁与重建评估研究可分为4个部分,技术路线如图2所示。一是完成多源遥感影像的预处理,损毁建筑物以及重建变化建筑区域的样本标签制作; 二是开展基于D-LinkNet神经网络的损毁建筑物识别以及地震烈度的确定,实现灾后损毁分析; 三是基于D-LinkNet神经网络的损毁建筑物群变化检测以及重建评估系数的计算,实现灾后重建评估; 四是精度评价与效率描述,将研究结果与中国地震局以及相关部门发布的信息进行对比,证实本方法的可行性和结果的准确性。
2.1 D-LinkNet模型D-LinkNet模型(图3)是以Zhou 等(2018)提出的Link-Net作为基本框架,延续其Encoder-Decoder的架构,并且在中心部分使用空洞卷积层,从而保证了保持分辨率的同时扩大了感受野。D-LinkNet模型还带有预训练编码器,可以在训练数据有限的情况下直接提高模型的性能。该模型的主要思想是编码区将识别体的信息编码到特征信息上,再将编码的识别体特征信息映射到空间中进行分割(张立恒等,2021)。D-LinkNet神经网络不仅在道路信息提取及应用方面有良好的效果(张立恒等,2021; Yuan et al,2020),而且在识别建筑物、水域、农田等方面也有较佳的效果(田枥文,2020; 朱祺琪等,2021; Zhu et al,2020; Xia et al,2021)。因此,本文采用D-LinkNet模型对2014年鲁甸地震震后损毁的建筑物进行识别,并对其结果进行统计分析以评估研究区的受灾程度。
为保证每个训练样本影像中建筑物信息的完整性,将无人机影像按照1 024×1 024像素的尺度进行切割,由于切割尺度较大,选取了50张包含损毁建筑物的样本影像,对其中的损毁建筑物和基本完好建筑物分别进行标注,形成训练集。D-LinkNet模型为单输入模型,在进行变化检测前,将前时相(2014年)分别与后时相(2015年和2018年)影像的通道合并,形成差异化影像,将合并后的影像按照1 024×1 024像素的切割尺度进行切割,并选取50张包含损毁建筑物的样本影像,对其中发生变化损毁建筑物区域进行标注,形成训练集。
2.2 建筑物损毁评估方法《中国地震烈度表》(GB/T 17742—2020)将房屋破坏分为5个等级:基本完好、轻微破坏、中等破坏、严重破坏和毁坏。烈度表中定义平均震害指数为同类房屋震害指数的加权平均值,即各级震害的房屋所占比例与其相应的震害指数的乘积之和。而震害指数是房屋震害程度的定量指标,由轻到重的震害程度可以用数字0.00~1.00表示(表2)。
平均震害指数为:
式中:di表示房屋破坏等级为i的震害指数; si表示破坏等级为i的房屋破坏面积; S表示各类房屋总面积。
本文将研究区建筑物分为基本完好与毁坏,其震害指数分别为0.00与1.00。研究区中的毁坏建筑物以未经抗震设防的单层砌体房屋或多层砖砌体房屋为主,属于B类结构,本文根据云南省未设防砖混结构房屋震害指数统计值(表3)(朴永军,2013),来确定研究区的地震烈度。
2.3 灾后重建情况评估方法将2014年无人机影像分别与2015年、2018年谷歌影像合并通道后得到两组用于变化检测的影像,通过基于D-LinkNet模型的变化检测方法,统计分析损毁建筑物重建变化的面积,计算重建评估系数并对灾后重建情况进行评估,将重建评估等级划分为基本完全恢复、一般恢复和未恢复。
损毁建筑物的重建情况分析较为复杂,因为对于震后的损毁建筑物,重建工作可能是修复可恢复的损毁建筑物,或是清除损毁建筑物的废墟。由于异源遥感影像合并通道后的光谱、纹理特征都有所削弱,为了加快检测的过程,在制作样本标签时是以变化的建筑物群而不是单体建筑为单位。将变化检测结果与损毁建筑物识别结果相交,即可获得鲁甸地震损毁建筑物的重建情况检测结果,如图4所示。
将2014年震后影像分别与2015、2018年重建后的影像进行对比检测,得到重建评估系数为:
δ=(Ni)/(N0) (2)
式中:N0表示2014年震后影像中的建筑物损毁面积; Ni表示第i年影像中损毁建筑物的重建面积。
按照建筑物重建程度分级表(表4),将鲁甸县建筑物的重建程度分为基本完全恢复、一般恢复和未恢复。
2.4 模型评价指标D-LinkNet模型的评价指标为准确率P、召回率R和F1分数,计算公式如下:
P=(TP)/(TP+FP) (3)
R=(TP)/(TP+FN) (4)
F=(2*P*R)/(P+R) (5)
式中:TP表示正确识别或检测的建筑物像素数量; FP和FN分别表示错误识别或检测的建筑物像素数量和非建筑物像素数量; F表示F1分数。
3 分析与结果
3.1 灾后损毁情况分析与评估研究区损毁建筑物的识别结果如图5所示,建筑物损毁较集中的区域是龙头山镇中心区,建筑物大多数为未经抗震设防的单层砌体房屋或多层砖砌体房屋,抗震能力差且房屋密集。砌体建筑的高抗震易损性主要与建筑配置(细长墙的数量、开放式布局、结构构件之间的连接不当)以及砌体材料的固有力学性能有关,具有高度的非弹性响应和极低的抗拉强度(Sorrentino et al,2018)。其它区域多为硬山搁檩式房屋和夯土墙房屋,硬山搁檩式房屋极容易在地震中向内倒塌,而夯土墙房屋墙梁连接不牢靠、自重大、承载力低、整体性差,抗震性能极弱(和嘉吉等,2015)。
由图5b、c可知,样例区1与样例区2的大部分损毁建筑物没有清晰的边界且不规则。从识别效果来看,基于D-LinkNet识别损毁建筑物的准确率较高,但存在少部分建筑物信息漏检或误检的现象。这是由于此次地震破坏十分严重,大部分建筑物完全损毁倒塌,以至于这些建筑物的光谱信息与周围裸地或其它地物相似,导致了部分漏检或误检现象。
统计建筑物损毁的面积,并计算研究区内建筑物的破坏率,得到损毁建筑物统计结果(表5)。
研究区影像中毁坏建筑物的面积达28.78×103 km2,按照公式(1),研究区的平均震害指数的均值为0.579 4,根据表3可知,研究区的地震烈度为Ⅷ~Ⅸ,即研究区内既有烈度为Ⅷ的区域,也有烈度为Ⅸ的区域。
3.2 灾后重建情况分析与评估样例区1损毁建筑物在2015—2018年的重建情况如图6所示,2015年损毁建筑物的重建程度较低,区内仍然存在部分建筑物废墟,建筑物残骸在2018年被完全清除,并完成了绝大部分损毁建筑物的重建。
统计损毁建筑物的重建面积,并按照公式(2)计算得到研究区损毁建筑物的重建评估系数(表6)。
由表6可见,2015年与2018年龙头山镇的损毁建筑物分别重建恢复了41%与88%。按照表4可知,2015年龙头山镇的重建恢复等级为一般恢复,而在2018年为基本完全恢复。
3.3 精度评价D-Linknet模型精度评价结果见表7。基于同一无人机影像,程希萌等(2016)利用面向对象的方法(均值漂移分割算法以及C5.0决策树分类算法)识别2014年龙头山镇的损毁建筑物,其相对误差最低达5.31%,最高达36.02%。对比表7可知,本文利用D-LinkNet模型开展损毁建筑物的识别与检测有着良好的效果。
中国地震局2014年8月7日发布的鲁甸地震相关信息显示,龙头山镇既有Ⅷ度也有Ⅸ度区域; 2017年11月30日,云南鲁甸6.5级地震灾后恢复重建指挥部宣布,鲁甸地震灾后恢复重建全面完成,但仍存在个别项目由于特殊原因还未竣工。这些信息也验证了本文研究方法的可靠性。
在进行损毁建筑物的提取时,模型训练用时为170.27 min,约2.84 h; 在检测损毁建筑物重建恢复情况时,模型训练用时为172.55 min,约2.88 h。无论是准确度还是效率,本文方法都有巨大的优势,可以及时为相关救援部门的工作提供重要的信息支撑。
4 结论
本文将多源遥感与深度学习技术相结合,提出了一种基于D-LinkNet神经网络,对建筑物损毁情况与重建情况进行快速、准确评估的方法。以2014年云南鲁甸MS6.5地震震中龙头山镇为例,确定其地震烈度以及重建程度,并与相关部门发布的权威信息进行了对比验证,得到以下结论:
(1)基于D-LinkNet神经网络识别损毁建筑物的准确率达87.73%,检测地震损毁建筑物的重建变化准确率约为84.42%,验证了D-LinkNet模型在地震损毁建筑物识别方面有较好的效果。
(2)由于地震损毁建筑物以及异源遥感影像合并通道的特殊性,大部分严重损毁的建筑物丧失了原有的地物界限,这对D-LinkNet模型的识别与检测精度造成了一定的影响。
(3)本文将损毁建筑物细分为基本完好、一般损毁、严重损毁3类开展实验并没有达到更好的效果。有部分一般损毁建筑物会误分为严重损毁类型,导致这两类建筑物识别结果有重叠。今后的研究中,可以探索更精细的震害建筑物损毁程度的识别方法,并考虑不同类型结构的抗震能力的差异性,参考综合性的震害矩阵来确定建筑物地震损毁情况,综合多方面因素来评估灾区的重建恢复程度。
1.1 研究区概况2014年8月3日16时30分,在云南省昭通市鲁甸县发生MS6.5地震,震中位于龙头山镇(27.1°N,103.3°E)。鲁甸县位于云贵高原的西北部,地势中间低平,东西两侧高,地貌错综复杂。鲁甸地区属于青藏高原东缘南北地震带的中南段,主要发育NE向及NW向断裂构造,龙头山镇处于这两个主要断裂构造的交汇处(庞卫东等,2016)。本文选取的研究区域为2014年鲁甸MS6.5地震的极灾区——龙头山镇。
1.2 数据源1.2.1 数据来源鲁甸县地形图主要来源于ALOS PALSAR https://search.asf.alaska.edu/.发布的12.5 m的DEM数据; 2014年的震后影像为分辨率0.2 m的无人机影像; 2015、2018年的影像来源于谷歌地图 http://earth.google.com/.分辨率为0.6 m的历史影像数据(表1),其它数据来自中国地震局及其它相关部门发布的信息。
1.2.2 影像预处理影像预处理工作主要是对2014年的无人机影像和2015年、2018年的谷歌影像进行裁剪、几何校正、图像增强(包括辐射增强、滤波增强等)
以及精确的地理配准,使得影像中的目标识别物或检测物位置互相匹配,并且可以更好地突出建筑物的信息,图像增强效果对比如图1所示。
- 程希萌,沈占锋,邢廷炎,等.2016.基于高分遥感影像的地震受灾建筑物提取与倒损情况快速评估[J].自然灾害学报,25(3):22-31.
- 杜浩国,张方浩,卢永坤,等.2021,基于多源遥感影像的2021年云南漾濞MS6.4地震灾区建筑物信息识别与震害分析[J].地震研究,44(3):490-498.
- 杜妍开,龚丽霞,李强.2020.基于最优分割的高分辨率遥感影像震害建筑物识别技术[J].地震学报,42(6):760-768.
- 和嘉吉,卢永坤,代博洋,等.2015.鲁甸MS6.5与景谷MS6.6地震灾区房屋抗震能力差异分析[J].地震研究,38(1):137-142.
- 庞卫东,杨润海,陈俊磊,等.2016.2014年鲁甸MS6.5地震龙头山镇场地高密度电法勘探[J].地震研究,39(4):622-629.
- 朴永军.2013.云南省青海省房屋地震易损性研究[D].哈尔滨:中国地震局工程力学研究所.
- 眭海刚,刘超贤,黄立洪,等.2019.遥感技术在震后建筑物损毁检测中的应用[J].武汉大学学报(信息科学版),44(7):1008-1019.
- 田枥文.2020.基于深度学习的遥感地图多目标分割检测研究[D].成都:成都理工大学.
- 王树华,于会臻,谭绍泉,等.2020.基于深度卷积神经网络的地震相识别技术研究[J].物探化探计算技术,42(4):475-480.
- 王泽泓,刘厚泉.2019.基于迁移学习与自适应特征融合的建筑物识别[J].计算机技术与发展,29(12):40-43.
- 张德成.1993.建筑物震害航空照片目视判读标志的初步研究[J].地震,(1):26-30.
- 张立恒,王浩,薛博维,等.2021.基于改进D-LinkNet模型的高分遥感影像道路提取研究[J].计算机工程,47(9):288-296.
- 赵妍,张景发,姚磊华.2016.基于面向对象的高分辨率遥感建筑物震害信息提取与评估[J].地震学报,38(6):942-951.
- 朱祺琪,李真,张亚男,等.2021.全局局部细节感知条件随机场的高分辨率遥感影像建筑物提取[J].遥感学报,25(7):1422-1433.
- Bialas J,Oommen T,Rebbapragada U,et al.2016.Object-based classification of earthquake damage from high-resolution optical imagery using machine learning[J].Journal of Applied Remote Sensing,10(3):036025.
- Cooner A J,Shao Y,Campbell J B.2016.Detection of urban damage using remote sensing and machine learning algorithms:revisiting the 2010 Haiti Earthquake[J].Remote Sensing,8(10):868.
- Davari M R,Momeni M,Moallem P.2019.Transferable object-based framework based on deep convolutional neural networks for building extraction[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,12(8):2627-2635.
- Li Y,Zhang H,Xue X,et al.2018.Deep learning for remote sensing image classification:A survey[J].Wires Data Mining and Knowledge Discovery,8(6):E1264.
- Liu P,Wei Y,Wang Q,et al.2020.Research on post-earthquake landslide extraction algorithm based on improved U-Net model[J].Remote Sensing,12(5):894-894.
- Masarczyk W,Gomb P,Grabowski B,et al.2020.Effective training of deep convolutional neural networks for hyperspectral image classification through artificial labeling[J].Remote Sensing,12(16):2653.
- Matin S S,Pradhan B.2021.Challenges and limitations of earthquake-induced building damage mapping techniques using remote sensing images-A systematic review[J].Geocarto International:1-27.
- Song D,Tan X,Wang B,et al.2020.Integration of super-pixel segmentation and deep-learning methods for evaluating earthquake-damaged buildings using single-phase remote sensing imagery[J].International Journal of Remote Sensing,41(3):1040-1066.
- Sorrentino L,Cattari S,Da Porto F,et al.2018.Seismic behaviour of ordinary masonry buildings during the 2016 Central Italy Earthquakes[J].Bulletin of Earthquake Engineering,17(10):5583-5607.
- Taskin K G,Musaoglu N,Ersoy O K.2011.Damage assessment of 2010 Haiti Earthquake with post-earthquake satellite image by support vector selection and adaptation[J].Photogrammetric Engineering & Remote Sensing,77(10):1025-1035.
- Uros M,Novak M S,Atalic J,et al.2020.Post-earthquake damage assessment of buildings—procedure for conducting building inspections[J].Gradevinar,72(12):1089-1115.
- Xia L,Zhang X,Zhang J,et al.2021.Building extraction from very-High-resolution remote sensing images using semi-supervised semantic edge detection[J].Remote Sensing,13(11):2187.
- Xiong C,Li Q S,Lu X Z.2020.Automated regional seismic damage assessment of buildings using an unmanned aerial vehicle and a convolutional neural network[J].Automation in Construction,109:102994.
- Xu Y,Wu L,Xie Z,et al.2018.Building extraction in very high resolution remote sensing imagery using deep learning and guided filters[J].Remote Sensing,10(1):144.
- Yang W T,Zhang X F,Luo P.2021.Transferability of convolutional neural network models for identifying damaged buildings due to earthquake[J].Remote Sensing,13(3):504.
- Yuan S G,Yang K,Li X,et al.2020.Automatic seamline determination for urban image mosaicking based on road probability map from he D-LinkNet neural network[J].Sensors,20(7):1832.
- Zhai W,Zhang J F,Xiao X L,et al.2021.Damaged building extraction from post-earthquake polsar data based on the fourier transform[J].Remote Sensing Letters,12(6):594-603.
- Zhou L,Zhang C,Wu M.2018.D-LinkNet:Linknet with pretrained encoder and dilated convolution for high resolution satellite imagery Road extraction[C]//IEEE Proceedings of the 31st IEEE/Cvf Conference on Computer Vision and Pattern Recognition,Salt Lake City:192-196.
- Zhu Q,Li Z,Zhang Y,et al.2020.Building extraction from high spatial resolution remote sensing images via multiscale-aware and segmentation-prior conditional random fields[J].Remote Sensing,12(23):3983.
- GB/T 17742—2020,中国地震烈度表[S].