基金项目:国家自然科学基金青年基金项目(41701499)及四川省科技厅重点研发项目(2018GZ0265)联合资助.
通讯作者:鲁恒(1984-),男,四川眉山人,博士,主要从事3S技术集成应用研究,E-mail:luheng@scu.edu.cn
(1.西南交通大学 地球科学与环境工程学院,四川 成都 611756; 2.成都市规划信息技术中心,四川 成都 610042; 3.四川大学 水力学与山区河流开发保护国家重点实验室,四川 成都 610065; 4.四川大学 水利水电学院,四川 成都 610065)
(1. Faculty of Geosciences and Environmental Engineering,Southwest Jiaotong University,Chengdu 611756,Sichuan, China)(2. Information Technology Center of Chengdu Planning and Management Bureau,Chengdu 610042,Sichuan,China)(3. State Key Laboratory of Hydraulics and Mountain Rive Engineering,Sichuan University,Chengdu 610065,Sichuan,China)(4. College of Hydraulic and Hydroelectric Engineering,Sichuan University,Chengdu 610065,Sichuan,China)
information extraction; deep learning; transfer learning; earthquake landslide; unmanned aerial vehicle images
选取四川“4·20”芦山地震震区发生的地震滑坡为研究对象,首先构建区域地质特色的无人机影像地震滑坡样本库; 然后引入迁移学习机制完成了无人机高分辨率遥感影像地震滑坡信息提取。研究结果表明地震滑坡提取总体精度达87.2%,能满足地震滑破灾害环境宏观调查,滑坡灾害体监测等应急需求。
In this paper,the earthquake landslide in the earthquake zone of 4.20 Lushan earthquake in Sichuan province was selected as the research object. Firstly,the sample library of earthquake landslide based on Unmanned aerial vehicle(UAV)images was established. Then the transfer learning mechanism was introduced to carry out the earthquake landslide information extraction from UAV images. The results show that the overall accuracy of the landslide extraction method is 87.2%,it can meet earthquake emergency needs such as macroscopic investigation of landslide disaster, monitoring of landslide disaster body.
我国处于环太平洋地震带和喜马拉雅与地中海地震带交汇处,受太平洋板块、印度洋板块和菲律宾海板块的挤压,地震断裂带异常发育,所以我国地震发生频率较高。强烈的地震通常会引发大量滑坡,且常常造成严重的经济损失和人员伤亡(许冲,徐锡伟,2012)。我国地震滑坡分布较广,特别是西部、西南部山区地带,每发生一次大地震均会产生许多地震滑坡,离震中一定距离范围内将产生大量隐伏的地震滞后滑坡。中国地质环境年报显示,2000年以来我国地震滑坡灾害平均每年造成的死亡人数达 1 000 人以上,年均经济损失超过50亿元(Hölbling et al,2015; 张铎等,2013)。
进入21世纪以来,空间信息处理的主要研究内容被列入地理信息科学的优先发展领域(国家自然科学基金委员会,2010),以此为主要手段的灾情信息获取是重点应用领域之一。在全球对地观测网络中广泛部署的各式传感器,使得持续获取高时空分辨率、属性信息日益丰富的数据成为可能,低空或超低空飞行的无人机平台以其分辨率高、时效性好的优势,已逐渐成为灾害应急数据获取的主要平台。但是,既快又易的遥感数据获取能力已经远远超过现有的遥感数据有效处理能力。随着地震滑坡灾害频繁发生,灾情应急阶段数据量骤增,人工解译的不足引发灾情数据获取耗时增加的问题,进而导致数据难以满足灾害应急任务的实际需求,“数据既多又少”的矛盾日益突出(李松等,2015; 鲁学军等,2014)。因此,如何从高分辨率影像中快速、准确地提取出滑坡信息,已成为遥感技术应用于地震滑坡减灾亟待突破的难题。
本文以低空遥感、数据挖掘和机器学习的理论知识为基础,构建低空无人机遥感地震滑坡样本库,提出基于迁移学习机制的无人机遥感影像地震滑坡信息自动提取方法。提供一套基于低空无人机高分辨率影像的地震滑坡灾害快速提取解决方案,旨在为地震后无人机遥感应用于灾情调查提供理论基础,为我国西南山区的地震滑坡灾害治理提供有效技术支撑。
本文选取四川“4·20”芦山地震震区发生的地震滑坡作为实验对象。该次地震发生在龙门山断裂带,是四川成都平原区域地震的典型代表,其研究成果可以进一步用于成都平原周边山区的滑坡灾害预防、规划等应用,具有较好的应用价值。本研究以上述区域为实验区,期望能够逐步完善基于高分辨率低空遥感技术的地震滑坡灾害解决方案。
具体步骤如下:首先,利用所收集的滑坡灾害的历史数据资料,滑坡影像、地表覆被、地质环境等各类信息,考虑到应急情况下灾区遥感数据源的单一性,研究地震滑坡灾害低空遥感影像样本库构建方法; 然后,为了快速、准确地提取当前无人机影像地震滑坡信息,引入迁移学习机制,完成特征知识从旧影像到新影像的迁移,完成地震滑坡信息的提取; 最后再进行提取精度的评估。
无人机影像分辨率高,研究区涉及到的影像数量多,滑坡样本库的构建工作包括:确定灾害样本点标签、边界范围的确定、属性赋值、裁切影像、编码存储等,如果按照常规方法构建地震滑坡样本库的建设需要耗费大量人力物力,且效率较低。对样本库构建流程进行分析可发现,确定灾害样本点标签、边界范围的确定、属性赋值需要人工操作,因为该几步操作存在大量不确定性; 裁切影像和编码存储可以通过计算机自动实现,本文基于ArcPy(ArcGIS Python二次开发包)二次开发实现影像自动裁剪和编码入库。地震滑坡灾害样本库建立流程如图1所示。
计算机机器学习是近年来飞速发展的一个研究领域。把机器学习应用于图像处理、图像理解中通常需要提供足够的训练样本,否则后续的分类精度难以得到保证,甚至导致分类模型结果不收敛,信息提取难以完成(Cheng et al,2013; Fiorucci et al,2011)。本文研究发现,由于滑坡灾害影像相较于自然影像可获得的数据量少,直接将常规机器学习应用到滑坡信息提取中存在困难。虽然研究区涉及到的影像数量多,但可供采集的滑坡样本却较少,导致很难获得足够多满足模型训练条件的训练样本数据。而且,常规机器学习应用的提前是同分布假设,在实际应用中发现在很多领域难以达到同分布假设,甚至会出现训练样本过期等问题。需要对不符合要求的样本进行重标注,又会导致工作量和作业成本的大幅增加。
为解决上述问题,迁移学习(Transfer Learning)在深度学习的基础上发展起来。简单来讲,迁移学习的本质就是从一个模式中通过深度学习获取的知识迁移应用到另一个应用模式中。因此,迁移学习不像常规机器学习一样需要同分布假设。根据迁移学习迁移的对象不同可划分为4类:依据实例的迁移学习、基于特征的迁移学习、根据参数的迁移学习和基于关联知识的迁移学习。
根据建立的样本库情况,本文采用基于特征的迁移学习方法。当前可搜集到带标签的自然图像库较多,本文选取经典的由斯坦福大学计算机视觉研究中心标注完成的ImageNet库,该图像库涵盖了上百万的已标注图像。首先,通过在ImageNet库中建立深度卷积神经网络获得特征提取方法; 然后,将获取的特征提取方法通过特征迁移的方式转移到无人机高分辨率遥感影像的滑坡特征提取过程中。图2为迁移学习机制下的地震滑坡信息提取,主要包括特征学习、特征迁移以及滑坡灾害信息提取3部分。
在进行遥感影像信息提取时,难免会产生误差,其原因很多,比如不同传感器信息获取方法的不同、影像分辨率的不同或者目标地面物体提取中分布空间特征的影响等。因此非常有必要对误差形成的原因进行分析,从而了解信息提取结果的实用性(许冲,2013; Lu,et al,2011)。
遥感影像信息提取精度的定义是提取地物信息的准确度。提取精度是检验提取方法、模型规则是否可靠的通用标准。通过信息提取精度的计算与分析,可以评判方法与结果的优劣,有助于信息提取模型的修正。通常,遥感影像信息提取精度评价的方法有2类:一类是通过人工目视图像定性评价; 另一类是通过实地调研或已有可靠精度样本数据通过计算的方法定量进行精度评价。由于本文选用的无人机影像有较高的空间分辨率,所以采用定量计算滑坡信息提取的精度,通过可靠的评价样本数据计算信息提取结果的总体精度和Kappa系数等指标(薄树奎,丁琳,2010; Foody,2002)。
根据1.1节和1.2节所述原理,首先进行地震滑坡灾害样本库的建立。结合目视解译和自动裁剪编码,完成了地震滑坡样本库的构建。为保证后续特征迁移学习的顺利进行,本文特意在构建样本库时构建出少量负样本(非地震滑坡样本),包括正样本520个、负样本410个。样本库中的部分正、负样本如图3所示。
在特征学习阶段,本文采用加州大学伯克利分校计算机视觉研究小组预训练好的ImageNet分类模型Decaf,由5层卷积网络层及3层全连接层构成。为了进一步分析基于特征迁移的网络训练的结果,对不同类型样本输入下网络各层的激活
情况进行了对比分析。研究发现,将地震滑坡正、负样本激活,在2层开始稀疏化,随着网络前向传播过程中在3层,地震滑坡正、负样本的激活情况呈现出明显不同的模式,最后在FC6层滑坡正、负样本激活情况基本上完全相反,完全适用于区分滑坡区和非滑坡区。最终滑坡信息提取结果如图4所示。
根据1.3节所述原理,考虑到无人机影像的空间分辨率较高,本文直接通过人工目视解译获得验证数据,通过人工目视解译随机获取了70个地震滑坡数据验证点,78个非地震滑坡数据验证点。通过将验证点与提取结果进行叠加来判断提取的滑坡结果是否正确。经过统计计算可得,对于本文实验影像,该方法滑坡信息提取的总体精度为87.2%,Kappa系数为0.743,具体结果如表1所示。在提取效率方面,以本文实验数据为例,在Intel Core i7 2.4 GHz,8 GB内存、Windows 8环境下,本文方法耗时0.8 h。滑坡信息提取精度和效率能满足震后灾情信息快速获取的需求。
如何快速、准确获取地震滑坡灾害信息,已成为遥感减灾工作的难点。本文研究了一种基于迁移学习的无人机低空遥感高分辨率影像滑坡信息自动提取方法。该方法有效地将计算机领域的深度学习、迁移学习与灾害遥感领域相结合,提高了高分遥感领域灾害信息获取的自动化程度。考虑到该方法在空间数据提取上的潜力,如何进一步地发掘历史数据与当前数据的关联关系将是下一步研究的重点。本文研究为高分辨率遥感影像地震滑坡信息快速提取与重点灾害区域快速研判提供一定思路。