地震灾害作为一种突发性自然灾害,震后获取到的灾情信息是开展地震应急救援工作的基础(胡素平,帅向华,2012)。受灾民众是地震灾害的目击者和直接参与者,对受灾情况比较清楚(刘文,2017),通过移动终端设备,利用微博、微信等社交网络平台不断向外界提供大量以文字、图像等为载体的灾情信息,是最直接有效的信息源。在海量灾情信息中,图像相比文字等信息能更加快速、直观地反映灾区实际受灾情况(曹彦波等,2017,2018)。但是,分析以往震后获取到的图像信息,发现部分图像信息存在与地震发生时间不吻合、不属于地震影响范围或与地震灾情无关等问题。

本文将图像分类算法运用到震后图像灾情信息的异常检测中,设定与地震发生时间不吻合、不属于地震影响范围或与地震灾情无关的图像信息为异常信息。首先对获取地震事件有效图像信息量过程进行建模,预筛出与地震发生时间吻合且属于地震影响范围内的图像集,进一步判断与地震灾情相关的图像集。然后构建基于尺度不变特征变换(Scale Invariant Feature Transform,简称SIFT)与以支持向量机(Support Vector Machne,简称SVM)分类的地震灾情图像信息异常检测算法模型,并以2013年芦山7.0级地震建筑物破坏灾情图像为例对模型进行验证。

地震发生后,可从社交网络平台(Social Network Site,简称SNS)上获取海量与地震相关的图像信息资源,形成SNS图像池,将SNS图像池具体表示为:

P=[X₁₁, X₁₂, X₁₃, …, X_1m

X₂₁, X₂₂, X₂₃, …, X_1m

    

X_n1, X_n2, X_n3, …, X_nm](1)

式中:P为SNS图像池的向量集; X为图像信息,共包含n行,表示该图像池共有n张图像,每一行为一条图像的基本信息; 共包含m列,表示该图像池共有m类图像信息,如第一列为图像拍摄的时间信息,第二列为图像拍摄的位置信息等。即SNS图像池的每张图像p_i=(x_i1,x_i2,x_i3,…,x_im)都包含拍摄时间、位置等相对一致的信息量。

针对不同的地震事件ω,需对每张图像p_i=(x_i1,x_i2,x_i3,…,x_im)进行筛选,提取所需的有效信息。首先将图像的时间信息限定为地震发生以后,位置信息限定为地震影响范围内(根据地震烈度快速评估结果确定),根据ω限定向量值,基于网络辅助信息预筛选出和地震事件相关的新图像集P',包含a张图像。若图像集P'中存在与地震灾情无关的噪声信息,则需进一步通过图像信息异常检测筛选出与灾情相关的图像集P″,包含b张图像,且a≥b,直到满足设定的筛选条件为止。即由

P'=[X₁₁, X₁₂, X₁₃, …, X_1m

X₂₁, X₂₂, X₂₃, …, X_1m

    

X_a1, X_a2, X_a3, …, X_am](2)

筛选出

P''=[X₁₁, X₁₂, X₁₃, …, X_1m

X₂₁, X₂₂, X₂₃, …, X_1m

    

X_b1, X_b2, X_b3, …, X_bm](3)

在得到包含b张有效图像的图像集P″后,将图像集P″传递给地震应急指挥中心,应急指挥中心进一步从得到的b张图像中提取有效的信息量I(i₁,i₂,…,i_n),获取包含i₁:被困人员情况; i₂:人员伤亡情况; i₃:建筑物破坏情况; i₄:生命线工程破坏情况; i₅:次生灾害情况; i₆:灾区环境特征等灾情信息,最大化地利用不同信息辅助地震应急指挥中心进行决策,具体过程如图1所示。

在整个有效图像信息量获取过程中,如何在预筛选出的图像集中进一步判断出与预设地震灾情密切相关的图像集是研究的重点和难点。基于此,本文提出了一种基于SIFT特征与SVM分类的地震灾情图像信息异常检测模型。

图1 获取有效图像信息量过程流程图
Fig.1 Flow chart for obtaining effective image information volume process

以2013年芦山7.0级地震建筑物破坏灾情图像为例,从地震灾情数据库中收集80张地震灾情图像,从本地收集110张与地震灾情无关的图像,进行离线图像训练,形成异常图像SVM分类器集合。从微博、微信、新闻网站等网络平台收集到95张地震灾情图像和122张与地震灾情无关的图像。

根据图像属性信息,应用C#的PropertyItem类提取拍摄时间及位置,存放在PohtoStore图像集中:

private static final String[]SELECTPHOTOS= {

PohtoStore.Images.Pohto.DATE,

PohtoStore.Images.Photo.LATITUDE,

PohtoStore.Images.Pohto.LONGITUDE

}

再以时间信息DATE在2013年4月20日8时2分之后,位置信息LATITUDE、LONGITUDE到震中的距离不超过117 km(根据芦山地震烈度快速评估结果确定)为筛选条件,从PohtoStore图像集预筛选出和芦山地震事件相关的图像共205张,其中的92张为地震灾情图像,113张为与地震灾情无关的图像。用通过预筛选的图像对异常图像SVM分类器集合训练效果进行检验。

在MATLAB环境下完成训练和分类过程,将190张离线图像和205张通过预筛选的在线图像分为训练集V和测试集T。在训练集V中,地震建筑物破坏灾情图像的集合为V₁,与地震建筑物破坏灾情无关图像的集合为V₂; 在测试集T中,地震建筑物破坏灾情图像的集合为T₁,与地震建筑物破坏灾情无关图像的集合为T₂,分类结果如表1所示。

表1 SVM分类训练图像收集分配
Tab.1 SVM classification training image collection and allocation

分析建筑物破坏图像特征主要包括:

(1)几何特征:建筑物虽然外形各不相同,但作为一种相对规则的人工地物,实际大多为矩形或由矩形组合构成的多直角形状,相邻边缘相垂直,排列较规整。在地震中建筑物发生不同程度的破坏后,边缘轮廓倾斜错落,其结构和排列呈现出非规则性和紊乱性等特点。

(2)灰度特征:建筑物边缘及不同建筑物连接处的灰度变化较大,而建筑物内部灰度值相对较均匀,灰度分布离散性明显。建筑物破坏引起表面反射率发生变化,图像灰度值增加,分布离散性减弱。

(3)拓扑关系特征:建筑物作为面状地物,具有多边形的拓扑特征,可用链状独立编码表达拓扑关系。建筑物破坏后,多边形出现断边,拓扑关系链状编码的独立性受到影响,相互间的交互增多。

根据上述主要特征,应用MATLAB对建筑物灾情图像进行SIFT图像特征提取,部分代码如下:

%文件夹'building'中存放建筑物图像的特征向量

file_name_build=dir('building');

e_b=length(file_name_build);

d_b=zeros(1,128);

p_b=zeros(1,2);

for i=3:e_b

name=strcat('./building/',file_name_build(i).name);

a=textread(name,'','headerlines',1);

a=a(:,1:128);

d_b=[d_b; a];

t=textread(['./building/'file_name_build(i).name],

'',1);

p_b=[p_b; t];

end

%文件夹'n_building'中存无建筑物图像的特征向量

file_name_nbuild=dir('n_building');

e_nb=length(file_name_nbuild);

d_nb=zeros(1,128);

p_b=zeros(1,2);

for i=3:e_nb

name=strcat('./n_building/',file_name_nbuild(i).name);

b=textread(name,'','headerlines',1);

b=b(:,1:128);

d_nb=[d_nb; b];

t=textread(['./n_building/' file_name_nbuild(i).name],'',1);

p_b=[p_b; t];

end

将建筑物图像和无建筑物图像的特征向量存放在矩阵m中,然后使用K-means函数进行特征聚类,部分代码如下:

samp=[d_b; d_nb];

class_b=KMeans(i,10,2);

在训练集V中提取出建筑物图像训练数据build train_data,通过以下代码形成建筑物异常图像标签库labellib_build:

feat=zeros(300,10);

flag=0;

for i=1:300

for j=1:p_b(i,1)

feat(i,class_b(j+ flag))=feat(i,class_b(j+ flag))+1;

end

flag=p_b(i,1);

end

build train_data=feat(1:120,:);

build train_data=[build train_data; feat(121:

300,:)];

labellib_ build=zeros(1,80);

labellib_ build=[labellib_ build,ones(1,80)];

labelibl_ build=labellib_ build ';

使用svmtrain函数对标签库进行学习训练,形成异常图像SVM分类器集合:

earthq_model =svmtrain(labellib,train_data)

最后,用通过训练形成的异常图像SVM分类器集合对测试集T进行测试:

[pred_label,precision,at_values]=svmpredict(train_data,test_data,earthq_model)

测试结果如表2所示。统计与地震建筑物破坏灾情相关图像的分类准确率和召回率,如表3所示。

表2 SVM分类器测试结果
Tab.2 SVM classifier test results

表3 地震灾情图像判别结果评估表
Tab.3 Earthquake disaster image discrimination result evaluation form

从表3可知,应用SIFT特征与SVM分类的地震灾情图像信息异常检测算法模型对芦山7.0级地震建筑物破坏灾情图像信息进行异常检测的效果较好,该算法模型具有一定的可行性。可进一步用于对被困人员情况、人员伤亡情况、生命线工程破坏情况、次生灾害情况等其他灾情图像信息的异常检测中。

本文针对震后微博、微信等社交网络平台中与地震相关的图像信息资源与当次地震发生时间不吻合、不属于地震影响范围或与地震灾情无关等异常,将图像分类算法运用到异常检测中。通过对获取地震事件有效图像信息量过程进行建模,构建了基于SIFT特征与SVM分类的地震灾情图像信息异常检测算法模型,并以芦山7.0级地震建筑物破坏灾情图像为例对模型进行验证,结果表明该模型对图像信息异常的检测效果较好,可有效补充和完善用于地震应急救援的灾情信息源,为政府抗震救灾科学决策提供灾情信息支撑。

随着5G网络和智能移动终端的快速发展和普及,未来网络平台的信息量将呈现井喷式增长。因此,需进一步结合数据挖掘技术及PSO粒子群优化等算法,提高地震灾情图像信息异常检测的效率和准确度。在震后第一时间为地震应急指挥中心提供更加准确、可靠的灾情图像信息。