浙江省地震局在“十二五”期间开展了基于视频分析的地震烈度快速获取工作,并开始收集整理地震发生的相关视频。其中地震监控资料是在2013年与公安部门协调后才开始获取,其他的监控资料大多由网络获取,由于行政区域的因素,我们采用的规范的摄像头资料都取自浙江省境内。

分析工作中总共选取了191组监控探头视频,其中取自监控网共享平台的完整视频有121组,网络收集视频有70组(表1)。

表1 选取的震例与摄像头资料
Tab.1 Data of the selected earthquakes and camera information

我们主要以中小地震为研究目标,其中也选择了一些强震,但主要是研究强震对中低烈度区的摄像头影响情况,如南投6.5级地震对浙江省内的影响。获取的监控资料包括地震前后的完整时间段、监控的精确经纬度、监控探头安装依附建筑和所处的场地条件等几个必要条件。

在对公安监控探头的震后反应进行梳理的过程中,发现相近地点的监控探头震后反应差别很大,有些画面剧烈抖动,有些画面基本没有变化,在III～IV度烈度区有些探头也有明显的晃动。这些现象与监控探头安装条件有很大的相关性,我们经过对照分类,将监控探头的安装按场地条件和安装依附建筑总结了震害现象的对照矩阵(表2～7),对在不同烈度下的探头晃动和人员反应做了初步分类,并在几次中小地震应急中进行了验证,对辅助地震烈度判断有较大帮助。

表2 III度监控探头在不同依附建筑、场地条件下反应矩阵
Tab.2 Response matrix of III degree video under different installed building and conditions

表3 IV度监控探头在不同依附建筑、场地条件下反应矩阵
Tab.3 Response matrix of IV degree video under different installed building and conditions

表4 V度监控探头在不同依附建筑、场地条件下反应矩阵
Tab.4 Response matrix of V degree video under different installed building and conditions

表5 Ⅵ度监控探头在不同依附建筑、场地条件下反应矩阵
Tab.5 Response matrix of VI degree video under different installed building and conditions

表6 VII度监控探头在不同依附建筑、场地条件下反应矩阵(推测)
Tab.6 Response matrix of VII degree video under different installed building conditions(speculated)

表7 监控探头对应矩阵表示
Tab.7 Correspondence matrix of video probe

2014年10月25日18时42分在浙江省文成县、泰顺县交界处(27.71°N,119.96°E)发生4.2级地震,震中区烈度评估为Ⅵ度。地震发生后指挥中心获取了发震时刻多组有效摄像头数据,通过对比摄像数据中人员反应、镜头晃动等情况,对烈度做了初步的判断。在震后4 h就绘制了第一张烈度分布模拟图,第二天又通过各类渠道补充了多组摄像头数据,绘制了第二张烈度模拟图。在整个震区半径25 km范围内有近千组摄像头可以选择,由于工作量太大,当时没有进行进一步扩大摄像头资料选取分析工作。

图1是泰顺县某村路口的一个监控头拍摄的画面,近摄像头的电线由于强烈地震引起的震动开始抖动,在1 s后电线抖动更加剧烈,近摄像头的电线已经成为一条光带,根据视频经验矩阵判断为Ⅵ度(监控校时有一定偏差)。

图2是泰顺县某村委会前的一个监控头拍摄的画面,地震发生时正值晚饭期间,室内人员惊慌逃出,远处路上拿电筒的行人也开始跑动躲避,在发震后3 s,室内人员已经都已经逃出,聚居在房屋门口(标注2),远处路上的行人在跑动(标注1)。此前已经发生过数次3级以上地震,当地人已经习以为常,可以让当地人惊慌逃出,烈度可以认定较高,最后根据视频经验矩阵判断为Ⅵ度。

图1 根据画面晃动的地震烈度定性判断
Fig.1 Qualitative judgment of seismic intensity based on the picture shaking

图2 根据人员反应的地震烈度定性判断
Fig.2 Qualitative judgment of seismic intensity based on personnel response

在几次地震应急中,应用视频经验矩阵分析对地震烈度进行模拟,取得了一定的效果,但是仍有一些问题需要解决。首先在基层单位提供的视频中,没有统一的校时服务,在对发震时刻进行视频定位时,会有较大的时间误差,在数次地震应急中我们进行视频的定性分析(矩阵分析法),在查看视频中定位发震时刻是耗时较长。针对以上问题,我们利用图元分析方法对视频进行编码分析,快速定位到图像开始抖动的时间段,可以大大提高视频分析效率。

在长尺度视频震动时刻的视频快速定位分析中,第一步要解决的是人机交互分析,这在定性分析中也需要用到。我们采用H.264视频编码中的运动估计技术,在视频编码和视频处理中广泛应用。运动估计技术的基本思想是将图像序列的每一帧分成许多不重叠的宏块,并认为宏块内所有像素的位移量相同,然后在每个宏块到参考帧某一给定搜索范围内根据一定的匹配准则找出与当前最相似的块,即匹配块,匹配块与当前块的相对位移即为运动矢量(谭琳,2007)。我们采用了16×16的宏块模式,块匹配准则是判断相似程度的依据,这里的块匹配准则是:

平均绝对误差函数(Mean of Absolute Error,MAE):

MAD(x,y)=1/(MN)∑^M_m=1∑^N_n=1*| f_k(m,n)-f_k-1(m+x,n+y)*|(1)

式中:M,N为16(宏块数量); f_k为某一宏块内像素值和。上述准则公式实现简单方便,较为实用。

第二步是运动搜索策略。菱形搜索法(Diamond search,DS)于2000年被首次提出,经过多次的修改,目前已成为快速匹配运动估计算法中性能最好的算法之一。该方法原理是选用大小2种形状的搜索模板LDSP(大菱形)和SDSP(小菱形),以搜索中心为中心进行大菱形的搜索(窦茂森,高文静,2006),计算9个点,如果最小的MAD点不在大菱形中心的话,将大菱形中心移到相应最小的MAD点上,重复大菱形搜索,共搜索5个点得到最终的搜索结果作为运动估计的最优匹配点(图3)。

图3 LDSP(a)与SDSP(b)模板
Fig.3 LDSP(a)and SDSP(b)templates

在地震视频快速定位时,采用运动估计方法对视频进行逐帧分析,较为精确地估算出相邻帧之间的像素移动。分析完毕后,可以得出所有相邻帧之间的像素位移量、位移的峰值、平均值,最终能够快速并较为准确地定位出发生地震的时间段,并截取出该时段的视频。

震后应急中,相关监控视频源源不断汇集到指挥中心,浙江地震局指挥中心人力较为紧张,导致视频分析的效率较低。在地震中通过监控录像可以真实地记录地震发生时地面震动的情况,也可以反应摄像头和地面固定物体之间的相对运动。公安摄像头有相对规范的安装方式,我们可以用算法将摄像头拍摄下来的画面运动换算成强地面运动的数值,由于摄像头安装条件会有细微差距,所处的场地条件也各有差异,单个摄像头并不能精确给出强震动信息,但是公安摄像头密度很大,对同区域相邻的多个摄像头进行加权平均,可以给出一个小区域相对准确的加速度值。我们考虑用算法代替人工判读,提高视频分析效率,节约震后应急时间。其原理是利用图元分析的方法,通过图像抖动量的分析,提取视频所在地的强震动信息(杨宇翔等,2015)。

首先采用地震视频中的整幅图像(或者图像的绝大部分)之间的移动情况来定量描述地震动的加速度和速度。如果只根据地震视频中的几个参照物很难准确定量描述地震的加速度和速度,我们利用视频图像间像素的全局移动,即整幅图像中像素发生位移的部分来分析地震动的速度和加速度。可以将整个地震图像移动区域作为分析参照物,因为在不同烈度的地震视频中可以明显区分图像帧之间物体的抖动范围和抖动速度的差别,这可以作为判断地震烈度的依据。这样可以由图像全局抖动入手,分析图像抖动区域像素的大小,再估算出图像中该区域像素的真实大小并进一步计算地震动速度和加速度(由于视频的帧率是固定的,所以只需要计算位移)。

图像的全局移动分析法是目前较为可行的一种估计方法,避免了由于几个固定参照物丢失或损坏带来的影响以及单一参照物的计算误差。在视频关键帧不丢失的情况下能较为准确地计算出每帧图像之间像素移动的值和移动的区域,由该移动区域作为参照物来分析得出地震动的速度和加速度,流程如图4所示。

图4 地震视频的加速度定量分析流程图
Fig.4 Flow chart of quantitative analysis of acceleration of earthquake video

首先采用与地震视频截取相同的运动估计方法,对地震视频逐帧分析,计算出相邻帧之间发生位移的宏块。然后对帧间图像发生位移的宏块进行连通分析,宏块的连通成分对应发生地震的部分。这样可以较为准确地计算出地震视频中每一帧图像发生震动的像素个数,例如:导入的分析视频大小为288×352,每一帧图像共有18×22个宏块,每一个宏块的像素个数为16×16。我们对地震视频某帧图像进行运动估计分析和宏块连通域计算求得该帧图像的地震宏块为300块,则说明该帧图像发生震动的像素为300×16×16个。

接下来将像素位移换算成实际场景的移动面积,我们采用了图像深度估计的方法计算地震视频每帧图像的深度图。深度图代表着场景中各个点与相机间的距离关系,有了深度图就可以计算每个像素对应与真实场景中的大小信息。将上面步骤中求得的图像震动宏块投影到深度图(即将震动图像和深度图重合)中,就得出了图像震动部分对应的深度图,图像震动区域的平均深度为:

X=1/N∑^N_n=1*|f(n)*|(2)

式中:X为平均深度信息; N为图像震动区域宏块数; f(n)为该宏块的深度信息。由此可以得出图像震动区域像素的平均深度,也可以将之前求得的震动像素投影到真实世界中。地震发生后,由于地面震动,监控视频中的内容也会发生较大的变化,但是利用深度信息分析并不会受到干扰。因为每帧图像都可以获得一个新的深度图和它所对应的震动宏块区域,这样也增加了每帧图像计算震动的准确性。

最后根据标准的速度和加速度计算的物理公式来分析计算。假设1个像素的位移等同于实际场景移动了25×10^-5 cm,而该帧图像发生震动的像素为10⁴,则该时刻(相邻帧之间的时间为0.25 s)地震震动速度为10 cm·s^-1。

地震的加速度是由相邻帧之间速度计算求得:

a=(v₁-v₂)/t(3)

式中:v₁为t₁时刻地震震动速度; v₂为t₂时刻地震震动速度; t为0.25 s。由此可以计算出地震动加速度。

在视频分析过程中,将每一帧计算绘制形成一个波形文件,并在分析结束之后显示该视频总的加速度波形图。最后我们根据峰值加速度给出地震烈度(白仙富等,2010)。

系统基于C#平台开发,采用了EMGUCV(计算机视觉库)以及mysql数据库。运行环境为:服务器端Windows2003 Server、IIS6及以上版本,基于海量视频监控的地震烈度快速判断方法软件可以实现多视频自动截取震动视频,自动寻找全局抖动时刻和重新稳定时刻图像,对视频进行截取,视频截取成功后会在地震视频列表下显示,在截取成功后对视频文件进行逐帧对比,得出发震时刻、地面震动的加速度和速度,并用波形文件表示,给出最大加速度和地震烈度(图5～8)。

目前该软件仍在完善过程中,在高烈度区图像变化剧烈对视频烈度的判读效果较好,但低烈度区图像变化微小时判读仍有一定误差。

图5 软件截图视频界面
Fig.5 Video interface of software capture

图6 软件分析视频抖动
Fig.6 Video frames by software analysis

图7 软件分析得出强震动波形
Fig.7 Strong motion waveform

图8 软件最终得出监控点的峰值加速度
Fig.8 The finally peak acceleration of monitoring point by software

在文成—泰顺4.2级地震后,浙江省地震局应急指挥中心依靠视频图像在工作时间4 h后绘制了初步烈度模拟图,并在24 h后补充资料绘制了相对客观的烈度图,烈度分布范围比现场工作队实际调查的结果略小,长轴方向基本一致。

地震后,后方应急指挥技术人员紧缺,第一时间无法抽出多余技术人员去判读视频,第一次烈度判定只是选取了震中附近典型的22个监控的影像。震后第二天,在时间和技术力量允许的条件下,又增加到61个点进行判读。由于仰山乡、珊溪镇、文成县探头密度大,较易选择,震区西北部是自然保护区,探头较少,指挥中心在较远的景宁县也选取点作为补充。震后4 h内摄像头投入较少,仅靠人为判断可以得出一个初略的烈度分布。虽然烈度范围比实际调查小,但烈度分布方向与现场工作结果基本一致。24 h后又增加了更多的摄像头资料,得出结果和仪器烈度分布图已经比较相似了,只是范围略微小一点,也显示观测的结果与强震台仪器观测的结果很接近。由于摄像头不仅可以通过自身抖动反应强地面震动,还可以真实地还原人员在震时的反应,对Ⅵ度以下的烈度分布的判定,通过观察人员反应较仪器烈度更客观,更接近于目前的烈度判断标准。增加了部分早期现场调查的数据后,虽然面积仍然略小,但与实际调查的结果已经非常接近。

图9 4 h视频烈度分析与现场调查烈度对比
Fig.9 Comparison of intensitys obtained by video analysis in 4 hours after work and site investigation

图 10 24 h视频烈度分析与现场调查烈度对比
Fig.10 Comparison of intensitys obtained by video analysis in 24 hours after work and site investigation

本次地震视频监控点共取61组,震区可用的强震台有6个,虽然视频监控分析得出的烈度精度与仪器烈度值精度无法相比,但视频监控点数远大于强震观测台的数量,反映烈度总体分布情况和衰减趋势更具有优势,目前视频监控点主要以人工判读为主,如果经过定量分析,并全部采用震区上千组视频监控点数据,对单点视频监控图像抖动的速度和加速度进行提取和校正,结果更精细可信。本次震区在浙江省属经济较为落后地区,人口相对较少,监控探头密度低,但仍有近千组探头资料可以使用。如果是在经济、人口总量较多的地区,可用的监控探头会成倍增加,分析得出的烈度分布也会更加客观、更接近真实情况。