基金项目:地球物理领域科技基础性工作数据资料集成与规范化整编(2013FY110900-2); 中国地震局星火计划项目(XH131702Y)和中国大陆综合地球物理场观测仪器研发专项项目(Y201620)联合资助.
通讯作者:李盛乐(1965-),研究员,主要从事地震分析预报软件研制工作.E-mail:mapsis@sina.com
(中国地震局地震研究所 地震大地测量重点实验室,湖北 武汉 430071)
(Key Laboratory of Earthquake Geodesy,Institute of Seismology,CEA,Wuhan 430071,Hubei,China)
seismic analysis; earthquake consultation; abnormal recognition; intelligent consultation; cloud computing
对当前各地震分析会商系统、异常识别方法、综合分析方法研究现状进行了分析和综述,总结了各软件系统在运行模式效率、资源利用、更新方式、规范性、智能化等方面存在的突出问题; 针对这些问题,结合大数据、云计算、人工智能等新技术、新方法、新要求,提出了地震分析会商系统未来顶层设计方案:首先,通过“云-网-端”三位一体化方式建立“专家交互分析”和“智能自动分析”相互兼容的发展模式; 然后,对该模式从总体设计和具体实施技术路线2大方面进行了详细阐述和可行性分析; 最后,对系统建设注意事项展开讨论。
Based on the analysis of Earthquake Consultation system and the anomaly recognition method,this paper has analyzed and summarized the method of the comprehensive analysis of research status,and also summed up the software system in the mode of operation,efficiency,resource utilization,update,standardization,intelligence and other prominent problems. To solve these problems,combined with big data,cloud computing,artificial intelligence and other new technologies,new methods and new requirements,we analyzed the top-level design of the future earthquake consultation system. First of all,through the ‘cloud'-‘net'-‘end' integration of the three established ‘expert interaction analysis' and ‘intelligent automatic analysis' compatible development mode. Then,the form the overall design and specific implementation of technical route of two aspects and feasibility are analyzed in detail. Finally,the construction of the latter system considerations are discussed.
地震分析会商系统是一项多学科交叉的综合性系统工程,它涉及到计算机、信息处理和地震综合分析预报方法等技术领域(李谊瑞,徐京华,1989)。我国《防震减灾十三五信息规化》①中明确指出“十三五”期间初步实现“数据资源化、应用云端化、业务规范化、服务智能化”总体目标,以及《中国地震监测发展设计纲要(2016—2035)》②中提出实现“会商资料智能分析”目标。
本文从地震分析会商系统及相关分析方法等研究现状和存在的问题入手,结合大数据、云计算、人工智能等新技术、新方法、新要求,提出地震分析会商系统未来发展几点建议与发展模式,并对新模式的实施进行可行性分析。
丁仁杰和殷世林(1985)开发了“PC-1500袖珍电子计算机地震地下水实用程序集”; 国家地震局科技监测司(1987)组织开发了“基于PC-1500机实用程序及通讯接口”,该系统共选入98个程序,主要包括:通用数字计算程序、地震专业程序、事务管理程序及通讯接口。其中通用数值计算程序包括相关分析计算、回归分析计算、谱分析、简单滤波等26个程序; 地震专业程序包括地震台站与地震预报部门最常用的各种数据处理、报表编制等63个程序。庄昆元和王炜(1989)使用Fortran语言开发了“地震数据处理常用方法程序集”,包括地震活动性方法和地震前兆数据处理方法(Nakai方法拟合、气压潮汐改正、地磁幅相法、距平、固体潮理论值计算),地震数据处理通用方法(一元回归、坐标转换、距离计算)。国家地震局科技监测司推出与《地震学分析预报方法程式指南》(国家地震局科技监测司,1990)相配套的大型应用软件系统“中国地震分析预报软件系统SSEPC”(国家地震局软件技术组,1994)。这是一款集数据处理、地震预报、文件管理等功能为一体的集成软件系统,主要功能模块有地震学和综合预报,定点形变、大地测量、跨断层测量、应力-应变、重力学、地磁学、地电学、地下水物理、地下水化学等。刘耀炜(1997)推出“水化、水位地震预报综合判定方法软件SHEP”,包括平滑滤波、曲线回归、趋势分析、逐步回归、相关距平、相对方差、异常提取(原始数据、一阶差分、自适应值、短期预测、短临预测分析)。1997年,国家地震局科技监测司推出“地震前兆数据常规处理通用软件”。1998—1999年,又相继推出“CAPOmen地震前兆分析处理软件”和“EIS2000地震前兆信息处理与软件系统”(蒋骏等,2000)。随后,中国地震局监测预报司引入GIS技术,提出了研制新一代地震预报软件系统的设想,2001年推出商业软件“测震学数据处理与分析通用软件(SuperSeis)”,侧重于测震学地震活动参数的计算和图像生成(李闽峰等,2001)。2001年6月,中国地震局监测预报司推出“基于GIS的地震分析预报软件(MapSIS)”1.0 版(陆远忠,2006),可实现地震活动、地震前兆资料、地质构造条件、地球物理环境及其它空间信息的综合分析。
蒋海昆(2010)组织研制了“基于GIS的华东南及首都圈震后会商的软件系统”,按照地震构造环境和历史地震活动特征,在全国范围划分区域快速研判震情,能够在震后5~10 min内迅速形成初步的震后会商意见。平建军等(2013)在全国分区基础上,重点针对首都圈地区进行了更细致的分区资料整理,并组织研制了“华北震后快速响应预案及计算机查询系统”,震后可快速产出预会商意见、分区历史地震活动特征、统一的震情回答口径内容等,以上功能模块也被全部集成于MapSIS之中。
此外,还有一些优秀软件或专注于前兆资料处理与分析,如前兆异常识别软件(王建国等,2007)、地震前兆信息量计算软件(平建军等,2013)、前兆数据在线处理系统(尹晶飞,2013)、地震前兆数据处理与加工系统(苏融,2014)等; 或专注于会商技术的发展,如虚拟地震会商系统(黄静,2004)、三维可视化会商平台(陈石等,2011)、交互式会商广播系统(刘坚等,2014)等。这些软件解决了在资料分析和会商过程中的部分问题。
MapSIS系统在长达16年的时间里,一直免费使用、义务维护并不断升级,且实现了一定程度的异常自动识别和会商报告智能化生成。2015年底,随着MapSIS开发所依赖的涉及第三方商业平台知识产权问题的出现,中国地震局监测预报司开始了新一代地震分析预报软件的推动工作,并鼓励下属各单位推陈出新,百花齐放。
2016年,防灾科技学院推出基于开源平台的OpenSIS软件,实现了部分地震活动参数计算和震后趋势计算功能,但由于起步较晚,尚未达到使用阶段。2017年,中国地震局地球物理研究所陈石联合西安数源软件有限公司,基于软件工具Datist(多源数据融合专家应用软件,简称数据专家)开发了一套地震分析预报会商平台,将一系列数据导入、筛选和处理的动作,以一个个零件的形式串联起来,形成一套规定动作的数据流模型,实现了地震目录查询、报告生成等批量化处理。
基于Datist流程化的建模思路对于地震会商中的特定数据结构和特定规定动作实现了批量化处理流程,但同时也有它的局限之处:第一,建模需要专业知识和编程基础,由于Datist只是针对数据整理的建模工具,要进行专业的资料分析和制图需要引入Matlab、Surfer、GMT等第三方工具编写算法并打包为动态链接库再行调用。专家发布好的模型,如果需要针对实际场景进行算法的重组或输入输出的特定修改,则需要掌握专业的数据结构知识和算法编程相关知识,否则容易出现数据衔接错误。第二,只能针对一些固定数据和固定操作进行批量处理,不易进行机器辅助下的人工交互分析。Datist的优势在于规定动作的批量化操作,适合一次建模、多次重复的工作。但在地震分析会商领域,主要依托于预报专家丰富的专家知识和专业分析,需要大量的人机交互工作,仅仅依靠批量处理是不够的。
1966年邢台地震以来,经过几代人几十年的不懈努力,中国的地震预报研究取得了长足的进步(梅世蓉,1994; 张国民等,1997; 陈棋福,石耀霖,1997),地震预报理论和方法的研究取得了显著进展。我国的地震预报科学研究已积累了包括地壳形变、地球化学、地下流体、地电阻率、地磁、重力、地应力等多学科大量连续的观测资料,震前各单学科异常地有效识别与提取是作出正确地震综合预报的关键。老一辈地震研究者探索了多种有物理意义的前兆异常识别方法,如地应变的扩容效应因子、剪切应变强度因子计算,地磁的转换函数、最大似然谱估计方法以及形变、应变信息流的提取及合成方法,这些数据分析处理方法具有较强的实用性,有望对我国的前兆数据分析处理水平的提高起到推动作用。
目前制约前兆观测数据在地震预测预报中有效应用的最突出问题是海量高采样率观测数据和与之不匹配的分析人员逐天逐台的处理和分析模式,传统的人工分析方法已经很难快速在海量观测数据中有效发现异常,因此,如何利用大数据技术和异常自动识别技术从地震前兆观测数据中发现异常,并有效排除由环境因素和仪器自身因素造成的异常,是一项非常有意义的工作。
随着地震前兆观测数据分析系统规模的不断增大、观测数据种类和时间跨度不断增加,海量数据相应分析处理需要具备尽可能高的实时性,以便能够第一时间发现地震前兆异常模式和现象,并进行有效应对。针对上述问题,王建国等(2007)研制了前兆观测数据监视和异常自动识别软件,通过一阶差分法、日变幅度法、均方差法可以对前兆异常进行自动识别和报警。刘子维(2016)提出一种利用多孔小波算法自动识别前兆异常的方法,该方法能够准确地在带有噪声的模拟数据中识别人为添加的异常模式,同时也能发现一些平时难以感知的微小异常。王秀英等(2015a,b)提出一种前兆观测时序特征量的数据检测方法和一种基于大数据的前兆异常识别方法。
大量震例表明在较大地震发生前,一定区域内多种观测手段会出现复杂的异常变化。梅世蓉和姚家榴(1993)指出依靠任何单一手段解决地震预报问题都是不可能的,必须走综合预报的道路。因此,如何在单项异常分析的基础上进行综合预报判定一直是地震预报研究与实践中极为重要的、也是极为困难的问题。多年来,我国地震预报学者在地震综合预报研究领域开展了大量有益的研究与探索,取得了许多富有成效的地震综合预报研究成果,如地震综合计算预报方法(罗兰格等,1989)、模式识别方法(张郢珍等,1991)、积分法(李广鑫,吴晓芝,1991)、模糊综合预报方法(冯德益等,1989; 朱令人,1989)、信息合成方法(周硕愚等,1991; 王海涛等,1998,2002)、遗传算法(陈棋福等,1997)、PP 综合预报方法(朱令人等,1994)、地震活动综合效应场函数预报方法以及地震综合函数场方法(罗兰格,孙佩卿,1994)。这些方法从不同方面进行尝试,探索可能实现地震综合分析预报的途径。
人工智能方面也有诸多学者做了深入研究,如早期应用模式识别方法综合分析多项震兆和模式识别研究及其在地震学中的应用(王碧泉等,1986,1990,1992); 1986年5月,国家地震局地球物理研究所着手研制第一代“地震预报专家系统”,与此同时进行研制的还有安徽省地震局研制的ESEP/PC(Expert System for Earthquake Prediction,简称ESEP)系统和国家地震局分析预报中心研制的“地震综合预报专家系统”; 2004年,上海地震局研制“地震预报专家系统ESEP3.0”(王炜等,2004)将模糊系统、神经网络与专家系统技术相结合,引入了驾驭式的推理机制,除具有第一代专家系统的符号推理与解释功能、以及第二代专家系统的学习功能外,还具有较强的人机交互能力。
目前地震分析会商系统主要集中体现以下4个方面的问题:
(1)软件各自封闭,重复建设:当前模式中,不同应用系统各自独成一体,代码非开源,导致相同的功能重复建设现象明显。
(2)数据资源独享,效率低下:目前数据资源或数据库是专为某个应用而建,没有系统化的统管共建,相对比较独立,因而没有真正意义上形成数据资源池和共享,致使数据资源利用率和使用效率比较低。
(3)软件模式单一,智能化弱:用户操作体验等原因,目前大多系统是C/S(Client/Server)模式的桌面版,又因地震应急现场网络条件限制,分析系统不得不自带知识库和数据,功能和支撑知识库需不断迭代更新,软件更新和操作的智能化程度较低。
(4)业务规范度低,小数据思维:对于规定会商动作(如周会商、月会商、年会商等)流程化、自动化、规范化程度有待提高; 早期的模式识别和专家系统皆是基于小数据找因果思维模式,大数据找相关思维欠缺。
为实现交互式的现代地震预报业务,完成《防震减灾十三五信息规化》 中国地震局.2016.《 防震减灾十三五信息规化》.中提出初步实现“数据资源化、应用云端化、业务规范化、服务智能化”总体目标,以及《中国地震监测发展设计纲要(2016—2035)》 中国地震局.2016.《中国地震监测发展设计纲要(2016—2035)》中提出的“会商资料智能分析”目标,针对上述存在的突出问题,就地震分析会商系统未来发展,提出几点建议:
(1)顶层设计上实现预报、科研、观测、服务的互动,以云平台资源池为基础,打通资料处理、异常分析、跟踪评价、规范产品、数据共享多业务的数据通道,实现“纵向贯通、横向融合”。以往的数据产出与存储、数据交换与共享、成果服务等管理软件分别由各自的专业人员研发而成,各个软件之间版本不一、中间件各异、各具基础数据库,存在着大量的格式冲突、难以兼容、数据冗余等问题。利用成熟的云平台资源池技术,建立统一的数据接口,打通数据流动通道,统管共建、灵活复用是现代化会商平台大数据精准服务的数据基础,实现从各自为政向协同发展的转变和从单纯建设到建管并重的转变。
(2)采用“大数据”和“人工智能”技术,加强不同构造区不同技术方法的映震能力和适用性分析,优化完善地震分析会商技术方法库和每种方法相对应的异常判定标准。近半个世纪以来,我国已经积累了丰富的地震震例、异常报告和序列总结,如何通过信息挖掘技术,将这些宝贵的经验应用于如今的地震预报实践,从而指导优化分析方法库以及异常判定标准,实现技术驱动向需求驱动的转变。是新一代地震分析会商技术平台应该承担的责任。
(3)构建 “云-网-端”三位一体化方案。“云”为云平台,“网”是网站,“端”是桌面客户端和手机端APP; 云端是核心,用户通过网站或手机APP定制会商自动化流程,云端将计算的结果返回网站或手机端; 桌面客户端既可在本地交互操作,也可将定制的操作流程在云端运行,然后将计算结果返回。
(4)建立“专家交互分析”和“智能自动分析”相互兼容的发展模式。针对成熟的、规定的会商动作实行智能化、自动处理模式,针对综合性的分析研判采用专家交互式模式。既减轻不必要的重复性劳动,提高会商效率,又解放预报专家繁重工作,使他们有充分的精力投入到需要专业智力支撑的“会”和“商”工作中。
要达成既定目标,关键要有一套行之有效且清晰的方案和实施路线作基础,针对当前和未来地震分析会商的现实需求,结合大数据、云计算、人工智能等新技术、新方法、新要求,对上述提出的建议分别从总体设计方案和具体实施技术路线2方面进行可行性分析。
地震分析会商系统是地震业务应用体系中的重要组成部分,因此有必要先从全貌看清它在未来整个地震信息化顶层设计中所处的位置,理清它与底层支撑的数据资源、平台,与兄弟层级其他应用,与上层服务之间的联系。如图1所示,分别从数据资源、平台接口、云端应用、智能服务4个维度层级进行总体阐述分析。
(1)数据资源层:该层为预报分析会商打通数据壁垒通道,形成统一地震数据资源池,提供全局、全量、可信、高效的数据资源; 池中数据包括观测数据、探测数据、调查(考察)数据、实验与试验数据、专题数据、防震减灾综合数据、其他地震数据; 以及所需的其他大数据,包括气象、水文、测绘、地理信息数据等。
(2)平台接口层:它是连接数据资源与云端应用的中间层,通过平台接口层读取数据给云端应用层使用,该层提供开放、共享、灵活、复用的各类数据接口,大致分2类:平台服务和数据服务接口,平台服务接口主要包括公共接口、消息接口、缓存接口、中间件接口、集成接口、大数据接口; 数据服务接口主要包括主数据接口、基础数据接口、应用数据接口、基于场景数据接口等。
(3)云端应用层:地震业务上云端,即应用云端化,各应用间形成高效协同,该层是研究的核心,地震分析会商系统就处在分析会商云中,核心业务包括常规会商(周、月、年度会商等)、紧急会商、加密会商、震情会商、趋势研判、决策支持,当然还包括其他应用云:如监测预警、震害防御、应急救援、科技创新云等。
(4)智能服务层:该层利用云端应用层生产的产品,通过智能化方式向社会、行业、决策、科研、创新提供服务,以提升社会感知为终极目标。
以上4个层级以松耦合方式独立存在; 云端应用层中的分析会商云是新一代地震分析会商系统的基石,因此,它的实施技术路线是我们关注的重点。
新一代地震分析会商系统是要构建1套基于大数据云平台的集自动化、智能化为一体的会商系统,以提高会商效率。系统的实施建设由以下几个阶段组成(图2):第一阶段建立数据资源池平台,第二阶段在数据池基础上开发统一的平台接口,第三阶段建立支撑分析会商的基础模型算法信息库,第四阶段封装功能模块为积木式独立单元,第五阶段研发专家交互模式和自动流程定制模式的智能会商子系统。第一阶段数据资源池的建立因已在初步建设和实施,在此不作赘述,重点阐述第二至第五阶段。
接口是互访双方之间数据交互的一个标准,其实现包括2个步骤:接口定义和接口实现。
接口定义分3步:①交互机制设计(同步请求/应答方式、异步请求/应答方式、会话方式、广播通知方式、事件订阅方式、可靠消息传输方式、文件传输); ②接口技术选择(WebService、Scoket、消息中间件、文件方式、共享数据库等); ③接口定义格式(根据所选技术,实际情况用XML来定义即可)
接口实现,除实现总体设计上述平台服务和数据服务2大类接口功能外,还应考虑接口的非功能性因素:①高性能,支持高并发,大容量,速度快; ②健壮性,防止因大量数据,或大量占用资源导致系统不可用; ③可监控,随时看到接口的运行情况,便于及时发现错误并排除故障;
④可扩展,包含2个方面:一是可支持扩展新功能,二是并发增加时支持扩展新硬件。如读取数据库或大数据的接口,通用、专用计算接口、各种绘图接口,PPT、Excel、Word自动生成接口,这些接口既可被代码调用,也可生成程序独立运行。
基础支撑模型信息库包括异常信息库、前兆、测震方法库和人工智能模型库。
异常信息库包括测震异常信息库和前兆异常信息库。一方面需要从历年地震趋势会商报告中找到测震、前兆异常信息; 另一方面需要使用异常自动识别方法对数据进行再分析,补充地震趋势会商报告中没有提到的异常。
前兆、测震识别方法库可以读取数据资源池数据,通过后台异常计算程序,将数据异常按测项分量存入异常指标库。
人工智能模型库可以剔除不适用的传统分析方法、继承优化最新研究成果; 建设完备适用的数据分析方法资源库。其中,传统前兆类数据分析方法包括小波分析、周期分析、去趋势分析、拟合分析、回归分析、滤波分析等; 地震活动性分析方法包括波速比、条带空区、b值、视应力、H值等; 数据异常分析方法包括差分、台阶检测、第四统计力学等; 机器学习分析方法包括决策树、随机森林、逻辑回归、支持向量机、朴素贝叶斯、K最近邻算法、循环神经网络等。
通过平台接口可获得资源池数据,通过分析模型算法信息库可对数据进行分析操作,有了数据和分析操作,便可按需求进行功能划分,对数据和操作进行任意逻辑组合功能封装,功能模块化封装组合成一个个的小程序,诸多小程序可以组合成一个大程序,小程序和大程序皆可批量处
理; 也可通过可视化程序界面类似工具箱进行拖拽,按人机交互方式步骤一步步运行; 最终使其能形成像积木一样可被调用的独立运行单元,如图3所示,要完成某项功能时,直接通过指令按以下格式:“功能模块单元名+参数1+参数2+参数3+…+参数N” 调用即可完成。
(1)“云-网-端”一体化
要同时满足智能自动分析和专家交互分析模式相互兼容,可通过构建“云-网-端”一体化的方案解决,如图4所示,“云”为分析会商云端,是整个系统的核心; “网”为网站,是连接用户和云端的中间界面,可发布信息和传递结果; “端”为桌面客户端和手机端APP; 用户可通过手机或网站给云端发送操作指令,云端收到操作指令完成相应操作后,将结果返回手机或网站; 桌面客户端可在本地操作运行,也可将指令推送到云端执行,完成后返回计算结果。
(2)智能自动分析模式
有了功能齐全独立可运行的模块单元,要定制会商自动化流程,就更为简单,因每个功能模块对应一条指令就可完成,比如要完成日常周会商需调用8个功能模块单元,则在手机端APP或网站撰写8条指令的批处理文件,然后上传至云端,云端收到文件解译、执行便即可替用户完成该工作,并将结果返回。
(3)专家交互分析模式
专家交互模式主要通过研发桌面客户端实现,将平台接口和基础模型算法库集成至桌面客户端软件,并研发人机交互界面,供专家进行交互操作; 桌面客户端也可通过功能单元与云端定制自动化流程,在云端执行,并返回结果。
分析智能化主要通过深度学习技术实现,深度网络模型是该技术的核心,循环神经网络(Recurrent Neural Network,简称RNN)是一种节点定向连接成环的人工神经网络,非常适合地震时间序列数据进行预测分析的场景。
(4)算法与涉密数据处理
新一代地震分析会商系统在云端开源共享,以促进分析预报方法共同向前发展。涉密数据,仅允许用户在服务器云端进行分析处理,即数据可用不可取走,最后用户只能取走分析结果; 非涉密数据,可通过桌面客户端将其自动下载到本地。
通过剖析目前地震分析会商系统研究现状及存在的问题,提出了其未来发展的几点建议,并就建议的可行性,从总体设计到实施技术路线2方面进行分析阐述。
(1)顶层设计新一代地震分析会商系统,利用成熟的云平台资源池技术,建立统一的数据平台接口,打通数据流动通道,实现地震“数据资源化”的纵向贯通、横向融合,也为“大数据”思维提供了现实基础。
(2)构建灵活系统、分析方法、数据区域等自定义的全新用户体验模式,促进分析预报方法开源、共享、开放,为实现业务规范化打下了坚实基础。
(3)提出“云-网-端”一体化方案,为应用云端化,解决系统更新繁琐、模块固化、复用困难等问题提供新思路。
(4)采用循环神经网络的深度学习技术,优化完善分析会商技术方法,剔除预测效能低、适用性差的旧有算法; 建立“专家交互分析”和“智能自动分析”兼容系统模式,从而既可实现会商服务智能化又可提高会商效率。
地震分析会商系统是监测预报体系中的一个重要上层应用,技术上,其下层是以数据资源池、统一数据与中间件接口作支撑,中间层涉及与各类优化传统分析算法库以及人工智能算法库的对接; 功能上,既要满足分析人员规定会商动作的自动化、流程化定制,以减少用户大量重复工作强度; 又要兼顾符合专家参与的交互人工智能模式,以借力增强系统的“智力”。为此,在未来该系统的建设过程中,要处理好与之相关层级的边界关系,还应考虑与地震信息标准化体系、安全体系结合来提高系统的规范和安全性,以便使其融入整个地震信息化的顶层设计中,这样才能更好地发挥新一代地震分析会商系统的重要作用,为我国地震预报事业向前发展注入新动力。
本文撰写过程中,得到中国地震台网中心王方建研究员、彭克银研究员的热心解答和帮助,同时也得到中国地震局信息化工作组专家的支持; 技术方案获得了南京云创公司地震事业部成员的帮助,向他们表示忠心的感谢!