(云南省地震局,云南 昆明 650224)
(Yunnan Earthquake Agency,Kunming 650224,Yunnan,China)
备注
采用4G方式将2017年云南省小江断裂带新建20个测震观测点的观测数据传输至区域中心机房服务器,进行汇集分析。通过虚拟专用网解决4G数据传输,利用Hyper-V虚拟机安装FreeBSD系统,以JOPENS软件实现测震波形数据汇集,并采用基于ISCSI技术的NAS存储系统实现测震波形文件存储。
20 seismographic observation stations were newly built along Xiaojiang fault zone of Yunnan Province in 2017,and the seismic observation data are transmitted to the provincial regional center computer room by 4G wireless network for collection analysis.In this paper,we discuss the problems about the collection of 4G transmission data by Virtual Private Network(VPN),and the application of virtualization technology in seismic data collection,and to collect the seismic data by JOPENS6.0 software which is running on FreeBSD 11.1 operation system in Hyper-V virtual machine.Finally,seismic waveform files have saved in NAS storage based on ISCSI technology.
引言
目前,云南省地震局的测震波形数据普遍采用物理服务器安装JOPENS软件(吴永权,黄文辉,2010)进行汇集,这种方式是通过有线专线传输,将数据存储在本地服务器,定期将波形文件备份至存储设备,适用于较多台网数据的传输和存储。在有大规模台网数据需要传输和存储时,中国地震局台网中心为满足测震波形数据管理的业务需求,选取基于Hadoop大数据技术的分布式文件系统HDFS和分布式计算Spark架构进行数据的存储和计算研究(郭凯等,2017)。在小规模观测项目或实验项目中,部分测震台通过4G方式传输数据,部分无人值守台站通过定期人工读取数采存储卡方式提取数据。因此,在保障数据及时性、有效性、安全性上还存在不足,尤其是在数据的远程传输、数据汇集所需设备等方面。吴叔坤等(2006)研究广东数字地震遥测台网数据传输的各种方寸,总结得出IP/VPN传输具有无丢数误码、断点续传、经济实惠、安全可靠等特点。
Hyper-V是一款兼顾了安全性和性能要求的虚拟化产品。数据采用4G方式传回区域中心服务器,通过VPN专线进入云南省地震行业网,挂载NAS存储回传数据(阳小珊等,2012)。此方法适用于小规模台网数据采集,可应用在实验观测项目中。本文主要探索服务器虚拟主机安装FreeBSD系统(冉慧敏,史勇军,2011)的波形数据文件汇集,以节约服务器设备资源、保障数据安全性,为测震数据传输、存储等提供技术参考。
1 研究方法及思路
2017年,云南省地震局在小江断裂带附近新建20个测震观测点,在对其数据完成汇集和存储时需要解决2个技术问题:其一,区域中心数据接收虚拟服务器在行业专网内,与4G无线路由之间跨越2个独立网络,因此需通过VPN方式建立2网之间的安全隧道以解决网络连接问题; 其二,在服务器资源及存储资源有限的情况下,利用服务器虚拟化技术共享服务器资源,同时使用NAS存储系统解决数据存储问题。
首先在区域中心做测试,将测震仪器数采与路由器连接,建立4G无线路由与VPN之间的安全隧道并测试网络连通,后配置虚拟机和安装FreeBSD系统和Jopens软件(冉慧敏,史勇军,2011),并做好软件与仪器数采配置,保证数据能传输到虚拟服务器,最后配置NAS与FreeBSD系统之间的网络连接,通过ISCSI挂载到系统分区中,修改Jopens数据存储路径到NAS设备,实现测震波形数据的非本地存储(图1)。
2 测震数据传输与接收
本文涉及的远程数据传输是采用“四信”4G无线路由器做链路信道,测震仪器数采设备通过网线连接路由器,配置好路由器的IP地址映射,同时需开启路由器远程连接属性,方便后期登陆进行维护。路由器配置完成后需配置VPN专线路由器,将信道运营商私有地址通过VPN专线接入到云南省地震局行业专网。配置完成后,可在行业专网直接访问无线路由器和测震仪器数采设备WEB控制页面,远程调整数采各项参数(图2)。
在区域中心服务器上配置Hyper-V虚拟机,此虚拟机仅支持Windows Server 2008 R2及以上服务器操作系统。配置时需注意,Hyper-V服务端默认不支持FreeBSD网卡,在虚拟机客户端需选择旧版本网卡,在虚拟机资源分配时根据观测点数量进行配置,本次架设20个测震观测点,需2核以上CPU,5 G以上内存,50 G以上硬盘。
2.1 FreeBSD系统部署注意事项本次数据接收服务器部署FreeBSD 11.1操作系统,选择最小化安装,按系统默认分区方式划分分区表,安装完成后进行网络配置,确保系统连通测震仪器数采设备。最后进行SSH配置,允许远程SSH连接,方便后续远程操作使用。
3 测震数据存储
本次应用将数据存储位置设为独立NAS,也可使用专业存储设备进行存放。
3.1 配置NAS服务端获取ISCSI target信息首先配置NAS空间,NAS需接入到与主机相同网段,通过浏览器进行访问,建立ISCSI存储空间(图3),并获取ISCSI target信息(图4)。
3.2 FreeBSD系统客户端配置在FreeBSD系统配置ISCSI客户端连接信息,如没有安装ISCSI程序需要进行下载安装,输入make install clean自动下载安装,安装完成后编辑/etc/rc.conf文件指定配置文件。
将NAS端获取的ISCSI target信息写到/etc/iscsi.conf文件,创建ISCSI客户端连接信息,添加如下内容:
target0 { # nickname
targetaddress=10.53.208.234 —NAS存储IP
TargetName=iqn.2017-09.com.thecus.n4810:iscsi.ynfzx.raid0
}
同时编辑/boot/loader.conf文件,开启ISCSI连接并制定配置文件存放位置,需添加如下内容:
iscsi_initiator_load=”YES”
iscsi target config=“/usr/local/etc/iscsi/targets”
配置完成后执行命令kldload iscsi_initiator,启动iscsi_initiator内核,输入命令建立连接iscontrol-t10.53.208.234-n target0(图5),查看/var/log/message 记录da1是否已连接。最后格式化新连接的分区 newfs/dev/da1。
3.3 挂载ISCSI分区到FreeBSD系统实现数据存储挂载da1分区到AWS模块数据库存储目录,需用户自行创建该目录并赋权。
# mount/dev/da1 /usr/home/tank
查看是否连接成功 df -h,会发现多出了一个da1分区并挂载到/usr/home/tank目录。
最后用命令在FreeBSD系统根目录下创建/online 目录并赋权,在挂载存储的tank目录下建立一个符号链接文件online到内存磁盘。
#ln-sf/online/usr/home/tank/online —连接到存储目录
进入到服务端JOPENS管理页面,配置AWS模块存储路径(图6),修改为挂载的ISCSI路径/usr/home/tank,保存后重启wildfly服务。
最后查看波形文件是否写入到NAS存储中(图7)。
4 结论
本文总结了利用Hyper-V虚拟化技术安装FreeBSD系统运行JOPENS6.0软件实现4G无线测震波形数据汇集的方法,基于ISCIS技术实现了测震波形文件在NAS存储系统上的汇集,结论如下:
(1)将各类应用部署在虚拟主机上,利用虚拟机自身的容错机制,可提升应用的稳定性。在分配虚拟机资源时,可根据应用的资源消耗灵活进行分配,也可按应用实际使用资源进行后期调整。
(2)无线数据传输可作为无人值守台站、流动观测台、实验仪器数据接收等非常规的数据汇集使用。本文对利用VPN技术解决4G无线接入行业内网的方法进行了实践。
(3)NAS具有网络存储方式简单、设备体量较小、便于数据移动等特点,要根据实际情况来选择最优化的方式。以NAS方式存储测震波形数据并不是最优化的方式,推荐还是存放于服务器本地硬盘,定期做数据的导出和删除工作。本文主要是以节约资源为主,为资源紧张的实验项目、小台网等提出一种解决方式。
(4)本次台站建设于2018年1月正式运行,在系统运行期间数据接收连续率为98%,网络连接最大延迟约700 ms(台站物理位置4G信号影响),运行至今接收连续波形数据量600 G左右。系统整体运行状态良好,完全能够满足小台网、实验项目等场景应用。
- 郭凯,黄金刚,彭克银,等.2017.大数据技术在海量测震数据中的研究应用[J].地震研究,40(2):317-323.
- 冉慧敏,史勇军.2011.新疆地震台网应用JOPENS系统调试服务器出现的问题初探[J].内陆地震,25(2):172-177.
- 吴叔坤,林伟,吕金水,等.2006.IP/VPN准实时传输地震波形数据的质量分析和效益评价[J].华南地震,26(2):98-105.
- 吴永权,黄文辉.2010.数据处理系统软件JOPENS的架构设计与实现[J].地震地磁观测与研究,31(6):59-63.
- 阳小珊,邱全伟,郑良,等.2012.NAS存储系统性能测评方法研究[J].计算机研究与发展,49(S1):346-351.