基金项目:地震行业科研专项(201108010)资助.
(1.广东省地震局,广东 广州 510070; 2.中国地震局地震监测与减灾技术重点实验室,广东 广州 510070; 3.广东省地震预警与重大工程安全诊断重点实验室(筹),广东 广州 510070)
(1. Earthquake Administration of Guangdong Province,Guangzhou 510070,Guangdong,China)(2. Key Laboratory of Earthquake Monitoring and Disaster Mitigation Technology,CEA,Guangzhou 510070,Guangdong,China)(3. Key Laboratory of Guangdong Province Earthquake Ea
intelligent DNS resolution; CDN; cache technology; whole site acceleration
备注
基金项目:地震行业科研专项(201108010)资助.
在对CDN原理和广东省地震信息网配置情况进行深入分析的基础上,结合智能DNS解析和内容缓存技术,实现了广东省地震信息网CDN全站加速的架构,并对该系统应用前后网站访问速度进行测试。结果 表明该方案大幅提升了网站的访问速度和负载能力。最后,结合河源4.8级地震对网站的访问情况进行了统计分析,从网站流量统计、访问概况及WEB服务器负载3个方面进一步验证了系统的可靠性和实用性。
Based on in-depth analyzing principle of Content Delivery Network(CDN)technology and figuration of Guangdong Seismic Information Network(GSIN),we build the acceleration architecture of whole site in CDN for GSIN by techniques of intelligent DNS resolution and content cache. Through the speeds test of access to the web site before and after the application of the system,and the test results show that it significantly improved the speed of access to the site and site load capacity. Finally,we make a statistical analysis of access to the GSIN combined with Heyuan M4.8 earthquake,which verify the rialable and realize of system from the three aspects such as traffic statistics,access overview and load of website server.
引言
目前,广东省地震信息网采用电信专线接入,由于各网络运营商之间相互连接的可用带宽较小,非电信接入用户访问广东省地震信息网的速度较慢,且在省内发生有感地震等突发事件引发网站访问量激增的情况下,容易造成网站源服务器负载过大而停止响应用户的请求,从而影响对外的实时地震信息服务。日本“3·11”大地震后,公众对即时地震信息的需求快速增加,如何利用已有的资源又好又快地为公众提供即时的地震信息已经成为急需解决的问题。传统的双域名服务器镜像解决方案,存在着需要IP资源多、镜像同步管理难、域名较多、不易于推广使用等问题。鉴于以上方案的不足,笔者提出一种采用智能DNS解析加内容缓存技术的广东省地震信息网CDN全站加速解决方案,充分利用已有的资源配置来解决网站的访问瓶颈。
1 CDN技术概述
内容分发网络(Content Delivery Network,简称CDN)(Pallis,Vakali,2006; Hofmann,Beaumont,2005; 徐锐,2008),其目的是通过在现有的Internet中增加一层新的网络架构,将网站的内容发布到最接近用户的网络“边缘”,使用户可以就近获得所需的内容,从而改变Internet网络拥挤的状况,减少用户访问网站的响应时间,从技术上全面解决由于网络带宽小、用户访问量大、网点分布不均匀等原因所造成的用户访问网站响应时间长的问题。
一个最基本的CDN系统主要由以下2部分构成:
(1)智能DNS解析系统
普通的DNS服务器只承担为用户解析出域名所对应的IP记录,而不判定用户所在位置,这样会造成所有访问用户都只能解析到一个固定的IP地址上,从而造成网站源服务器负载较大,影响网站的访问速度。智能DNS系统颠覆了这个概念,该系统会自动判定用户的位置,从而进行一系列的智能化处理,然后就近指定相应的IP返回给用户。
例如访问者是电信用户,智能DNS解析系统会就近将域名对应的电信IP地址解析给这个访问用户。如果访问者是移动用户,则就近返回域名对应的移动IP地址给访问用户,减少了网站的响应时间。
(2)内容缓存服务器
内容缓存服务器承担了对网站源服务器的静态页面和部分动态页面的请求,减轻了网站源服务器的负载压力。它位于本地源服务器和因特网之间,处理所有对网站源服务器的请求,组织了网站源服务器和因特网的直接通信。如果网络用户请求的页面在缓存服务器上有缓存,缓存服务器直接将缓存内容发送给用户。如果没有缓存则先返回源服务器获取数据,本地缓存后再发送给用户。这种方式有效的减少了向网站源服务器的请求数,从而降低了网站源服务器的负载,提高了网站的访问速度。CDN系统的工作流程如图1所示。
2 广东省地震信息网CDN全站加速系统架构设计
根据现有的信息需求,采用CDN全站加速(WSA)方案(彭湘凯,2005; 何波,2001; 谢冬松,2006)对广东省地震信息网进行加速,将网站的静态内容长期缓存在边缘节点上,使访问者可以就近获取所需的内容,而动态内容因其具有不可缓存、内容敏感度高、容易受到攻击等特点,则通过网络路由优化、私有传输协议、数据压缩防攻击等优化技术来实现用户与源服务器快速的应用交互(熊明等,2005; 赵问道,2004; 牛从达,王峰,2004)。
智能DNS解析系统架构如图2所示,其具有以下3个特点:
(1)系统能够为网站的访问者精准定位,细化粒度达到同一省份各个区域,根据最佳策略进行调度,为各个地区的访问者寻找最优节点,保证最优访问效果,提高整体访问质量;
(2)系统以网络及设备状况的实时检测数据作为判断依据,而非静态数据,具有及时、准确的特点,通过对各分布式节点监控数据的实时采集及集中预警的方式,避免了错报、漏报的现象;
(3)系统能够在节点或网络发生故障时自动采取措施,在2~5 min内完成最佳的调整方案,规避网络故障和波动,避免人工操作带来的风险和延时。
当用户访问广东省地震信息网时,智能DNS解析系统根据用户的IP就近指定相应的边缘服务节点来响应用户的请求,以达到分担用户的请求压力的效果,从而减轻网站源服务器的负载。
3 广东省地震信息网CDN全站加速系统的实现
根据HTTPWATCH抓包软件对广东地震信息网进行数据分析(图3),可以发现ASP文件类型约占网站数据的10%,HTML、CSS、JS文件类型约占网站数据的10%,GIF、JPG文件类型约占
由于智能DNS解析系统是根据用户的接入点来就近指定相应的边缘节点响应用户请求,因此边缘节点的数量以及整体性能对于提升网站的响应速度就显得十分重要。本文所采用的CDN全站加速系统在广东省内边缘节点分布较为广泛,节点所属的网络运营商也涵盖了5大网络运营商且均匀分布,同时边缘节点通过负载均衡服务器对子缓存服务器进行了有效的负载均衡处理,能够在网站访问量激增时快速响应用户请求,为用户提供即时的地震信息。
CDN全站加速系统在按照图2所示的架构配置完成后,还需进行相应的功能测试,检查网站的访问是否正常,内容是否正确等。通过设置本地机器hosts文件(文件目录为:C:\WINDOWS\system32\drivers\etc\),添加域名与IP的映射,跳过DNS解析步骤,使本地机器直接访问边缘节点。添加完成后通过ping命令来验证host设定是否生效。
测试完成后,如果网站访问正常,即可按照指定的CNAME记录进行别名切换操作,如果有A记录,还需在新增对应域名的CNAME记录后删除A记录。至此,广东省地震信息网的全站加速系统部署完成。
4 CDN全站加速系统测试结果与分析
广东省地震信息网的全站加速系统采用国际上著名的网站性能检测服务商Gomez进行加速前后的对比测试。未加速前测试时间为一天,测试频率为每小时一次,加速后也采用同样的测试方式。Gomez记录的网站加速前后的Lastmile测试(Lastmile测试指模拟最终用户访问进行的测试)总体性能如图4、图5所示。
对比图4和图5可以得出,加速后网站的访问速度明显提升。通过表1可以得出,加速后网站的平均响应时间较加速前减少了66.5%,访问成功率较加速前提升了17.3%。因测试区域选定为全国,在省外节点分布较疏的地区由于网络故障等因素会出现数据丢包的情况,从而在一定程度上影响网站访问的成功率。另外,通过对加速后网站的访问概况统计图进行分析(图6),可以得出只有34.89%的动态数据需要回源服务器进行实时响应,边缘节点有效地分流了源服务器的请求数,使得网站已有的30 MB带宽即可满足突发访问量的带宽需求。
图4 加速前Lastmile测试总体性能图
Fig.4 Overall performance diagram of Lastmile test before the acceleration of Guangdong Earthquake Information Network图5 加速后Lastmile测试总体性能图
Fig.5 Overall performance diagram of Lastmile test after the acceleration of Guangdong Earthquake Information Network表1 加速前后Lastmile测试结果对比
Tab.1 Comparison of Lastmile test results before and after the acceleration of the system5 案例分析
2012年2月16日2时34分,广东省河源市东源县发生4.8级地震,地震发生后,广东省地震信息网实时发布相关地震信息,网站访问数也随之不断攀升,全天累计请求数超过十万人次。CDN全站加速系统在负载激增的情况下,及时通过其庞大的边缘节点就近响应用户的请求,有效地分担了请求压力,极大程度上减轻了源服务器的负载,使得对外地震信息服务始终保持畅通。
5.1 网站流量统计分析通过对网站全天访问量流量类型以及用户所使用的ISP类型进行统计分析,可以得出,边缘节点承担了大部分的流量,占总流量的85%,仅有15%的流量指向服务器(图7); 用户所使用的ISP中中国电信居多,约占66.21%,其次是中国联通,约占20.1%(表2)。
5.2 网站访问概况通过对网站全天请求数进行统计分析(图8),可以得出,边缘节点请求数占总请求数的87.72%,回源的请求数仅占12.28%,边缘节点承担了大部分用户的请求压力。分时段对网站请求数进行分析可以得出,网站请求数峰值出现在12时至13时时间段内,累计总请求数为100 885; 对请求数按区域进行统计可以得出(表3),省内用户的请求数占92.75%,其中广州的请求数最多,占省内用户请求数的58.94%,其次是河源,占22.00%。
5.3 WEB服务器负载情况分析通过对WEB服务器CPU、内存以及带宽等使用率的实时监控数据进行分析(表4),可以得出,WEB服务器的CPU最大使用率仅为11%,温度最高为46°,内存最大使用率为27%,带宽使用率也维持在较低水平,整体性能始终保持稳定。
图8 2月16日全天网站请求数按时间段统计图
Fig.3 Statistical charts of the site request number on Feb.16 all day long by the time6 结语
结合CDN技术对广东省地震信息网进行全站加速,提升了网站的访问速度和负载能力,为公众提供即时稳定的地震信息服务。网站采用CDN全站加速后主要解决了以下5方面的突出问题:
(1)当省内发生有感地震导致网站访问量激增时,网站源服务器的负载被有效地分流到各个边缘节点,从而消除了源服务器负载过大而导致服务中断的影响。
(2)极大地缓解了不同网络运营商之间互联的瓶颈造成网站访问较慢的影响,提高了非电信用户对网站的访问速度。
(3)采用多源部署策略、离线工作模式等,避免单点故障导致网站无法正常服务。
(4)网站源服务器没有直接暴露在公网,减少了被攻击的风险,采用了源站保护、防盗链、防篡改、防d.d.o.s攻击和DNS安全保护等多种技术(刘云华等,2011),提高了系统的安全性。
(5)系统提供完整的访问日志,便于管理员分析访问者行为,并可实现统计报表的输出。本文所阐述的方案以网站点击数进行计费,计费单位为百万次,通过对网站带宽使用情况和访问量进行综合分析,采用基础配置(应对一般的访问需求)加预备配置(应对震时激增的访问需求)的方式即可确保网站的稳定运行,整体投入不大,实用性较高,便于在行业内部应用。该方案自2011年8月12日部署于广东省地震信息网以来,确保了多次地震信息发布工作以及网络知识竞赛等活动的顺利进行,达到了预期的效果。
- 何波.2001.CDS技术及其应用[J].电信技术,(11):7-8.
- 刘云华,六治,单新建,等.2011.地震信息网自适应网络安全技术模型研究[J].地震研究,34(1):97-99.
- 牛从达,王峰.2004.VPN技术及其在地震信息广域网建设中的运用[J].地震研究,27(4):380-383.
- 彭湘凯.2005.CDN 网络及其应用[J].微计算机信息,(2):150-151.
- 谢冬松.2006.关于应用CDN技术改善远程教育网络服务的探讨[J].教育信息化,(1):76-77.
- 熊明,赵政,赵怿娃.2005.城域网上CDN技术的应用[J].计算机应用,25(1):196-198.
- 徐悦.2008.构建大型CDN网络的关键技术研究[D].北京:北京邮电大学.
- 赵问道.2004.基于网络拓扑的CDN内容路由技术研究[J].浙江大学学报,38(4):414-419.
- Hofmann M,Beaumont L R.2005.Content networking:architecture,protocols,and practice[M].San Francisco,CA,USA:Morgan Kau-fmann Publishers.
- Pallis G,Vakali A.2006.Insight and perspectives for content delivery networks[J].Commun ACM,49(1):101-106.