如图2所示,数据文件的传输涉及到3台服务器间的文件同步问题,分别是应用程序服务器与原始数据服务器间、“十五”管理系统服务器与应用程序服务器间的数据通讯。文件同步是数据转换软件获得即时输入文件、生成输出文件并及时入库的前提。

鉴于服务器的操作系统各异(原始数据服务器和应用程序服务器均为Windows,前兆数据管理系统服务器是Suse Linux),因此考虑使用Rsync作为服务器间文件同步的工具。Linux操作系统中自动集成了Rsync,而在Windows平台上则部署cwRsync软件来实现服务器之间的数据文件同步。

研究工作的主要环节为将非标数据格式转换为“十五”前兆数据管理系统兼容的标准数据格式,考虑到软件的灵活性和扩展性,数据转换软件应具备以下几个特征:

(1)数据转换软件的运行只与逻辑流程有关,和需要转换的数据及其格式无关;

(2)软件可以适应需要转换的数据类型的增加、删除、修改等变更操作;

(3)数据格式转换算法与软件的编译运行相互独立,算法不会影响软件运行的稳定性。

图3显示了转换软件在应用程序服务器中的工作流程,该工作流程以上述特征为设计前提,其中数据转换算法由用户根据原始数据和标准数据的格式设计,以函数的形式组织编写。数据转换软件具有编译数据转换算法和执行数据转换两个

图3 数据转换方案工作流程图
Fig.3 The working flow chart of data transformation scheme

考虑到文件传输的安全性,上述流程中的数据监听、数据分拣和数据上传模块均由数据文件同步完成。

在具体实施中引入动态编译技术以实现转换流程所要求的3个特征。动态编译技术允许在程序运行时加入额外的编译信息以完成特定功能(崔慧敏等,2004),其优点在于减少了程序主体的体积,并且增强了程序的可扩展性; 但另一方面,该技术也增加了程序框架的逻辑复杂度,使系统运行效能有所降低,并且对程序的内存管理提出较高要求。

程序框架采用Microsoft Visual Studio的.Net Framework开发平台完成,.Net在System.CodeDom.Compiler命名空间中封装了各种支持指定编程语言源代码的生成和编译管理的类与接口,这些类与接口提供了实现动态编译功能的方法。数据转换软件的动态编译与执行的运行框架如图4所示。程序在运行时,首先检测转换算法是否存在变更,如果存在变更,则利用编译模块将以文件形式存在的数据转换算法动态编译为动态链接库(dll)文件; 之后程序的执行模块将dll文件加载到新开辟的应用程序域中,利用反射机制,远程调用dll

图4 动态编译与执行的运行框架
Fig.4 The operating framework of dynamic compilation and execution

动态编译与执行的运行框架提供了程序中算法编译和数据转换模块的运行逻辑,其具体步骤如下:

(1)构建数据转换代码。获取所有数据转换算法的代码,生成包含完整命名空间以及转换算法类的代码文件。

(2)编译代码文件。.Net的CSharpCodeProvider类提供动态编译功能,利用该类的CompileAssemblyFromSource方法编译第1步得到的代码文件,生成唯一的转换算法类的动态链接库,保存到程序指定目录。

(3)创建远程访问类和跨程序应用域调用的接口。新建继承于远程访问类MarshalByRefObject的子类RemoteInvoker,实现其创建远程访问程序应用域的功能; 新建接口IRemoteInf,实现其跨应用程序域调用方法,用于执行指定的算法函数。

(4)开辟新的应用程序域。利用AppDomain类的CreateDomain方法生成一个新的可管理的应用程序域appDom,以下的步骤皆在此空间中运行。

(5)加载数据转换代码。利用应用程序域类AppDomain的方法CreateInstance的创建RemoteInvoker的一个实例,并加载转换算法的动态链接库。

(6)调用数据转换功能。利用第5步的实例,实现接口IRemoteInf调用函数的功能,完成数据转换。该步骤使用反射机制,从当前应用程序域远程调用appDom域中的相关功能。

在上述步骤中,第1、2步只在新建或者更新数据转换算法时执行; 第3、4步的作用为在主程序应用域之外创建新的应用域空间,用于管理内存中动态执行的数据转换功能,并为主程序提供了跨程序域调用的方法; 第5、6步在执行转换时将生成的动态链接库加载到内存中的指定应用程序域中,利用反射调用需要的转换方法。结合图3可以看出,转换算法是以类似于插件的形式参与到程序的运行中的,更新、增加算法只需要对动态链接库文件进行相关操作即可,无需改动程序,保证了算法和转换程序之间的独立性。

具体编码实现如下:

//创建编译参数实例,加载引用、设置动态链接库输出路径,arithmeticName代表算法名称

CSharpCodeProvider objCompPara=new CSharpCodeProvider();

objCompPara.ReferencedAssemblies.Add

("System.dll");

objCompParaOutputAssembly= "arithmetic

Name.dll";

//创建CSharpCodePrivoder对象cp,sourceCode为代码文件(实现步骤2)

CSharpCodeProvider cp=new CSharpCodeProvider();

cp.CompileAssemblyFromSource(objCompPara,sourceCode);

//创建应用程序域(实现步骤4),名称为DataTransformation

AppDomain appDom=AppDomain.CreateDomain("DataTransformation",null,objSetup);

//创建远程访问类对象ri,RemoteInvoker继承自MarshalByRefObject(实现步骤5)

RemoteInvoker ri=( RemoteInvoker )appDom. CreateInstance("RemoteInvoke ", "RemoteInvoke. RemoteInvoker ").Unwrap();

//加载动态链接库,加载转换算法类(实现步骤5)

object obj =ri.Create("arithmeticName.dll", " DynComp.DataTransformation ",null);

//调用转换算法(实现步骤6),objArithmeticParams为算法所需的输入参数

IRemoteInf iri=(IRemoteInf)obj;

iri.Invoke( "arithmeticName ",objArithmetic Params);