远程数据同步的设计与实现

中国论文网 发表于2022-11-15 01:31:02 归属于通信学论文 本文已影响455 我要投稿 手机版

       中国论文网为大家解读本文的相关内容:          

摘 要:远程数据同步软件实现了国外多种网络条件下录井现场数据的自动同步,建立无人值守的高适应性远程异地数据分发、备份系统。软件的成功研发应用,为油田增产创效提供有力的技术支撑。

关键词:远程数据同步; 实时性 适应性; 无人值守

0引言
  近年来,胜利油田地质录井公司远程信息传输在国外十个国家成功实施了技术服务。随着现场数据应用的深化,数据传输服务要求数据异地分发。同时,数据远程备份也是提高信息传输效率与质量的重要途径。因此,实现远程数据实时同步是对外提供信息传输服务的迫切需要。另外,信息传输服务区域网络环境各异,带宽、稳定性各不相同,接入方式多样化,网络限制方法复杂化。为了适应特殊的网络环境,远程数据实时同步需要兼容常用的数据传输协议,从而适应不同的传输网络条件。
1.远程数据同步需求分析
  远程数据同步软件需要实现国外多种网络条件下录井现场数据的自动同步,建立无人值守的高适应性远程异地数据分发、备份系统。
1.1软件运行环境
  信息传输服务市场信息传输的网路环境具有多样性和复杂性,传输网络有局域网代理转发、IP映射、ADSL拨号连接等多种接入方式,网络限制有硬件网闸、路由器限制、专门网络安全软件系统等多种方法。有的服务区域网络极差,比如缅甸市场网络是通过代理转发进行数据通讯,网络限制有硬件网闸和一套网络安全系统。互联网访问没有静态互联网IP地址,采用无线路由器组成小局域网。
  因此,软件架构必须进行多方面的考虑及设计,要充分考虑软件适应性的问题,软件系统在无人值守状态下自动运行,能够适应各种网络环境,遇到异常具备一定的自动处理能力。
1.2主要功能需求
  远程数据同步软件的研发基于现用中心数据库和信息传输平台,按照数据同步的要求,结合信息传输平台的实际运行环境现状,主要功能需求如下:(1)实现现有的资料库、实时数据库和国内外异地数据库的实时安全稳定同步。(2)能适应恶劣的网络环境,实现http、https、tcp/ip、自定义协议 (Socks5) 的数据传输。(3)实现软件自动启动、运行。(4)实现软件及数据加密传输,保证数据安全。(5)客户端软件的自动升级更新。
2.软件设计与实现
2.1软件总体结构
  整个系统采用客户端/服务器模式和浏览器/服务器模式融合应用结构,主要包括数据同步发送软件、数据同步接收、网络管理系统三个部分。
 图2-1 系统总体结构图
  数据同步发送软件将需要同步的差异数据读取出来,并进行相应的处理,采用合适的协议进行数据发送。数据同步接收软件负责将接收到的数据进行恢复还原,写入目的数据库。网络管理系统进行用户管理、同步数据内容设置、井号管理、甲方单位管理等基础管理功能。
2.2数据同步发送
  数据同步软件在服务端运行,网络条件较好,主要任务是将需要同步的数据内容实时、安全、高效的发送出去。
  软件采用多线程,在同步实时数据的同时同步地质数据,实时数据首先同步最新的数据,在空余时间穿插补历史数据。同步内容按照实时数据和地质资料各自的特点,采用不同算法,实时数据按照时间关键字比对,地质数据按照时间戳(TID)比对。将差异数据经过对象化、分割、压缩、加密一系列的处理后采用PUSH技术实时推送。
2.3数据同步接收
  数据同步接收运行在客户端,网络条件复杂,主要任务是采用合适的数据传输协议与服务器端实现通讯,把接收到的数据准确、高效写入数据库。
  软件根据网络情况,进行数据传输协议与端口的选择设置,利用该协议和端口与发送端建立通讯。然后将数据库的实时数据时间关键字和地质数据TID提交给发送端,发送端将侦听到的数据,经过解密、解压缩、反序列化、文件合并等处理后再转换成数据库对象,写入数据库。
2.4网络管理系统
  网络管理系统运行于服务器端,用于用户管理及同步数据内容设置。鉴于对外服务区域存在时差,为了便于随时随地能够对数据同步用户进行管理、数据同步内容进行设定,系统设计成B/S模式,并且在网络上发布。
  系统设计了小型access数据库,用于用户管理、井管理、数据表管理。系统考虑到新开钻的井时间不确定性,非工作时间系统维护不及时,系统按照甲方单位将新井自动加入该甲方单位所属用户,从另一个角度保证数据同步的实时性。
3.创新点及应用效果分析
3.1创新点
  在系统的设计里,将信息技术与录井服务紧密结合,解决了录井过程中面临的实际问题。系统的设计与实现主要有以下创新点。
  (1)协议自动切换
  在程序设计及实现过程中,考虑到数据传输效率和软件无人值守的运行现状,软件保证传输的前提下尽可能采用高效协议传输。对于正常传输过程中出现传输异常,经过一定尝试连接次数后,软件自动停止正在使用的传输协议,启用其他协议。传输协议的自动切换保证了数据传输的持续可靠性。
  (2)自启动的Windows服务封装
  Windows服务在计算机启动时自动启动,任何时候不影响在同一台计算机上工作的其他用户,长时间运行,还可以在不同于登录用户的特定用户帐户或默认计算机帐户的安全上下文中运行服务。而数据同步软件使用实际需要是这种长时间自动运行。
3.2应用效果
  系统研发完成后,于2010年9月开始运用于也门、加蓬的数据同步,累计完成了72口井的数据同步,数据正确无误,实时性好,应用效果良好。取得的主要成果如下:
  (1)实现了国外受限网络条件下数据的自动同步,建立了无人值守的高适应性的异地数据分发、备份软件系统。
  (2)软件的成功研发,实现了国外受限网络条件下现场数据访问的本地化,提高了数据传输系统的访问效率。
  (3)软件实现了不同客户端同步不同的数据内容,数据的异地实时备份,传输过程进行了数据加密,提高了数据的安全性,更好的满足国外市场的应用。
4.结束语
  远程数据同步软件把现场数据库中的数据自动同步到异地,保障了本地化使用现场数据的实时性、适应性和可靠性。软件的成功应用,满足了多方应用需求,拓展了胜利录井信息传输的服务范围。随着胜利油田海外市场勘探开发工作量的增加,软件系统将有更大的应用空间,为油田增产创效提供有力的技术支撑。
  
参考文献
[1] 张立科,数据库开发技术与工程实践,人民邮电出版社,2004.
[2] (美)David Flanagan,吴益华、陈志远(译),Java技术手册,北京:中国电力出版社,2002.
[3] (美)Andrew aum,潘爱民(译),计算机网络(第4版),清华大学出版社,2004.8.

杨德勇,(1961-)男,四川南充人,工程师 研究方向:现从事录井信息化管理与研究工作。


1

  中国论文网(www.lunwen.net.cn)免费学术期刊论文发表,目录,论文查重入口,本科毕业论文怎么写,职称论文范文,论文摘要,论文文献资料,毕业论文格式,论文检测降重服务。

返回通信学论文列表
展开剩余(