加入收藏 |  设为首页 |  联系我们 您好,欢迎来到甘肃省资源环境科学数据工程技术研究中心!
运行状态
联系方式
  • 联系人:康建芳 敏玉芳
  • 联系电话:0931-4967597
  • 电子邮件:kangjf@lzb.ac.cn
  • 传真号码:0931-4967598
  • 地址:兰州市东岗西路320号
 学术研究
科学数据管理系统的系统元数据、磁盘一致性与异构环境数据同步研究
更新时间:2015-12-15  |  点击次数:795次

    项目来源于特殊环境、特殊功能观察研究台站体系项目,该项目建成以国家特殊环境数据中心和各台站数据库为节点的分布式特殊环境野外台站信息网络综合中心。考虑到特殊环境野外台站数据平台的扩展性和持续发展,必须保证数据管理系统的一致性,因此在数据平台中提出了系统元数据的概念。系统元数据主要是对数据库管理系统中一些关键参数进行设定的功能,如:台站编码、数据存放目录等,它区别于数据的元数据。系统元数据是用来设定一些系统运行所需的参数。为了便于管理员高效、方便的对这些关键参数进行修改,保证了系统存储过程,迁移过程的安全性和唯一性。数据从一个环境转储到另一个存储环境,用户并不知道数据的迁移,所以设定系统元数据来规范迁移过程和管理迁移数据的安全性和唯一性。

为了解决非关系型文件在存储的过程中因产生空间不足、物理位置的移动等情况出现的问题,提出了磁盘一致性作为解决方案。将原始的存储文件的方式进行了改变,使原来的指定目录上传且不能改变路径,上传后文件不能移动的方式,改变为可以随时改变上传的目录位置,提供各种上传方式,不受限制。这一功能是通过系统元数据中定义的变量做载体来实现的。将非关系目录存在一个变量中,为了今后的目录能够方便灵活的更改、转移,我们将变量进行了二次存储,使用了两条系统元数据实现了这个功能。

针对国家特殊环境与灾害数据平台中存在的台站分散、数据管理环境异构现状,如何实现各台站的数据向数据平台中心的同步是在实现数据管理方面必须解决的问题。建立异构环境的数据同步的目的,一方面是为了将各野外台站服务器上最新的数据,安全、及时和自动的传送到数据中心服务器上,完成资源的融合和整体管理,同时,将相应数据的授权数据信息同步到数据中心,使得用户可以在中心继承台站管理员设定的数据访问权限、台站数据更新目录、台站数据更新内容,使得用户在中心可访问台站管理员设定的数据资源内容;另一方面是将将数据平台中所有与台站有关的用户信息、台站数据目录、台站数据内容,安全自动的传送到各台站的数据服务器中,使得台站的从中心提交的与台站有关的数据资源等信息,能够同步到台站数据服务器中,使得台站和中心整体平台形如一体,任何台站中已注册的用户,都可以在整个数据平台中登陆查看数据。项目中采用 Rsync 作为同步工具,结合 SSH 文件传输协议,实现了异构环境下的数据同步。

 

首页 |  中心概况  |  科技成果  |  研发方向  |  开放基金  |  运行状态  |  发展规划  |  服务案例  |  联合单位