数据迁移

当前位置:首 页 >> 系统集成 >> 数据迁移

      数据迁移(又称分级存储管理,hsm)是一种将离线存储与在线存储融合的技术。它将高速、高容量的非在线存储设备作为磁盘设备的下一级设备,然后将磁盘中常用的数据按指定的策略自动迁移到磁带库(简称带库)等二级大容量存储设备上。当需要使用这些数据时,分级存储系统会自动将这些数据从下一级存储设备调回到上一 级磁盘上。对于用户来说,上述数据迁移操作完全是透明的,只是在访问磁盘的速度上略有怠慢,而在逻辑磁盘的容量上明显感觉大大提高了。
 
方法数据迁移可以采取不同的方法进行,归纳起来主要有三种方法,即系统切换前通过工具迁移、系统切换前采用手工录入、系统切换后通过新系统生成。
 

特点:

1、直接映射:原来是什么就是什么,原封不动照搬过来,如数据源字段长度或精度不符,需注意是否需要重新运算

2、字段运算:数据源的一个或多个字段进行数学运算得到的目标字段 3、参照转换:在转换中通常要用数据源的一个或多个字段作为Key,去一个关联数组中去搜索特定值,而且应该只能得到唯一值。

3、字符串处理:从数据源某个字符串字段中经常可以获取特定信息,对字符串的操作通常有类型转换、字符串截取等
4、空值判断:对于可能有NULL值的字段,不要采用“直接映射” 的规则类型,必须对空值进行判断。
5、日期转换:需要一些共通函数来处理将日期转换为8位日期值、6位月份值等。6、日期运算:一般数据库提供的日期运算函数都是基于日期型的,而在数据仓库中采用特定类型来表示日期的话,必须有一套自己的日期运算函数集。 
7、聚集运算:对于事实表中的度量字段,他们通常是通过数据源一个或多个字段运用聚集函数得来的,这些聚集函数为SQL标准中,包括sum,count,avg,min,max。