同业务多版本统一表结构讨论
时间:2011-04-07
来源:互联网
目前整一数据仓库项目,先建立基础数据平台,这个基础数据要统一多个业务系统业务数据,俺觉得难度大,但还是要做
在此列出些问题
问题:
1,原系统各个字段应该都有意义,不可能整合所有源系统所有字段,如何取舍
2,原系统表主外键各不相同,如何统一
3,原系统各属性字段内容定义不同,如何统一
4,原系统各业务定义方式不同,如何统一
5,还有未上线原系统呢
----------------------------------------
感觉基础层模型统一相当困难,不但要业务环节的熟悉,对源系统也要有个整体把控,标准啊,统一啊,咋整呢,就算建好模,ETL也会整死,数据量也大,时间要求也紧,想听听大家意见,纯粹理论书本知识或角度站的太高,不着边际的,也可以谈
在此列出些问题
问题:
1,原系统各个字段应该都有意义,不可能整合所有源系统所有字段,如何取舍
2,原系统表主外键各不相同,如何统一
3,原系统各属性字段内容定义不同,如何统一
4,原系统各业务定义方式不同,如何统一
5,还有未上线原系统呢
----------------------------------------
感觉基础层模型统一相当困难,不但要业务环节的熟悉,对源系统也要有个整体把控,标准啊,统一啊,咋整呢,就算建好模,ETL也会整死,数据量也大,时间要求也紧,想听听大家意见,纯粹理论书本知识或角度站的太高,不着边际的,也可以谈

作者: piliskys 发布时间: 2011-04-07
这种多源数据的基础数据建模,你要想开头简单点的话,就做multi-layer data modeling
1. Extraction layer -- 单个系统的相关数据表模型拷贝
2. Single Source Transformation -- 单个系统的数据建模,把有关于目标DWH的数据转换到相应的表中
3. Consolidation layer -- 根据你的DWH,把各个系统的相关数据做结合
4. Target layer -- 最终的DWH
关于你说的业务定义不统一,这个是你们项目BA需要做的事,把展现的业务逻辑统一,也是MDM的一部分
总之先要根据你们的需求把DWH的模型做出来,再想各个源系统的统一问题
个人经验,你可以一个datamart的来,这样一开始也不会太难,也能先出来先东西,给你们领导有个启发
好了,砖抛完了, 闪人
1. Extraction layer -- 单个系统的相关数据表模型拷贝
2. Single Source Transformation -- 单个系统的数据建模,把有关于目标DWH的数据转换到相应的表中
3. Consolidation layer -- 根据你的DWH,把各个系统的相关数据做结合
4. Target layer -- 最终的DWH
关于你说的业务定义不统一,这个是你们项目BA需要做的事,把展现的业务逻辑统一,也是MDM的一部分
总之先要根据你们的需求把DWH的模型做出来,再想各个源系统的统一问题
个人经验,你可以一个datamart的来,这样一开始也不会太难,也能先出来先东西,给你们领导有个启发
好了,砖抛完了, 闪人
作者: markgigi 发布时间: 2011-04-07
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读:74
-
如何安装mysql8.0
阅读:31
-
Word快速设置标题样式步骤详解
阅读:28
-
20+道必知必会的Vue面试题(附答案解析)
阅读:37
-
HTML如何制作表单
阅读:22
-
百词斩可以改天数吗?当然可以,4个步骤轻松修改天数!
阅读:31
-
ET文件格式和XLS格式文件之间如何转化?
阅读:24
-
react和vue的区别及优缺点是什么
阅读:121
-
支付宝人脸识别如何关闭?
阅读:21
-
腾讯微云怎么修改照片或视频备份路径?
阅读:28