关于增量更新实现方法求助
时间:2010-12-10
来源:互联网
hi 各位,目前有同步数据这块的工作在做 实行方案有这两种:
1.根据最后更新数据表明更改
2.根据mv log,提供更改主键,然后指向更新数据表明更改
将更新数据插入临时空间,再根据临时表更新目标表,每次更新实行sysdate-N的策略 .
不过遇到一点问题 数据量小没有问题 .
有个客户维,40个字段 2亿条数据,设有lastupdate字段 有触发器维护, 如果有更新的话,可能会更新300W以上的数据,而这样的更新可能只是更新其中的一个字段,而这一个字段就会引起lastupdate的更新,被认定为更改数据,然后我的同步程序就会更新这些数据的全部字段. 量大的话可能还会引起错误,或者执行时间太长导致下次更新的时候 上次还没有更新完.
有没有办法把捕获粒度降低,比如我更新了300W人的性别,那么我的更新程序也只更新性别而不是全纪录重新更新.
网上查到ODI有个log挖掘模式,是从归档日志或者redo日志里面找出更新部分,请问各位大大,log模式能不能实现我上面说的更新方式.
如果不能,还有其他的方式能够实现吗?
1.根据最后更新数据表明更改
2.根据mv log,提供更改主键,然后指向更新数据表明更改
将更新数据插入临时空间,再根据临时表更新目标表,每次更新实行sysdate-N的策略 .
不过遇到一点问题 数据量小没有问题 .
有个客户维,40个字段 2亿条数据,设有lastupdate字段 有触发器维护, 如果有更新的话,可能会更新300W以上的数据,而这样的更新可能只是更新其中的一个字段,而这一个字段就会引起lastupdate的更新,被认定为更改数据,然后我的同步程序就会更新这些数据的全部字段. 量大的话可能还会引起错误,或者执行时间太长导致下次更新的时候 上次还没有更新完.
有没有办法把捕获粒度降低,比如我更新了300W人的性别,那么我的更新程序也只更新性别而不是全纪录重新更新.
网上查到ODI有个log挖掘模式,是从归档日志或者redo日志里面找出更新部分,请问各位大大,log模式能不能实现我上面说的更新方式.
如果不能,还有其他的方式能够实现吗?
作者: iamczy1234 发布时间: 2010-12-10
理论上是可以从redo和归档得到更新的数据的,但这样成本有些高,可以试试GoldenGate这类第三方的产品。
另一个比较粗糙的方法是通过scn判断变更。
另一个比较粗糙的方法是通过scn判断变更。
作者: esestt 发布时间: 2010-12-10
能通过SCN实现吗,求实现思路
作者: iamczy1234 发布时间: 2010-12-10
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读:74
-
如何安装mysql8.0
阅读:31
-
Word快速设置标题样式步骤详解
阅读:28
-
20+道必知必会的Vue面试题(附答案解析)
阅读:37
-
HTML如何制作表单
阅读:22
-
百词斩可以改天数吗?当然可以,4个步骤轻松修改天数!
阅读:31
-
ET文件格式和XLS格式文件之间如何转化?
阅读:24
-
react和vue的区别及优缺点是什么
阅读:121
-
支付宝人脸识别如何关闭?
阅读:21
-
腾讯微云怎么修改照片或视频备份路径?
阅读:28