+ -
当前位置:首页 → 问答吧 → 对OLTP 进行增量Load

对OLTP 进行增量Load

时间:2011-06-24

来源:互联网

不知道大家在实际进行的项目中怎么处理OLTP的增量Load/ETL,如果在增量Load后发现有数据问题,你们怎么解决?
-- 针对full load的,不在此列,系统数据量太大,不适合经常做 full load.
如果通过时间维度来处理,我也觉得不甚好。。。还需要考虑 update and delete的问题。

作者: starhot   发布时间: 2011-06-24

如果有update的时间戳,还好办;如果没有则看时间跨度,如果太大的话,就没法考虑了

尤其是进一步做了汇总层后,更难计算了

作者: bq_wang   发布时间: 2011-06-25

一般都会告诉你那段时间有什么操作,或者有操作的时间戳什么的吧?反正就是抓住有规则的那部分重新汇总,没其他办法,关键是看那种规则更好

作者: innovate511   发布时间: 2011-06-25