datax-web踩坑记录

时间:2021-01-18 16:32:27   收藏:0   阅读:759

实习期间接触了两种ETL工具:kettle、datax
1、datax-web的安装 (跟着文档一步步来就好了)
https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md
2、data-web可视化界面的使用
重点记录一下时间增量的设置
i、构建reader时
updateTime >= ${lastTime} and updateTime <${currentTime}
ii、构建writer时

iii、配置json
writer
"writeMode": "update"
iv、编辑任务
设置辅助参数为: 时间自增
时间增量格式 : 时间戳
-DlastTime=‘%s‘ -DcurrentTime=‘%s‘
v、(后补)
路由策略:轮询
阻塞处理:单机串行

原文:https://www.cnblogs.com/1811-zh/p/14292506.html

评论(0
© 2014 bubuko.com 版权所有 - 联系我们:wmxa8@hotmail.com
打开技术之扣,分享程序人生!