参考: >
补历史数据,只能通过脚本中循环遍历方式,成本高、耗时长、未使用并行或并行比较麻烦。
实践:通过尝试使用不同参数寻找适合使用的参数及使用方法,如何计算出多种多样的参数结果。
过程:
创建hive脚本: test_coord_date
创建WorkFlow(工作流): test_coord_date_wk
创建Schedule(调度): test_coord_date_tm 选择工作流test_coord_date_wk
需创建出需要传递的参数名称 dt、to_date、stat_date、today
为需要传递的参数填写对应的变量值:
${coord:formatTime(coord:dateOffset(coord:nominalTime(), -1,'DAY'),'yyyy-MM-dd')}
${coord:formatTime(coord:nominalTime(),'yyyy-MM-dd')}
${coord:formatTime(coord:dateOffset(coord:nominalTime(), -1,'DAY'),'yyyy-MM-dd')}
${coord:formatTime(coord:actualTime(),'yyyy-MM-dd')}
通过调研和实践,熟悉整个系统常量使用方法和条件并掌握,然后应用到实际的开发中,补历史数据方便快捷,不易出错,灵活开启并行,设置并行数。
以上就是关于Hive 配置——认证和授权全部的内容,包括:Hive 配置——认证和授权、如何查看hivesql里执行了哪些查询、Hue Oozie 系统参数使用实践等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)