ETL、ELT、数据管道及其相关tool

ETL、ELT、数据管道及其相关tool,第1张

ETL、ELT、数据管道及其相关tool 一、定义 1. ETL

E: Extraction

raw data sources:

T: transformation

D: data loading

popular ETL tools

talendAWS GlueApache Airflow: scale for big datapandas 2. ELT

就是顺序变化了一下,先load再transform

因为big data的出现,ELT热起来了。

特点:

和 ETL的区别:

3. pipeline

特性

设计准则

batch or Streaming Data

准确性 VS 及时性

batch data

通常周期性执行(通过设置时间,数据量来触发process)operate on batches of data不需要最新的数据accuracy是第一位

应用场景:

streaming data


应用场景:

watching movies, listening to music or podcastssocial media feeds, sentiment analysisuser behavior, advertisingfrau detectionstock market tradingreal-time product pricingrecommender system

数据管道相关tools 以及 techmologies

常规的技术要求:


tools :

pandas: can not big dataAirflow:big data(后续博文详细介绍)talend: big dataAWS GluePanoply: ELTalteryx: ETL + ELTIBM InfoSphere DataSrage: ETL + ELT

FOR streaming data:

ibm streamsapache stormsqlstreamsamzasparkapache kafka(后续博文详细介绍) 二、shell 在 pipeline的应用 1. 重要命令

cut

顾名思义,就是用来截取部分doc内容或string内容

-d : (delimited) 使用的分隔符号
-f: 选取的filed
-c: (character) 选取的字符

举个例子:

tr

translate 的过滤器,可以translate,squeeze, delete *** 作

-s : 压缩重复出现的字符
-d: 删除指定的字符

举例子:

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5706272.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存