大数据作为时下火热的IT行业的词汇,随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临,大数据开发也应运而生。
大数据开发其实分两种,第一类是编写一些Hadoop、Spark的应用程序,第二类是对大数据处理系统本身进行开发。第一类工作感觉更适用于data analyst这种职位吧,而且现在Hive Spark-SQL这种系统也提供SQL的接口。第二类工作的话通常才大公司里才有,一般他们都会搞自己的系统或者再对开源的做些二次开发。这种工作的话对理论和实践要求的都更深一些,也更有技术含量。
不一样。
数仓建设:
选择或者新建一个维度,通过之前总线矩阵的构建掌握了目前数仓架构中的维度。确定主维表。此处主维表一般是ODS表,直接与业务系统同步。
确定相关维表。数仓是业务源系统的数据整合,不同业务系统或者同一业务系统中的表之间存在关联性。跟据对业务的梳理,我们可以确认哪些表和主维表存在
关联关系,并选择其中的某些表用于生成维度属性。确定维度属性。本步骤分为两阶段,第一阶段是从主维表中选择维度属性或生成新的维度属性;第二阶段是从相关维表中选择维度属性或生成新的维度属性。
数据开发:
深入研究数据库内核相关技术,设计并实现数据库管理系统
深入了解数据库应用的业务需求,主导设计不同数据库架构的应用软件,并持续优化
根据业务需求设计数据库逻辑和物理模型, 开发数据库生产环境所需要的存储过程、函数、脚本等
参与数据库生产环境的问题优化和解决
探索、研究新的数据库架构发展方向
数据库工程师 这是一个很泛的概念,从事跟数据库相关的都可以叫数据库工程师 可能包括开发dba 运维dba 以及数据库开发工程师数据仓库开发工程师 指数据仓库项目开发工程师,不仅仅特指数据库了
可能是开发数据仓库系统的java工程师 可能输数据挖掘 建模 、数据库开发 报表开发 etl 工程师等
http://blog.csdn.net/xiaohai798/article/details/34188549
http://blog.csdn.net/xiaohai798/article/details/41948643
供参考
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)