数据开发是什么?

数据开发是什么?,第1张

和软件开发类似,两者都要互相用到,彼此交叉。比如银行的自动取款机系统,就是数据开发的典型例子。你会觉得这个应该是软件开发的写代码啊,但是事实上写代码只是取款机系统实现的一步而已。数据库开发分六步:需求分析、概念结构设计、逻辑结构设计、数据库的物理设计、数据库的实施、数据库的运行和维护。写代码只是数据库实施中的一部分,这样讲应该能明白吧。还有像超市的收银系统,学校的教务系统都是数据库的例子,光会写代码是编不出来的。我目前已经考了数据库系统工程师,这学期准备考个软件设计师。两者的区别是数据库的语言主要是SQL,软件设计师则是写代码,C、C++ 、Java等

大数据作为时下火热的IT行业的词汇,随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临,大数据开发也应运而生。

大数据开发其实分两种,第一类是编写一些Hadoop、Spark的应用程序,第二类是对大数据处理系统本身进行开发。第一类工作感觉更适用于data analyst这种职位吧,而且现在Hive Spark-SQL这种系统也提供SQL的接口。第二类工作的话通常才大公司里才有,一般他们都会搞自己的系统或者再对开源的做些二次开发。这种工作的话对理论和实践要求的都更深一些,也更有技术含量。

不一样。

数仓建设:

选择或者新建一个维度,通过之前总线矩阵的构建掌握了目前数仓架构中的维度。

确定主维表。此处主维表一般是ODS表,直接与业务系统同步。

确定相关维表。数仓是业务源系统的数据整合,不同业务系统或者同一业务系统中的表之间存在关联性。跟据对业务的梳理,我们可以确认哪些表和主维表存在关联关系,并选择其中的某些表用于生成维度属性。

确定维度属性。本步骤分为两阶段,第一阶段是从主维表中选择维度属性或生成新的维度属性;第二阶段是从相关维表中选择维度属性或生成新的维度属性。

数据开发:

深入研究数据库内核相关技术,设计并实现数据库管理系统

深入了解数据库应用的业务需求,主导设计不同数据库架构的应用软件,并持续优化

根据业务需求设计数据库逻辑和物理模型, 开发数据库生产环境所需要的存储过程、函数、脚本等

参与数据库生产环境的问题优化和解决

探索、研究新的数据库架构发展方向

数据库工程师 这是一个很泛的概念,从事跟数据库相关的都可以叫数据库工程师 可能包括开发dba 运维dba 以及数据库开发工程师

数据仓库开发工程师 指数据仓库项目开发工程师,不仅仅特指数据库了

可能是开发数据仓库系统的java工程师 可能输数据挖掘 建模 、数据库开发 报表开发 etl 工程师等

http://blog.csdn.net/xiaohai798/article/details/34188549

http://blog.csdn.net/xiaohai798/article/details/41948643

供参考


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/9965648.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-03
下一篇 2023-05-03

发表评论

登录后才能评论

评论列表(0条)

保存