1、参与应用信息系统的规划、设计、构建、运行和管理。
2、按照用户需求,设计、建立、运行、维护高质量的数据库和数据仓库。
3、管理信息系统中的数据资源,建立和维护核心数据库。
4、担任数据库系统有关的技术支持。
5、指导计算机技术与软件专业助理工程师(或技术员)工作。
数据库系统工程师是指具备一定的网络结构设计及组网能力,并参与信息系统和数据库相关工作的专业人员。主要工作内容是参与应用信息系统的规划、设计、构建、运行和管理,按照用户需求,设计、建立、运行、维护高质量的数据库和数据仓库等。数据工程师都做什么?数据工程师负责创建和维护分析基础架构,该基础架构几乎可以支持数据世界中的所有其他功能。他们负责大数据架构的开发、构建、维护和测试,例如数据库和大数据处理系统。大数据工程师还负责创建用于建模,挖掘,获取和验证数据集合等流程。
数据工程师的关键技能
下面介绍数据工程师所需的几项关键技能。
1.大数据架构的工具与组件
数据工程师更关注分析基础架构,因此所需的大部分技能都是以架构为中心的。
2.深入了解SQL和其它数据库解决方案
数据工程师需要熟悉数据库管理系统,深入了解SQL至关重要。同样其它数据库解决方案,例如Cassandra或BigTable也须熟悉,因为不是每个数据库都是由可识别的标准来构建。
3.数据仓库和ETL工具
数据仓库和ETL经验对于数据工程师至关重要。像Redshift或Panoply这样的数据仓库解决方案,以及ETL工具,比如StitchData或Segment都非常有用。此外,数据存储和数据检索经验同样重要,因为处理的数据量是个天文数字。
4.基于Hadoop的分析(HBase,Hive,MapReduce等)
对基于Apache Hadoop的分析有深刻理解是这个领域的一个非常必要的需求,一般情况下HBase,Hive和MapReduce的知识存储是必需的。
5.编码
说到解决方案,编码与开发能力是一个重要的优点(这也是许多职位的要求),你要熟悉Python,C/C++,Java,Perl,Golang或其它语言,这会非常有价值。
6.机器学习
虽然数据工程师主要关注的是数据科学,但对数据处理技术的理解会加分,比如一些统计分析知识和基础数据建模。
机器学习已经成为标准数据科学,该领域的知识可以帮我们构建同类产品的解决方案。这种知识还有一个好处,就是让你在这个领域极具市场价值,因为在这种情况下能够“戴上两顶帽子”会让你成为一个更强大的工具。
7.多种 *** 作系统
最后,需要我们对Unix,Linux和Solaris系统有深入了解,许多数学工具基于这些 *** 作系统,因为它们有Windows和Mac系统功能没有的访问权限和特殊硬件需求。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)