数据库工程师工作内容是什么

数据库工程师工作内容是什么,第1张

数据工程师工作内容是什么

数据库工程师工作内容是什么?下面是我为大家整理的是数据库工程师工作的内容,欢迎阅读!想要了解更多的内容,欢迎关注论坛!

数据库工程师岗位职责

1、设计并优化数据库物理建设方案

2、制定数据库备份和恢复策略及工作流程与规范

3、在项目实施中,承担数据库的实施工作

4、针对数据库应用系统运行中出现的问题,提出解决方案

5、对空间数据库进行分析、设计并合理开发,实现有效管理

6、监督数据库的备份和恢复策略的执行

7、为应用开发、系统知识等提供技术咨询服务。

数据库工程师岗位要求

1、通信、电子工程、自动化、计算机其相关专业本科以上学历

2、掌握数据库技术的基本概念、原理、方法和技术

3、能够使用SQL语言实现数据库 *** 作

4、具备数据库系统安装、配置及数据库管理与维护的基本技能

5、了解数据库应用系统的生命周期及其设计、开发过程

6、熟悉常用的'数据库管理和开发工具,具备用指定的工具管理和开发简单数据库应用系统的能力

7、了解数据库技术的最新发展

8、具有严谨认真的工作态度,对枯燥作业有耐心。

数据库工程师工作内容

1、数据库设计:参与项目技术方案设计与需求分析,根据方案与需求进行数据模型设计,保证数据库开发的规范性

2、数据库编码:根据数据库设计,进行数据库相关脚本的编写及数据库相关的模块开发

3、数据库支持与优化:为项目开发、测试提供数据库相关支持,负责对数据库性能优化、应用优化

4、文档编写:根据软件工程要求,编写数据库文档,包括数据标准、数据词典的定义等,为软件测试与维护提供材料

5、服务器运维

6、后期数据库的优化以及维护。

延伸阅读:

作为Oracle DBA需要学习的有:

(1)Oracle的权限控制。

(2)Oracle数据库的基本概念和性能指标。

(3)常用的数据字典视图和动态性能视图。

(4)常用的DBMS包等等。

(5)以RMAN为主的备份恢复,以及容灾技术,此外冷备、逻辑备也需要熟练使用。

(6) *** 作系统和存储方面的知识,主要是UNIX基础命令和编写shell程序。

(7)高级DBA需要了解更多的东西,比如数据库设计等等。

Oracle的认证主要包括OCA、OCP、OCM等。现在的主流是OCP,不过考试价格较贵。对就业有一定程度的好处。

DBA的就业主要是在大、中型企业。以金融、保险等行业尤甚。大型网站或游戏公司也需要DBA。因为这类行对数据的要求颇高。DBA的待遇在国外是IT从业者里较高的。即使在国内,DBA的待遇也相对好一些。因为其技术难度大于普通程序员。普通DBA一般是在8000-20000之间(如北京、上海)。乙方公司待遇要高一些,但工作较辛苦,压力很大。甲方公司待遇稍低,但福利略好,工作一般很轻松。

女生在甲方做DBA是很受欢迎的。因为很多领导都会认为女生较细心。但乙方公司一般不大愿意招聘女生来做数据库方面的服务。

甲方DBA日常的工作压力不大,较程序员小很多。但出问题的时候负担会比较重。但一般大型企业都会购买第三方或原厂的技术支持,压力会减轻很多。每年有1-2个数据库会出问题或需要做一些大的动作。而且大多数问题都是由于 *** 作系统崩溃或者服务器当机。oracle本身运行还是相当稳定的。

总结一句话就是 写 SQL (很多入职一两年的大数据工程师主要的工作就是写 SQL )

还有其他的

2 为集群搭大数据环境(一般公司招大数据工程师环境都已经搭好了,公司内部会有现成的大数据平台,但我这边会私下搞一套测试环境,毕竟公司内部的大数据系统权限限制很多,严重影响开发效率)

3 维护大数据平台(这个应该是每个大数据工程师都做过的工作,或多或少会承担“运维”的工作)

4 数据迁移(有部分公司需要把数据从传统的数据库 Oracle、MySQL 等数据迁移到大数据集群中,这个是比较繁琐的工作,吃力不讨好)

5 应用迁移(有部分公司需要把应用从传统的数据库 Oracle、MySQL 等数据库的存储过程程序或者SQL脚本迁移到大数据平台上,这个过程也是非常繁琐的工作,无聊,高度重复且麻烦,吃力不讨好)

6 数据采集(采集日志数据、文件数据、接口数据,这个涉及到各种格式的转换,一般用得比较多的是 Flume 和 Logstash)

7 数据处理

7.1 离线数据处理(这个一般就是写写 SQL 然后扔到 Hive 中跑,其实和第一点有点重复了)

7.2 实时数据处理(这个涉及到消息队列,Kafka,Spark,Flink 这些,组件,一般就是 Flume 采集到数据发给 Kafka 然后 Spark 消费 Kafka 的数据进行处理)

8 数据可视化(这个我司是用 Spring Boot 连接后台数据与前端,前端用自己魔改的 echarts)

9 大数据平台开发(偏Java方向的,大概就是把开源的组件整合起来整成一个可用的大数据平台这样,常见的是各种难用的 PaaS 平台)

10 数据中台开发(中台需要支持接入各种数据源,把各种数据源清洗转换为可用的数据,然后再基于原始数据搭建起宽表层,一般为了节省开发成本和服务器资源,都是基于宽表层查询出业务数据)

11 搭建数据仓库(这里的数据仓库的搭建不是指 Hive ,Hive 是搭建数仓的工具,数仓搭建一般会分为三层 ODS、DW、DM 层,其中DW是最重要的,它又可以分为DWD,DWM,DWS,这个层级只是逻辑上的概念,类似于把表名按照层级区分开来的 *** 作,分层的目的是防止开发数据应用的时候直接访问底层数据,可以减少资源,注意,减少资源开销是减少 内存 和 CPU 的开销,分层后磁盘占用会大大增加,磁盘不值钱所以没什么关系,分层可以使数据表的逻辑更加清晰,方便进一步的开发 *** 作,如果分层没有做好会导致逻辑混乱,新来的员工难以接手业务,提高公司的运营成本,还有这个建数仓也分为建离线和实时的)

总之就是离不开写 SQL ...


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/6679470.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-03-26
下一篇 2023-03-26

发表评论

登录后才能评论

评论列表(0条)

保存