大数据架构师的基本职责

大数据架构师需要参与规划从数据源到数据应用的整体流程，并参与相关产品的决策。下面是我为您精心整理的大数据架构师的基本职责。

大数据架构师的基本职责1

职责：

1.负责整个大数据平台架构的设计和构建

2.负责构建大数据平台的数据交换、任务调度等通用平台

3.制定开发、测试、实施、维护的标准和规范，指导和培训工程师，不断提升团队能力。

4.参与系统需求分析、架构设计、技术选型、应用设计与开发以及测试与部署，负责编写核心部分代码。

5.持续挑战新的技术方向，攻克大数据量、高并发、高可用、可扩展等技术难点。

任职要求：

1.3年以上大数据架构经验，丰富的数据仓库、数据挖掘、机器学习项目经验

2.大规模数据处理的架构和设计实战经验

3.精通Spark、MR，熟练HDFS、Yarn、Hbase、Hive、MongoDB，熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等，并具有丰富的大型数据平台工程经验

4.深刻理解大数据处理(流计算，分布式计算，分布式文件系统，分布式存储等)相关技术和实现方法

5.熟悉主数据、元数据、数据质量等企业数据管理相关的体系和方法，熟练Linux/Unix平台上的开发环境

6.本科或以上学历，计算机软件或相关专业，丰富的java开发经验和互联网背景优先。

7.具有比较强的问题分析和处理能力，有比较优秀的动手能力，热衷技术，精益求精

大数据架构师的基本职责2

职责：

1. 深刻理解政府行业业务模式，构建政府行业的数据模型，制定公司大数据技术发展路线

2. 对接业务研究和技术部门，主动搜集和转化需求，组织数据中心业务开发，进行数据相关产品需求分析和设计

3. 搭建数据仓库，研发数据库管理系统，搜集、提取、处理业务积累的海量数据，开展数据分析和挖掘

4. 根据公司战略和发展需要，规划数据中心重点工作和任务落实部门人员、事务管理，开展跨部门、跨地区协作，协助对外交流与合作。

职位要求：

1. 5年以上相关工作经验，有团队管理和项目管理经验者优先

2.了解政府运作机制，掌握财政行业知识，有电子政务行业经验者优先

3. 熟练掌握使用Java或Python,精通数据库查询语言如SQL，Oracle等,在机器学习模型和算法方向有应用经验者优先

4. 具备数据中心产品策划整体思维，有大数据处理、分析、挖掘经验者优先

5. 逻辑思维严密，具备业务抽象、分解和标准化的能力，口头和书面表达优秀

6. 有较强的大局意识和良好的团队合作意识，富有领导力，具备优秀的人际交往和沟通能力。

　 　大数据架构师的基本职责3

职责:

1、从事电信行业大数据项目相关业务调研、产品标准建设、核心模型设计和优化、系统测试等相关工作

2、与数据专业委员会一起研究数据建模方案和建模工具，负责产品线产品的数据架构、数据模型设计

3、参与研究数据库之间的数据转换方式，参与项目中的数据移植工作，收集在项目中的数据移植经验，优化产品的数据模型

4、负责培训本部门队伍的数据模型基础理论工作，建立数据模型团队

岗位要求：

1、统招本科学历，3年以上主流数据上(DB2、Oracle、SQLServer、Mysql等)ETL设计、开发经验，具备大型数据仓库逻辑模型和物理模型设计经验，精通SQL，有较好的SQL性能调优经验

2、拥有Python，R等数学建模工具的使用经验，并具备一定的数据处理和建模经验，可以输出相应的模型分析结果、模型比较、模型效率以及对模型的理论和判断依据方法并对其进行完整的解释和说明

3、熟悉统计学基本原理，做过实战的数据建模项目

4、有分布式数据仓库建设相关经验者优先，具备电信行业数据仓库建设相关经验者优先

大数据架构师的基本职责4

职责：

1、负责大数据平台的架构设计、核心代码开发等任务根据项目要求编写相关技术文档

2、负责大数据平台的架构评审，代码评审，上线评审参与数据应用需求、设计、审核和评审

3、负责核心模块研发，负责大数据平台的搭建，完成系统调试、集成与实施

4、负责建立和维护大数据平台技术标准规范，指导开发人员编写代码

任职要求：

1、本科及以上计算机相关专业毕业

2、精通离线和实时数据处理流程，掌握离线数据处理框架hive、impala、spark-sql等，掌握实时数据处理常用技术工具，包括Storm、SparkStreaming等

3、熟悉大数据技术生态圈，精通大数据技术架构，有大数据平台构建经验

4、掌握常见数据流接入工具，包括Flume、kafka等

5、熟练掌握基本的Linux *** 作系统和某种脚本语言编程(如Shell等)

6、掌握一种或以上实时处理语言，如JAVA、SCALA、PYTHON等，有SCALA经验者优先

7、有实际大规模数据(TB级以上)处理经验优先

　 　大数据架构师的基本职责5

职责：

1、负责公司的大数据处理框架的研发设计工作，梳理可实现方案和技术规范

2、开发、完善公司大数据平台参与公司离线、实时大数据处理系统的设计、开发、测试及多个业务模块的自动化集成

3、负责业务平台数据统计分析模块的设计与规划

4、负责公司产品研发过程中的数据及存储设计

5、带领和培养团队完成组织分解的目标

任职要求：

1、统招本科及以上学历，计算机、软件工程相关专业，至少8年以上工作经验，5年以上大数据开发经验

2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相关技术的基础架构

3、熟悉数据仓库，数据算法，分布式计算技术理论，具有大数据整体系统架构设计经验

4、熟悉Linux系统，熟练使用shell/perl/python脚本处理问题

5、对深度学习框架(Tensorflow)和机器学习(svm 随机深林贝叶斯等)有一定了解的优先

6、能够组织项目开发组协同工作，包括团队沟通、计划、开发环境管理等

大数据开发工程师可以从事多个不同的岗位，因为这是一个广泛而不断扩大的行业。首先，大数据开发工程师可以在大型的数据隶属的公司和机构中任职，如电信、银行、金融、物流等行业的数据中心。其次，也可以转型成数据分析师、数据挖掘工程师、数据科学家等相关职位，深入了解数据统计、机器学习、人工智能等领域的知识和技能。此外，大数据开发工程师还可以成为独立或自主从业者，或者参与大数据学术研究、数学建模、软件应用等方面。不论是哪一种岗位，大数据开发工程师都需要不断更新自己的技能和知识，保持专业和技能上的竞争优势。

《Hadoop构建数据仓库实践》（王雪迎）电子书网盘下载免费在线阅读

链接: https://pan.baidu.com/s/1eXr-eq8HEhDQfvAf1HfnVg

提取码: citn

书名：Hadoop构建数据仓库实践

作者：王雪迎

豆瓣评分：8.3

出版社：清华大学出版社

出版年份：2017-7

页数：434

作者简介：

王雪迎，毕业于中国地质大学计算机专业，高级工程师，拥有20年数据库、数据仓库相关技术经验。曾先后供职于北京现代商业信息技术有限公司、北京在线九州信息技术服务有限公司、华北计算技术研究所、北京优贝在线网络科技有限公司，担任DBA、数据架构师等职位。

---