戴尔与北京大学合作，领跑数据中心建设:北京大学大数据中心

大数据架构师岗位的主要职责概述 篇1

职责：

1、负责大数据平台及BI系统框架设计、规划、技术选型，架构设计并完成系统基础服务的开发;

2、负责海量埋点规则、SDK标准化、埋点数据采集、处理及存储，业务数据分布存储、流式/实时计算等应用层架构搭建及核心代码实现;

3、开发大数据平台的核心代码，项目敏捷开发流程管理，完成系统调试、集成与实施，对每个项目周期技术难题的解决，保证大数据产品的上线运行;

4、负责大数据平台的架构优化，代码评审，并根据业务需求持续优化数据架构，保证产品的可靠性、稳定性;

5、指导开发人员完成数据模型规划建设，分析模型构建及分析呈现，分享技术经验;

6、有效制定各种突发性研发技术故障的应对预案，有清晰的隐患意识;

7、深入研究大数据相关技术和产品，跟进业界先进技术;

任职要求

1、统计学、应用数学或计算机相关专业大学本科以上学历;

2、熟悉互联网移动端埋点方法(点击和浏览等行为埋点)，无埋点方案等，有埋点SDK独立开发经验者优选;

3、熟悉Hadoop，MR/MapReduce，Hdfs，Hbase，Redis，Storm，Python，zookeeper，kafka，flinkHadoop，hive，mahout，flume，ElasticSearch，KafkaPython等，具备实际项目设计及开发经验;

4、熟悉数据采集、数据清洗、分析和建模工作相关技术细节及流程

5、熟悉Liunx/Unix *** 作系统，能熟练使用shell/perl等脚本语言，熟练掌握java/python/go/C++中一种或多种编程语言

6、具备一定的算法能力，了解机器学习/深度学习算法工具使用，有主流大数据计算组件开发和使用经验者优先

7、熟悉大数据可视化工具Tableau/echarts

8、具有较强的执行力，高度的责任感、很强的学习、沟通能力，能够在高压下高效工作;

大数据架构师岗位的主要职责概述 篇2

职责：

根据大数据业务需求，设计大数据方案及架构，实现相关功能;

搭建和维护大数据集群，保证集群规模持续、稳定、高效平稳运行;

负责大数据业务的设计和指导具体开发工作;

负责公司产品研发过程中的数据及存储设计;

针对数据分析工作，能够完成和指导负责业务数据建模。

职位要求：

计算机、自动化或相关专业(如统计学、数学)本科以上学历，3年以上大数据处理相关工作经验;

精通大数据主流框架(如Hadoop、hive、Spark等);

熟悉MySQL、NoSQL(MongoDB、Redis)等主流数据库，以及rabbit MQ等队列技术;

熟悉hadoop/spark生态的原理、特性且有实战开发经验;

熟悉常用的数据挖掘算法优先。

大数据架构师岗位的主要职责概述 篇3

职责：

1、大数据平台架构规划与设计;

2、负责大数据平台技术框架的选型与技术难点攻关;

3、能够独立进行行业大数据应用的整体技术框架、业务框架和系统架构设计和调优等工作，根据系统的业务需求，能够指导开发团队完成实施工作;

4、负责数据基础架构和数据处理体系的升级和优化，不断提升系统的稳定性和效率，为相关的业务提供大数据底层平台的支持和保证;

5、培养和建立大数据团队，对团队进行技术指导。

任职要求：

1、计算机相关专业的背景专业一类院校毕业本科、硕士学位，8年(硕士5年)以上工作经验(至少拥有3年以上大数据项目或产品架构经验);

2、精通Java，J2EE相关技术，精通常见开源框架的架构，精通关系数据库系统(Oracle MySQL等)和noSQL数据存储系统的原理和架构;

3、精通SQL和Mapreduce、Spark处理方法;

4、精通大数据系统架构，熟悉业界数据仓库建模方法及新的建模方法的发展，有DW，BI架构体系的专项建设经验;

5、对大数据体系有深入认识，熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大数据技术，并能设计相关数据模型;

6、很强的学习、分析和解决问题能力，可以迅速掌握业务逻辑并转化为技术方案，能独立撰写项目解决方案、项目技术文档;

7、具有较强的内外沟通能力，良好的团队意识和协作精神;

8、机器学习技术、数据挖掘、人工智能经验丰富者优先考虑;

9、具有能源电力行业工作经验者优先。

大数据架构师岗位的主要职责概述 篇4

职责：

1参与公司数据平台系统规划和架构工作，主导系统的架构设计和项目实施，确保项目质量和关键性能指标达成;

2统筹和推进制造工厂内部数据系统的构建，搭建不同来源数据之间的逻辑关系，能够为公司运营诊断、运营效率提升提供数据支持;

3负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作

5根据现状制定总体的数据治理方案及数据体系建立，包括数据采集、接入、分类、开发标准和规范，制定全链路数据治理方案;深入挖掘公司数据业务，超强的数据业务感知力，挖掘数据价值，推动数据变现场景的落地，为决策及业务赋能;

6定义不同的数据应用场景，推动公司的数据可视化工作，提升公司数据分析效率和数据价值转化。

任职要求：

1本科以上学历，8年以上软件行业从业经验，5年以上大数据架构设计经验，熟悉BI平台、大数据系统相关技术架构及技术标准;

2熟悉数据仓库、熟悉数据集市，了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;

3熟悉大数据相关技术：Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;

4熟悉制造企业信息化系统及相关数据库技术;

5具备大数据平台、计算存储平台、可视化开发平台经验，具有制造企业大数据系统项目开发或实施经验优先;

6对数据敏感，具备优秀的业务需求分析和报告展示能力，具备制造企业数据分析和数据洞察、大数据系统的架构设计能力，了解主流的报表工具或新兴的前端报表工具;

7有较强的沟通和组织协调能力，具备结果导向思维，有相关项目管理经验优先。

大数据架构师岗位的主要职责概述 篇5

职责：

1负责产品级业务系统架构(如业务数据对象识别，数据实体、数据属性分析，数据标准、端到端数据流等)的设计与优化。协助推动跨领域重大数据问题的分析、定位、解决方案设计，从架构设计上保障系统高性能、高可用性、高安全性、高时效性、分布式扩展性，并对系统质量负责。

2负责云数据平台的架构设计和数据处理体系的优化，推动云数据平台建设和持续升级，并制定云数据平台调用约束和规范。

3结合行业应用的需求负责数据流各环节上的方案选型，主导云数据平台建设，参与核心代码编写、审查;数据的统计逻辑回归算法、实时交互分析;数据可视化方案等等的选型、部署、集成融合等等。

4对云数据平台的关注业内技术动态，持续推动平台技术架构升级，以满足公司不同阶段的数据需求。

任职要求：

1熟悉云计算基础平台，包括Linux(Ubuntu/CentOS)和KVM、OpenStack/K8S等基础环境，熟悉控制、计算、存储和网络;

2掌握大型分布式系统的技术栈，如：CDN、负载均衡、服务化/异步化、分布式缓存、NoSQL、数据库垂直及水平扩容;熟悉大数据应用端到端的相关高性能产品。

3精通Java，Python，Shell编程语言，精通SQL、NoSQL等数据库增删改查的 *** 作优化;

4PB级别实战数据平台和生产环境的实施、开发和管理经验;

5熟悉Docker等容器的编排封装，熟悉微服务的开发和日常调度;

6计算机、软件、电子信息及通信等相关专业本科以上学历，5年以上软件工程开发经验，2年以上大数据架构师工作经验。

大数据架构师岗位的主要职责概述 篇6

职责描述：

1、负责集团大数据资产库的技术架构、核心设计方案，并推动落地；

2、带领大数据技术团队实现各项数据接入、数据挖掘分析及数据可视化；

3、新技术预研，解决团队技术难题。

任职要求：

1、在技术领域有5年以上相关经验，3年以上的架构设计或产品经理经验；

2、具有2年以上大数据产品和数据分析相关项目经验；

3、精通大数据分布式系统（hadoop、spark、hive等）的架构原理、技术设计；精通linux系统；精通一门主流编程语言，java优先。

大数据架构师岗位的主要职责概述 篇7

岗位职责：

1、基于公司大数据基础和数据资产积累，负责大数据应用整体技术架构的设计、优化，建设大数据能力开放平台；负责大数据应用产品的架构设计、技术把控工作。

2、负责制定大数据应用系统的数据安全管控体系和数据使用规范。

3、作为大数据技术方案到产品实现的技术负责人，负责关键技术点攻坚工作，负责内部技术推广、培训及知识转移工作。

4、负责大数据系统研发项目任务规划、整体进度、风险把控，有效协同团队成员并组织跨团队技术协作，保证项目质量与进度。

5、负责提升产品技术团队的技术影响力，针对新人、普通开发人员进行有效辅导，帮助其快速成长。

任职资格：

1、计算机、数学或相关专业本科以上学历，5—20xx年工作经验，具有大型系统的技术架构应用架构数据架构相关的实践工作经验。

2、有分布式系统分析及架构设计经验，熟悉基于计算集群的软件系统架构和实施经验。

3、掌握Hadoop/Spark/Storm生态圈的主流技术及产品，深入了解Hadoop/Spark/Storm生态圈产品的工作原理及应用场景。

4、掌握Mysql/Oracle等常用关系型数据库，能够对SQL进行优化。

5、熟悉分布式系统基础设施中常用的技术，如缓存（Varnish、Memcache、Redis）、消息中间件（Rabbit MQ、Active MQ、Kafka、NSQ）等；有实践经验者优先。

6、熟悉Linux，Java基础扎实，至少3—5年以上Java应用开发经验，熟悉常用的设计模式和开源框架。

大数据架构师岗位的主要职责概述 篇8

岗位职责：

1、负责公司大数据平台架构的技术选型和技术难点攻关工作；

2、依据行业数据现状和客户需求，完成行业大数据的特定技术方案设计与撰写；

3、负责研究跟进大数据架构领域新兴技术并在公司内部进行分享；

4、参与公司大数据项目的技术交流、解决方案定制以及项目的招投标工作；

5、参与公司大数据项目前期的架构设计工作；

任职要求：

1、计算机及相关专业本科以上，5年以上数据类项目（数据仓库、商务智能）实施经验，至少2年以上大数据架构设计和开发经验，至少主导过一个大数据平台项目架构设计；

2、精通大数据生态圈的技术，包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive，具备数据统计查询性能优化能力。熟悉星环大数据产品线及有过产品项目实施经验者优先；

3、优秀的方案撰写能力，思路清晰，逻辑思维强，能够根据业务需求设计合理的解决方案；

4、精通ORACLE、DB2、mySql等主流关系型数据库，熟悉数据仓库建设思路和数据分层架构思想；

5。熟练掌握java、R、python等1—2门数据挖掘开发语言；

6。熟悉云服务平台及微服务相关架构思想和技术路线，熟悉阿里云或腾讯云产品者优先；

7、有烟草或制造行业大数据解决方案售前经验者优先；

8、能适应售前支持和项目实施需要的短期出差；

大数据架构师岗位的主要职责概述 篇9

岗位职责：

1、负责相关开源系统/组件的性能、稳定性、可靠性等方面的深度优化；

2、负责解决项目上线后生产环境的各种实际问题，保障大数据平台在生产上的安全、平稳运行；

3、推动优化跨部门的业务流程，参与业务部门的技术方案设计、评审、指导；

4、负责技术团队人员培训、人员成长指导。

5、应项目要求本月办公地址在锦江区金石路316号新希望中鼎国际办公，月底项目结束后在总部公司办公

任职要求：

1、熟悉linux、JVM底层原理，能作为技术担当，解决核心技术问题；

2、3年以上大数据平台项目架构或开发经验，对大数据生态技术体系有全面了解，如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等；

3、掌握git、maven、gradle、junit等工具和实践，注重文档管理、注重工程规范优先；

4、熟悉Java后台开发体系，具备微服务架构的项目实施经验，有Dubbo/Spring cloud微服务架构设计经验优先；

5、性格开朗、善于沟通，有极强的技术敏感性和自我驱动学习能力，注重团队意识。

大数据架构师岗位的主要职责概述 篇10

职责描述：

1、负责大数据平台框架的规划设计、搭建、优化和运维；

2、负责架构持续优化及系统关键模块的设计开发，协助团队解决开发过程中的技术难题；

3、负责大数据相关新技术的调研，关注大数据技术发展趋势、研究开源技术、将新技术应用到大数据平台，推动数据平台发展；

4、负责数据平台开发规范制定，数据建模及核心框架开发。

任职要求：

1、计算机、数学等专业本科及以上学历；

2、具有5年及以上大数据相关工作经验；

3、具有扎实的大数据和数据仓库的理论功底，负责过大数据平台或数据仓库设计；

4、基于hadoop的大数据体系有深入认识，具备相关产品（hadoop、hive、hbase、spark、storm、 flume、kafka、es等）项目应用研发经验，有hadoop集群搭建和管理经验；

5、熟悉传统数据仓库数据建模，etl架构和开发流程，使用过kettle、talend、informatic等至少一种工具；

6、自驱力强、优秀的团队意识和沟通能力，对新技术有好奇心，学习能力和主动性强，有钻研精神，充满激情，乐于接受挑战；

伴随着互联网的发展快速，就离不了网络服务器的支撑点，如今对IDC大数据中心主机房的需求也愈来愈多！网络服务器归类规范有很多，尤其是目前网络服务器类型愈来愈多，作用也更加强劲，无论是依照主要用途作用，或是依照构造都是有一定的种类规范。下边咱们来说一下网络服务器都有哪些归类。
1按运用层级区划为新手入门网络服务器、调研组级服务器、单位级服务器和公司级服务器四类。
(1)新手入门网络服务器
(2)调研组级服务器
(3)单位级服务器
(4)公司级服务器
2按网络服务器的处理器架构（也就是网络服务器CPU所运用的计算机指令）区划把网络服务器分成CISC构架网络服务器、RISC构架网络服务器和VLIW构架网络服务器三种。
(1)CISC构架网络服务器
(2)RISC构架网络服务器
(3)VLIW构架网络服务器
3按网络服务器按应用领域区划为通用性网络服务器和专用网络服务器两大类。
(1)通用性网络服务器
(2)专用网络服务器
4按网络服务器的主机箱构造来区划，能够把网络服务器区划为“台式一体机网络服务器”、“机架式网络服务器”、“服务器机柜式网络服务器”和“刀式网络服务器”四类。
(1)台式一体机网络服务器
(2)机架式网络服务器
(3)服务器机柜式网络服务器
(4)刀式网络服务器

databrik难还是谷歌难？前边说到了城市大脑，那么它和城市大数据中心是什么关系？南方某计划单列市新上任的大数据局长问。
他的窗台上养了一缸鱼，我就打了个比方。
鱼是大数据应用，水就是大数据，鱼缸就是装载大数据、作为应用容器的平台。鱼可以养很多不同品种，但是受限于水和鱼缸。水不够大、不够深，就没法养大鱼；水够大够深，就需要一个足够大的鱼缸。只是大还不行，养鱼还要有水体循环、水质安全、饲料投喂等一系列问题。如此，还需要经验丰富的养鱼师傅。呃…那就不是鱼缸了，是水族箱，再大就是水族馆了。
城市大数据中心与水族馆的类比
城市大数据中心其实就是装载城市大数据、作为大数据应用容器的技术平台。城市大数据中心架构设计，有点儿类似于摩天大厦的总体蓝图。
城市大数据中心的技术难度，比谷歌数据中心还要难。EB级数据、上亿用户访问、超十万台服务器，听起来挺吓人，但仅仅是大而已。对于单纯网页数据的搜索场景，数据存储完全是集中的和同构的，不用太多领域的技术路线就可以解决。城市大数据中心面对的是高度离散的数据源、多种多样的异构数据，内外部的用户群体，千变万化的多元化场景，技术难度不在于大而是复杂性，这就要融合很多领域的技术路线，远不是一个厂商能够胜任的。
装备制造业有成套设备的概念，软件业有系统集成的概念。道理很简单，就是一家供应商不能包打天下，不可能、也没有必要以一己之力提供一个大客户所需的全部产品和服务，于是就有了上下游分工和交钥匙工程。
对于城市大数据中心而言，没有一家供应商有能力提供全融合的一体化技术平台，只能从多家供应商的技术平台中进行选型和集成，其实就是跨多个平台的技术整合。
但是城市大数据中心建设不是简单的拼图游戏，也不是用乐高积木搭个玩具房子。即便总体架构设计是完美的，但是跨平台技术整合依然是不完美的，有些期望注定落空。人类的软件只能完成设计边界之内的已知功能，不能指望它做到在设计之初没想到的事情。即便是可以局部扩展，也是在不能推翻架构的前提之下。这就像一个砖混楼房不能在顶上直接加盖改成高层建筑一样，除非推倒重来。
对于城市大数据中心的架构师，在每个技术平台只管局部、不管整体的囧途之上，即便在总体架构设计上有前瞻性和预见力也无济于事。总是有些事情没法做到，必须有所取舍，如果追求完美恐怕有精神分裂的危险。这是我在负责X省大数据中心初步设计时发出的慨叹。
都说拼凑不如推倒重来，可是谁有这个本事玩乾坤大挪移？
这就是理想和现实的落差，让我体会到模型驱动架构（MDA）的深意所在。假如有一天城市大数据中心可以达到谷歌数据中心的水平，那个架构师一定是个天才。
城市大数据中心刚刚起步，在“路”上踌躇前行，或许更多还是在探路。这其中，有近十年来共享交换难题的沉重拖累，也有对大数据应用点石成金的美好憧憬。
城市大数据中心脱胎于政府信息中心，“纵强横弱、部门强中心弱”，家底子薄，创业艰难。但是，许多地方政府对城市大数据中心寄予厚望，不但是大数据发展的发动机，还是大数据产业的孵化器。这么多的期许，事情就更复杂了。
大数据产业促进姑且不论，从承载政务数据到承载城市数据的进化，就必须从共享交换时代跨越到大数据时代。这个跨越，转换到架构设计上，也并非易事。
架构（Architecture）本来就是建筑学术语，不妨用建筑设计打个比方。
如果说共享交换是砖混结构的小楼，那么大数据就是钢结构的摩天大厦。有点像老城区改造遇到历史建筑，小楼不能拆，摩天大厦必须建，而且两者还要融为一体。

---