大数据分析需要什么基础

大数据分析需要什么基础,第1张

数据分析需要的基础有:

1、编程语言基础

学大数据,首先要具备的是编程语言基础,掌握一门编程语言再学习大数据会轻松很多,甚至编程语言要比大数据学习的时间更长。

2、Linux系统的基本 *** 作

Linux系统的基本 *** 作是大数据不可分割的一部分,大数据的组件都是在这个系统中跑的。

3、数据库

只要跟数据打交道就离不开数据库,SQL语言是每个数据分析师必不可少的一项硬技能。

4、Hadoop架构基础

完成大数据环境的配置搭建,也是学习大数据的第一步。

5、机器学习

要使得大数据相关内容得到应用,则必然会涉及大量机器学习及算法的内容,发挥出大数据的优势,让你的办公效率更快,更强。

前言,学大数据要先换电脑:

保证电脑4核8G内存64位 *** 作系统,尽量有ssd做系统盘,否则卡到你丧失信心。硬盘越大越好。

1,语言要求

java刚入门的时候要求javase。

scala是学习spark要用的基本使用即可。

后期深入要求:

java NIO,netty,多线程,ClassLoader,jvm底层及调优等,rpc。

2, *** 作系统要求

linux 基本的shell脚本的使用。

crontab的使用,最多。

cpu,内存,网络,磁盘等瓶颈分析及状态查看的工具。

scp,ssh,hosts的配置使用。

telnet,ping等网络排查命令的使用

3,sql基本使用

sql是基础,hive,sparksql等都需要用到,况且大部分企业也还是以数据仓库为中心,少不了sql。

sql统计,排序,join,group等,然后就是sql语句调优,表设计等。

4,大数据基本了解

Zookeeper,hadoop,hbase,hive,sqoop,flume,kafka,spark,storm等这些框架的作用及基本环境的搭建,要熟练,要会运维,瓶颈分析。

5,mapreduce及相关框架hive,sqoop

深入了解mapreduce的核心思想。尤其是shuffle,join,文件输入格式,map数目,reduce数目,调优等。

6,hive和hbase等仓库

hive和hbase基本是大数据仓库的标配。要回用,懂调优,故障排查。

hbase看浪尖hbase系列文章。hive后期更新。

7,消息队列的使用

kafka基本概念,使用,瓶颈分析。看浪尖kafka系列文章。

8,实时处理系统

storm和spark Streaming

9,spark core和sparksql

spark用于离线分析的两个重要功能。

10,最终方向决策

a),运维。(精通整套系统及故障排查,会写运维脚本啥的。)

b),数据分析。(算法精通)

c),平台开发。(源码精通)

自学还是培训?

无基础的同学,培训之前先搞到视频通学一遍,防止盲目培训跟不上讲师节奏,浪费时间,精力,金钱。

有基础的尽量搞点视频学基础,然后跟群里大牛交流,前提是人家愿意,

想办法跟大牛做朋友才是王道。

Linux云计算和大数据的联系就好比硬件和软件之间的关系,Linux云计算是提供基础设施,而大数据是在云计算提供的基础设施之上做软件的开发和算法的配置。

Linux云计算和大数据是实现人工智能的左膀和右臂。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/yw/8477054.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-16
下一篇 2023-04-16

发表评论

登录后才能评论

评论列表(0条)

保存