2017年，Web 后端出现了哪些新的思想和技术

转行这个词汇，一直是职场上此起彼伏的一个热门话题，相信很多朋友都想过或已经经历过转行。工作可谓是我们生存乃至生活的主要收入来源，谁都希望拥有一份高薪又稳定的工作，以此来改善自己的生活和实现自己的大大小小的梦想!但又担心转行后的工作待遇达不到自己的预期，顾虑重重……

不少想进入大数据分析行业的零基础学员经常会有这样一些疑问：大数据分析零基础应该怎么学习自己适合学习大数据分析吗人生，就是在不断地做选择，然后在这个选择过程中成长，让自己从一棵小树苗变成参天大树。就是我们每个对大数据充满幻想终于下定决心行动的学员的选择，我们给了自己4个月的时间，想要在大数据分析这个领域汲取养分，让自己壮大成长。

明确方向

通过国家的战略规划，看到BAT的大牛们都在大数据行业布局，新闻媒体追捧这大数据分析行业的项目和热点，我想如果我还没有能力独立判断的时候，跟着国家政策和互联网大佬们的步调走，这应该是错不了的。

付诸行动

明确了方向之后，我就整装待发，刚开始是在网络上购买了很多的视频教程，也买了很多书籍，但是最大的问题就在于，我不知道怎么入手，没关系，有信心有耐心肯定能战胜困难，我坚持了一个月，学习的节奏越来越乱，陆陆续续出现了很多的问题，没人指导，请教了几个业内的朋友，但对方工作繁忙，问了几次之后就不好意思了，自学陷入了死循环。

意识到我学习效率的低下，以及无人指导的问题想想未来的康庄大道，咬咬牙告诉自己，一定好好好学，不然就浪费太多时间最后还会是一无所获。最后找到组织(AAA教育)一起学习进步!

大数据分析零基础学习路线，有信心能坚持学习的话，那就当下开始行动吧!

一、大数据技术基础

1、linux *** 作基础

linux系统简介与安装

linux常用命令–文件 *** 作

linux常用命令–用户管理与权限

linux常用命令–系统管理

linux常用命令–免密登陆配置与网络管理

linux上常用软件安装

linux本地yum源配置及yum软件安装

linux防火墙配置

linux高级文本处理命令cut、sed、awk

linux定时任务crontab

2、shell编程

shell编程–基本语法

shell编程–流程控制

shell编程–函数

shell编程–综合案例–自动化部署脚本

3、内存数据库redis

redis和nosql简介

redis客户端连接

redis的string类型数据结构 *** 作及应用-对象缓存

redis的list类型数据结构 *** 作及应用案例-任务调度队列

redis的hash及set数据结构 *** 作及应用案例-购物车

redis的sortedset数据结构 *** 作及应用案例-排行榜

4、布式协调服务zookeeper

zookeeper简介及应用场景

zookeeper集群安装部署

zookeeper的数据节点与命令行 *** 作

zookeeper的java客户端基本 *** 作及事件监听

zookeeper核心机制及数据节点

zookeeper应用案例–分布式共享资源锁

zookeeper应用案例–服务器上下线动态感知

zookeeper的数据一致性原理及leader选举机制

5、java高级特性增强

Java多线程基本知识

Java同步关键词详解

java并发包线程池及在开源软件中的应用

Java并发包消息队里及在开源软件中的应用

Java JMS技术

Java动态代理反射

6、轻量级RPC框架开发

RPC原理学习

Nio原理学习

Netty常用API学习

轻量级RPC框架需求分析及原理分析

轻量级RPC框架开发

二、离线计算系统

1、hadoop快速入门

hadoop背景介绍

分布式系统概述

离线数据分析流程介绍

集群搭建

集群使用初步

2、HDFS增强

HDFS的概念和特性

HDFS的shell(命令行客户端) *** 作

HDFS的工作机制

NAMENODE的工作机制

java的api *** 作

案例1：开发shell采集脚本

3、MAPREDUCE详解

自定义hadoop的RPC框架

Mapreduce编程规范及示例编写

Mapreduce程序运行模式及debug方法

mapreduce程序运行模式的内在机理

mapreduce运算框架的主体工作流程

自定义对象的序列化方法

MapReduce编程案例

4、MAPREDUCE增强

Mapreduce排序

自定义partitioner

Mapreduce的combiner

mapreduce工作机制详解

5、MAPREDUCE实战

maptask并行度机制-文件切片

maptask并行度设置

倒排索引

共同好友

6、federation介绍和hive使用

Hadoop的HA机制

HA集群的安装部署

集群运维测试之Datanode动态上下线

集群运维测试之Namenode状态切换管理

集群运维测试之数据块的balance

HA下HDFS-API变化

hive简介

hive架构

hive安装部署

hvie初使用

7、hive增强和flume介绍

HQL-DDL基本语法

HQL-DML基本语法

HIVE的join

HIVE 参数配置

HIVE 自定义函数和Transform

HIVE 执行HQL的实例分析

HIVE最佳实践注意点

HIVE优化策略

HIVE实战案例

Flume介绍

Flume的安装部署

案例：采集目录到HDFS

案例：采集文件到HDFS

三、流式计算

1、Storm从入门到精通

Storm是什么

Storm架构分析

Storm架构分析

Storm编程模型、Tuple源码、并发度分析

Storm WordCount案例及常用Api分析

Storm集群部署实战

Storm+Kafka+Redis业务指标计算

Storm源码下载编译

Strom集群启动及源码分析

Storm任务提交及源码分析

Storm数据发送流程分析

Storm通信机制分析

Storm消息容错机制及源码分析

Storm多stream项目分析

编写自己的流式任务执行框架

2、Storm上下游及架构集成

消息队列是什么

Kakfa核心组件

Kafka集群部署实战及常用命令

Kafka配置文件梳理

Kakfa JavaApi学习

Kafka文件存储机制分析

Redis基础及单机环境部署

Redis数据结构及典型案例

Flume快速入门

Flume+Kafka+Storm+Redis整合

四、内存计算体系Spark

1、scala编程

scala编程介绍

scala相关软件安装

scala基础语法

scala方法和函数

scala函数式编程特点

scala数组和集合

scala编程练习(单机版WordCount)

scala面向对象

scala模式匹配

actor编程介绍

option和偏函数

实战：actor的并发WordCount

柯里化

隐式转换

2、AKKA与RPC

Akka并发编程框架

实战：RPC编程实战

3、Spark快速入门

spark介绍

spark环境搭建

RDD简介

RDD的转换和动作

实战：RDD综合练习

RDD高级算子

自定义Partitioner

实战：网站访问次数

广播变量

实战：根据IP计算归属地

自定义排序

利用JDBC RDD实现数据导入导出

WorldCount执行流程详解

4、RDD详解

RDD依赖关系

RDD缓存机制

RDD的Checkpoint检查点机制

Spark任务执行过程分析

RDD的Stage划分

5、Spark-Sql应用

Spark-SQL

Spark结合Hive

DataFrame

实战：Spark-SQL和DataFrame案例

6、SparkStreaming应用实战

Spark-Streaming简介

Spark-Streaming编程

实战：StageFulWordCount

Flume结合Spark Streaming

Kafka结合Spark Streaming

窗口函数

ELK技术栈介绍

ElasticSearch安装和使用

Storm架构分析

Storm编程模型、Tuple源码、并发度分析

Storm WordCount案例及常用Api分析

7、Spark核心源码解析

Spark源码编译

Spark远程debug

Spark任务提交行流程源码分析

Spark通信流程源码分析

SparkContext创建过程源码分析

DriverActor和ClientActor通信过程源码分析

Worker启动Executor过程源码分析

Executor向DriverActor注册过程源码分析

Executor向Driver注册过程源码分析

DAGScheduler和TaskScheduler源码分析

Shuffle过程源码分析

Task执行过程源码分析

五、机器学习算法

1、python及numpy库

机器学习简介

机器学习与python

python语言–快速入门

python语言–数据类型详解

python语言–流程控制语句

python语言–函数使用

python语言–模块和包

phthon语言–面向对象

python机器学习算法库–numpy

机器学习必备数学知识–概率论

2、常用算法实现

knn分类算法–算法原理

knn分类算法–代码实现

knn分类算法–手写字识别案例

lineage回归分类算法–算法原理

lineage回归分类算法–算法实现及demo

朴素贝叶斯分类算法–算法原理

朴素贝叶斯分类算法–算法实现

朴素贝叶斯分类算法–垃圾邮件识别应用案例

kmeans聚类算法–算法原理

kmeans聚类算法–算法实现

kmeans聚类算法–地理位置聚类应用

决策树分类算法–算法原理

决策树分类算法–算法实现

时下的大数据分析时代与人工智能热潮，相信有许多对大数据分析师非常感兴趣、跃跃欲试想着转行的朋友，但面向整个社会，最不缺的其实就是人才，对于是否转行大数据分析行列，对于能否勇敢一次跳出自己的舒适圈，不少人还是踌躇满志啊!毕竟好多决定，一旦做出了就很难再回头了。不过如果你已经转行到大数据分析领域，就不要后悔，做到如何脱颖而出才是关键。因此本文给出一些建议，针对想要转行大数据分析行列且是零基础转行的小伙伴们，希望对你们有所裨益，也希望你们将来学有所成，不后悔，更不灰心!

：

《转行大数据分析师后悔了》、《ui设计培训四个月骗局大爆料》、《零基础学大数据分析现实吗》、《大数据分析十八般工具》

erlang有独特的支持SMP多核CPU的能力，可以把大量计算任务分拆到多个核心中进行，以便减轻系统压力。 在游戏服务器开发领域必须满足能够热更新的条件，方便及时排除BUG修补漏洞，基本上只有C++，GO带Lua脚本和erlang的OTP能够做到，以前的页游也。

在足球技巧中，有很多的花式技巧，今天我们就来讲一讲AKKA3000具体是怎么做的，下面就给大家来介绍AKKA3000的详细教学。

第一步我们先把足球摆放在我们斜前方四十五度左右的位置，然后用我们的右脚踩住足球的背面。

第二步首先让我们的大腿内扣，然后我们把足球拉起来到我们的外脚背位置，之后让足球贴着我们的脚背，再让我们的大腿进行折叠，用我们的小腿把足球给带起。当我们用外脚背靠前的位置将足球球带起来的时候，会使足球更加具有稳定性，当我们把足球带起来之后我们的右脚落在支撑脚的附近，而这个时候我们的身体重心落在右脚，之后再带动我们的身体进行四十五度旋转。在这个时候我们用左脚小腿把足球带起来，用我们的脚背击球。

下面我们来讲一讲AKKA3000容易犯的错误我们该怎么去注意。

第一点在我们起球的时候我们的大腿是需要内扣的，如果我们的大腿没有内扣那么我们的起球就不能直上直下。

第二点在我们拉球的时候不能太过于着急，我们可以慢一点拉。因为如果我们拉球太快的话，我们就不能很好地控制好起球的高度和起球的位置。

第三点在我们右脚起球之后脚不能落在原地，如果右脚起球后落在原地，那么我们就不能带动身体进行四十五度转身，那么我们的左脚就会碰不到球，所以在我们右脚起球之后，就应该马上落在支撑脚的左侧。

第四点在我们的小腿接球的时候要控制好力度，不然就会往下面d飞。

那么上面就是AKKA3000技巧的全部解析，在我们熟练了AKKA3000之后我们还可以进行别的动作进行结合，让整套技巧看起来更好看。

泰文名：เอกพงศ์ จงเกษกรณ์
英文名：Eakkapong Jongketkon
昵称：เฟิสท์（First）
出生日期：1983年1月30日
出生地：乌泰他尼府（Uthai Thani）
血型：O型 星座：摩羯座
身高：189cm 体重：804kg
兄弟姐妹：一个妹妹，叫เฟม（Fame）
学历： 中学-Nakhon Sawan School
本科-清迈大学工程学院机械工程系
硕士-朱拉隆功大学工程学院工业工程系（2010年以GPA 381的成绩毕业）
First从小就喜欢物理，觉得其他学科都很无趣乏味，而且认为学物理感觉很酷
爱好：看书、看、听音乐、d吉他、上网
喜欢收藏：邮票
喜欢的运动：游泳、羽毛球
最喜欢的菜：伊森菜
最喜欢的颜色：蓝色
最喜欢的音乐：摇滚乐大学里组过乐队 ps：d吉他的样子很帅哦
最喜欢的演员：Ann Thongprasom
害怕的东西：蟑螂、壁虎
志向：有自己的事业
心愿：周游世界
想要的礼物：和心爱的人永远在一起
座右铭：做任何事都不会让我苦恼
圈内好友：Grate，Gale，Margie，Matt，Mint Chalida等。

对于许多开发人员来说，实时使用案例被视为亚马逊和Netflix等大型互联网公司的独家游乐场，拥有无限的资源，庞大的客户群和博士工程师。（实时对不同的人来说意味着不同的东西。在这里我们将其定义为“到达时的过程”，以确保低延迟和快速实现价值。）我在这里告诉你，实时不再是一个精英机会。如今，大多数企业都在处理推动实时需求的动态。考虑您的Web和移动用户生成和请求的所有数据。如何收集所有这些数据，对其进行转换，挖掘洞察力并将其反馈给用户实时（或尽可能接近） - 提高转换效率，保留，和自动化的常见 *** 作流程？用户在Web，移动和（越来越多）物联网设备上生成的数据量每年都在增长，这是贵公司不能错过的机会。

流媒体是当今企业中最有趣的机器学习和人工智能用例的支柱。让我们讨论一下我们如何从早期的大数据源到我们今天的流式传输：快速数据。

大数据浪潮一：Hadoop / Batch

第一波大数据是Hadoop生态系统，包括HDFS，MapReduce和朋友（即Hive，Tez，Mahout，Pig，YARN，HBase，Avro，ZooKeeper和Flume）。将数据存储在HDFS中，然后在一夜之间对数据进行批量处理 - 需要数小时的延迟，即数小时的交付时间，以便从数据中获取洞察力和智能。在这些早期，大数据等同于Hadoop。但Hadoop的原始组件根植于批处理模式和离线处理方法，这种方法几十年来一直很常见。第一波Hadoop / Batch与大多数搜索引擎在早期的工作方式有很多共同点，其中数据被捕获到存储，然后定期处理批处理作业。值得一提的是，Apache Spark是成功挑战传统批量模型的项目之一，他们称之为迷你批处理，

大数据浪潮二：Lambda架构

在第二波中，我们看到需要实时响应“运动中的数据” - 捕获实时数据，处理它，并在几秒钟（甚至亚秒）内将结果反馈回运行系统响应时间 - 变得越来越重要。这需要激发混合体系结构，例如lambda体系结构，它有两层 - 用于实时在线处理的速度层和用于更全面的离线处理的批处理层 - 其中“速度层”中的实时处理结果后来与“批处理层”合并。该模型解决了对数据（至少一部分）快速反应的一些迫切需要。不利的一面是，它增加了不必要的复杂性，维护了两个独立的模型和数据处理流水线，并最终实现了自动数据合并。

大数据浪潮三：完全拥抱流媒体

在第二次浪潮中，我们开始意识到流式传输可以实时完成大部分处理。这导致了第三个（在撰写本文时：当前）大数据浪潮：完全拥抱流媒体（有时被称为kappa架构，作为lambda架构的演变）。在这个新模型中，事件是连续流式传输的，假设它们是无限的 - 它们可能永远不会结束 - 因此系统不能再等待接收“所有数据”，而是需要动态处理它，因为它到达。这需要新技术：在处理之前不再能够全面查看所有数据，但是你需要定义你的处理窗口 - 你应该如何对传入的事件进行分组以及在处理组之前“绘制线”的位置 - 并区分事件时间（发生时）和处理时间（处理时间）。随着流式传输，基本的转变正在从“静止数据”转变为“运动中的数据” - 从批量转向实时。

如果您正在寻找更多证据表明流式传输作为应用程序和系统如何与实时数据交互的首选方法，那么以下是该过程的一些其他迹象：

它是流处理引擎的买方市场：Flink，Spark Streaming，Akka Streams，Kafka Streams，Storm，Cloud Dataflow（谷歌），Pulsar（雅虎），Pravega（EMC）等。这是流媒体成熟的一个标志，即更多的引擎正在发布，每个引擎都有其特定的用例，焦点和优势。

随着我们看到更多基于微服务的系统逐渐成为数据主导，他们的架构开始看起来像流媒体数据的大流水线。流媒体和微服务的融合将流媒体和“运动中的数据”的所有功能带入微服务本身 - 既可以作为通信协议，也可以作为持久性解决方案（使用事件记录） - 包括客户端到服务和服务服务通信。以流为价值思考也构成了围绕域事件设计微服务的基础，以及所谓的事件 - 首先是域驱动的设计。

行业内越来越多的情绪是需要重新思考企业集成（EIP）在流方面作为一流的概念 - 特别是，能够将流视为价值， *** 纵流，加入流或将它们拆分为完全异步且无阻塞的方式，始终具有流量控制（背压）。一个新兴的标准是Reactive Streams计划（现在作为FlowAPI包含在JDK9中）。

当您看到自己作为开发人员的职业生涯时，很多决定性的时刻都取决于您多早识别机会，拥抱一套新技术，以及您决定投入时间的地方。选择交易工具以及集中精力的地方是您作为开发人员的最大赌注。将流媒体放在待办事项列表的顶部（以便尽快投入）是一个绝对应该考虑在2018年制作的赌注 - 为您的职业，项目，业务和乐趣。这很容易让人忘记，但网络过去也是一个新概念 - 现在，不仅每个公司都接受它，而且网络变得如此受欢迎，以至于网络应用程序成为新的标准，并在很大程度上扼杀了桌面软件市场。这就是实时流媒体对应用和系统设计的长期影响。

---