【大数据开发技术】期末复习（不挂科）

WritableComparable

面向列的分布式数据库

不能

 对

 不支持

对 

不占用

ssh-keygen –t rsa
ssh-copy-id localhost

（1）免密登录原理

（2）生成公钥和私钥：

[zs@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

（3）将公钥拷贝到要免密登录的目标机器上

[zs@hadoop102 .ssh]$ ssh-copy-id hadoop102
[zs@hadoop102 .ssh]$ ssh-copy-id hadoop103
[zs@hadoop102 .ssh]$ ssh-copy-id hadoop104

注意：

• 还需要在hadoop102上采用root账号，配置一下无密登录到hadoop102、hadoop103、hadoop104；
• 还需要在hadoop103上采用zs账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

ssh-keygen -t rsa
ssh-copy-id 目标服务器ip

总结：

1. 在当前服务器上生成公钥和私钥：ssh-keygen -t rsa
2. 将公钥拷贝到要免密登录的目标机器上：ssh-copy-id 目标服务器ip
3. 还需要在当前服务器上采用root账号，配置一下无密登录到目标服务器；
4. 在目标服务器上同样配置一下无密登录到当前服务器;
5. 即可实现服务器之间互相免密登录。

1. 跟namenode通信查询元数据，找到文件块所在的datanode服务器
2. 挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流
3. datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验）
4. 客户端以packet为单位接收，先在本地缓存，然后写入目标文件

  MapReduce提供Partitioner接口，它的作用就是根据key或value及reduce的数量来决定当前的这对输出数据最终应该交由哪个reduce task处理。默认对key hash后再以reduce task数量取模。默认的取模方式只是为了平均reduce的处理能力，如果用户自己对Partitioner有需求，可以订制并设置到job上。

使用Mapreduce实现（三个阶段：map起始阶段，map最后阶段，reduce阶段）

1. NameNode它是hadoop中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问，保存有metadate。
2. SecondaryNameNode它不是namenode的冗余守护进程，而是提供周期检查点和清理任务。帮助NN合并editslog，减少NN启动时间。
3. DataNode它负责管理连接到节点的存储（一个集群中可以有多个节点）。每个存储数据的节点运行一个datanode守护进程。
4. ResourceManager（JobTracker）JobTracker负责调度DataNode上的工作。每个DataNode有一个TaskTracker，它们执行实际工作。
5. NodeManager（TaskTracker）执行任务
6. DFSZKFailoverController高可用时它负责监控NN的状态，并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利，因为最多只有两个节点，目前选择策略还比较简单（先到先得，轮换）。
7. JournalNode 高可用情况下存放namenode的editlog文件.

不属于

GFS

不是

3份

抛出一个异常，然后退出

在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等

hdfs fsck /

结构化  半结构化  非结构化

概括点来说，就是传统的结构化数据，文字图片等，以及非结构化的数据，视频、音频等，都能基于Hadoop框架技术得到合理的处理。

Partitioner

Jobtracker

TextInputFormat

存储元数据(选择题)

1. 我们把目录结构及文件分块位置信息叫做元数据。Namenode 负责维护整个hdfs文件系统的目录树结构，以及每一个文件所对应的 block 块信息（block的id，及所在的datanode 服务器）。
2. Namenode节点负责确定指定的文件块到具体的Datanode结点的映射关系。在客户端与数据节点之间共享数据。
3. 管理Datanode结点的状态报告，包括Datanode结点的健康状态报告和其所在结点上数据块状态报告，以便能够及时处理失效的数据结点。

TextInputFormat 

A、 TextInputFormat
B、 KeyValueInputFormat
C、 SequenceFileInputFormat
选择（A）

• a)单机版
• b)伪分布式
• c)分布式

• core-site.xml
• hdfs-site.xml
• mapred-site.xml
• yarn-site.xml

(填空题)

HMaster节点、HRegionServer节点

-ROOT-表和.meta.表是hbase的元数据表，
在-ROOT-表中保存有.meta.表的相关信息，
在.meta.表中保存有业务表的region相关信息

一个键值对

HDFS是Hadoop分布式计算中的数据存储系统，是基于流数据模式访问和处理超大文件的需求而开发的

对

错，只适合大数据存储

不是  是datanode定期向namenode发送心跳消息

错（Jobtracker）

Jobtracker是主线程，它负责接收客户作业提交，调度任务到工作节点上运行tasktracker—由jobtracker指派任务，实例化用户程序，在本地执行任务并周期性地向jobtracker汇报状态.

错

NameNode 在启动时会自动进入安全模式。安全模式是NameNode的一种状态，在这个阶段，文件系统不允许有任何修改。

(1)Client向NameNode发起文件写入的请求。
(2)NameNode根据文件大小和文件块配置情况,返回给Client它所管理部分DataNode的信息。
(3) Client将文件划分为多个Block,根据DataNode的地址信息,按顺序写入到每一个DataNode块中。

1. 和namenode通信请求上传文件，namenode检查目标文件是否已存在，父目录是否存在
2. namenode返回是否可以上传
3. client请求第一个 block该传输到哪些datanode服务器上
4. namenode返回3个datanode服务器ABC
5. client请求3台dn中的一台A上传数据（本质上是一个RPC调用，建立pipeline），A收到请求会继续调用B，然后B调用C，将真个pipeline建立完成，逐级返回客户端
6. client开始往A上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，A收到一个packet就会传给B，B传给C；A每传一个packet会放入一个应答队列等待应答
7. 当一个block传输完成之后，client再次请求namenode上传第二个block的服务器。

NameNode(名称节点)–>DataNode(数据节点)–>SecondaryNameNode(从元数据节点)–>resourcemanager(资源管理器)–>nodemanager(节点管理器)

1. fsimage文件其实是Hadoop文件系统元数据的一个永久性的检查点，其中包含Hadoop文件系统中的所有目录和文件idnode的序列化信息；
2. edits文件存放的是Hadoop文件系统的所有更新 *** 作的路径，文件系统客户端执行的所有写 *** 作首先会被记录到edits文件中。

在HDFS中，每一个文件块都会有一条元数据用来唯一标识这个文件块的存在。
而Fimage和edit.log这两个文件就是用来保存，处理这些元数据信息的文件。

1）区别

1. NameNode 负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。
2. SecondaryNameNode 主要用于定期合并命名空间镜像和命名空间镜像的编辑日志。

2）联系

1. SecondaryNameNode 中保存了一份和 namenode 一致的镜像文件（fsimage）和编辑日志（edits）。
2. 在主 namenode 发生故障时（假设没有及时备份数据），可以从 SecondaryNameNode

1、hadoop安装包下载
2、hadoop安装包解压
3、hadoop伪分布式环境搭建

环境搭建步骤如下：

1、将hadoop安装目录添加到系统环境变量（～/.bash_profile）
2、配置hadoop环境的配置文件hadoop-env.sh
3、配置hadoop核心文件core-site.xml
4、配置HDFS文件hafs-site.xml
5、配置MapReduce文件mapred-site.xml
6、配置YARN文件yaen-site.xml
7、从节点配置文件slaves

 Doug cutting 

package com.zs.mapreduce.wordcount;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class WordCountDriver {

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        // 1. 获取job
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        // 2. 设置jar包路径
        job.setJarByClass(WordCountDriver.class);

        // 3. 关联mapper和reducer
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);

        // 4. 设置map输出的kv类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        // 5. 设置最终输出kV类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        // 6.设置输入路径和输出路径
        FileInputFormat.setInputPaths(job, new Path("D:\software\hadoop\input\inputword"));
        FileOutputFormat.setOutputPath(job, new Path("D:\software\hadoop\output\output3"));

        // 7. 提交job
        boolean result = job.waitForCompletion(true);

        System.exit(result ? 0 : 1);
    }
}

package com.zs.mapreduce.wordcount;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;  // 2.x 3.x，mapred:1.x

import java.io.IOException;


public class WordCountMapper extends Mapper {

    // 定义全局变量，节省资源
    private Text outK = new Text();
    private IntWritable outV = new IntWritable(1);

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
//        super.map(key, value, context);
        // 1. 获取一行
        String line = value.toString();

        // 2. 切割
        String[] words = line.split(" ");

        // 3. 循环写出
        for (String word : words) {
            // 封装outK
            outK.set(word);
            // 写出
            context.write(outK, outV);
        }
    }
}

package com.zs.mapreduce.wordcount;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;


public class WordCountReducer extends Reducer {
    private IntWritable outV = new IntWritable();

    @Override
    protected void reduce(Text key, Iterable values, Context context) throws IOException, InterruptedException {

        int sum = 0;

        // 累加
        for (IntWritable value : values) {
            sum += value.get();
        }
        outV.set(sum);

        // 写出
        context.write(key, outV);
    }
}

暂且为止！

public static class TokenizerMapper extends Mapper<0bject, Text, Text, Intwritable>{
	private final static Intwritable one = new Intwritable(1);
	private Text word = new Text();
	
	public void map(Object key,Text value,Context context) throws IOException, InterruptedException {
		StringTokenizer itr = new StringTokenizer(value.toString());
		while (itr.hasMoreTokens()) {
			word.set(itr.nextToken());
			context.write(word, one);
		}
	}
}

public static class IntSumReducer extends Reducer {

	private Intwritable result = new Intwritable( );
	
	public void reduce(Text key, Iterable values, Context context) throws IOException,InterruptedException {
		int sum = 0 ;
		for(Intwritable val : values) {
			sum += val.get();
		}
		result.set(sum) ;
		context.write(key, result)	
	}
}

public static void main(String[] args) throws Exception {
	// 1. 获取job
	configuration conf = new Configuration();
	Job job = Job.getInstance(conf, "word count" );
	
	// 2. 设置jar包路径
	job.setJarByClass(wordCount.class );
	
	// 3. 关联mapper和reducer
	job.setMapperClass(TokenizerMapper.class);
	job.setCombinerclass(IntsumReducer.class);

	// 4. 设置map输出的kv类型
	job.setReducerClass(IntSumReducer.class);
	// 5. 设置最终输出kV类型
	job.setOutputKeyClass(Text.class);
	job.setOutputvalueclass(Intwritable.class);

	// 6.设置输入路径和输出路径
	FileInputFormat.addInputPath(job,new Path(args [ 0]));
	FileoutputFormat.setOutputPath(job,new Path(args[ 1]));
	
	 // 7. 提交job
	System.exit(job.waitForCompletion(true) ? 0 : 1) ;
}

• 单从大数据学习角度来说：想要学好BD还是需要下更多功夫去钻研的。
• 单从考试角度来说：想考个及格还是不难的，毕竟考试比较水，大家都懂。
• 考试既然水，分数就无所谓高低，重要的是我们学了多少东西。
• 如果看到这里，首先恭喜你与我同在，提前祝你考一个好的成绩。
• 如果有用的话，小伙伴帮忙点赞/打赏，算是对俺无私分享的支持与鼓励。
• 再次感谢大家的支持与陪伴，感谢其他学霸/大佬对此文的贡献，我仅仅是一个文字搬运工，分享快乐。

加油!

感谢!

努力!