熟悉常用的 Linux *** 作和 Hadoop *** 作

1.切换到当前目录的上一级目录 cd .. 2.切换到当前登录 Linux 系统的用户自己的主文件夹 cd ~ 3.进入/tmp 目录，创建目录 a1/a2/a3/a4。 mkdir a1/a2/a3/a4 -p 4.删除目录 rmdir a rmdir a1/a2/a3/a4 -p 5.cp 命令：复制文件或目录 (1) 将当前用户的主文件夹下的文件.bashrc 复制到目录“/usr”下，并重命名为 bashrc1 sudo cp .bashrc /usr/bashrc1 (2) 在目录“/tmp”下新建目录 test，再把这个目录复制到“/usr”目录下 cd /tmp mkdir test sudo cp /tmp/test /usr -r 6.mv 命令：移动文件与目录，或更名 (1) 将“/usr”目录下的文件 bashrc1 移动到“/usr/test”目录下 sudo mv /usr/bashrc1 /usr/test (2) 将“/usr”目录下的 test 目录重命名为 test2 sudo mv /usr/test /usr/test2 7.rm 命令：移除文件或目录 (1) 将“/usr/test2”目录下的 bashrc1 文件删除 sudo rm /usr/test2/bashrc1 (2) 将“/usr”目录下的 test2 目录删除 sudo rm -rf /usr/test2 8.cat 命令：查看文件内容查看当前用户主文件夹下的.bashrc 文件内容 cat .bashrc 9.tac 命令：反向查看文件内容反向查看当前用户主文件夹下的.bashrc 文件的内容 tac .bashrc 10.more 命令：一页一页翻动查看翻页查看当前用户主文件夹下的.bashrc 文件的内容 more .bashrc 11.head 命令：取出前面几行 (1) 查看当前用户主文件夹下.bashrc 文件内容前 20 行 head -n20 .bashrc (2)查看当前用户主文件夹下.bashrc 文件内容，后面 50 行不显示，只显示前面几行 head -n -50 .bashrc 12.tail 命令：取出后面几行 (1)查看当前用户主文件夹下.bashrc 文件内容最后 20 行 tail -n20 .bashrc (2)查看当前用户主文件夹下.bashrc 文件内容，并且只列出 50 行以后的数据 tail -n -50 .bashrc 13.touch 命令：修改文件时间或创建新文件 (1) 在“/tmp”目录下创建一个空文件 hello，并查看文件时间 touch hello stat hello (2)修改 hello 文件，将文件时间整为 5 天前 touch -d "2019-3-26" hello stat hello 14.chown 命令：修改文件所有者权限将 hello 文件所有者改为 root 帐号，并查看属性 sudo chown root hello ls -l hello 15.find 命令：文件查找找出主文件夹下文件名为.bashrc 的文件 find .bashrc 16.tar 命令：压缩命令 (1) 在根目录“/”下新建文件夹 test，然后在根目录“/”下打包成 test.tar.gz tar -zcvf test.tar.gz test/ (2) 把上面的 test.tar.gz 压缩包，解压缩到“/tmp”目录 tar -zxvf test.tar.gz 17.grep 命令：查找字符串从“～/.bashrc”文件中查找字符串'examples' grep -rn "examples" .bashrc 18.使用 hadoop 用户登录 Linux 系统，启动 Hadoop（Hadoop 的安装目录为“/usr/local/hadoop”），为 hadoop 用户在 HDFS 中创建用户目录“/user/hadoop” ./bin/hadoop fs -mkdir -p /usr/hadoop 19.接着在 HDFS 的目录“/user/hadoop”下，创建 test 文件夹，并查看文件列表 ./bin/hdfs dfs -mkdir test ./bin/hadoop fs -ls 20.将 Linux 系统本地的“～/.bashrc”文件上传到 HDFS 的 test 文件夹中，并查看 test ./bin/hadoop fs -put ~/.bashrc test ./bin/hadoop fs -ls test 21.将 HDFS 文件夹 test 复制到 Linux 系统本地文件系统的“/usr/local/hadoop”目录下 参考： 1

前期准备

l 两台linux虚拟机（本文使用redhat5，IP分别为 IP1、IP2）

l JDK环境（本文使用jdk1.6，网上很多配置方法，本文省略）

l Hadoop安装包（本文使用Hadoop1.0.4）

搭建目标

210作为主机和节点机，211作为节点机。

搭建步骤

1修改hosts文件

在/etc/hosts中增加：

IP1 hadoop1

IP2 hadoop2

2 实现ssh无密码登陆

2.1 主机（master）无密码本机登陆

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

直接回车，完成后会在 ~/.ssh/ 生成两个文件： id_dsa 和 id_dsa.pub 。

这两个是成对出现，类似钥匙和锁。

再把 id_dsa.pub 追加到授权 key 里面 ( 当前并没有 authorized_key s文件 ) ：

cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

ssh localhost hostname

还是要输入密码，一般这种情况都是因为目录或文件的权限问题，看看系统日志，确实是权限问题

.ssh下的authorized_keys权限为600，其父目录和祖父目录应为755

2.2 无密码登陆节点机（slave）

slave上执行：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

生成.ssh目录。

将master上的authorized_keys复制到slave上：

scp authorized_keys hadoop2:~/.ssh/

实验：在master上执行

ssh hadoop2

实现无密码登陆。

3 配置Hadoop

3.1拷贝hadoop

将hadoop-1.0.4.tar.gz ,拷贝到usr/local 文件夹下，然后解压。

解压命令：

tar –zxvf hadoop-1.0.4.tar.gz

3.2查看 cat /etc/hosts

IP1 hadoop1

IP2 hadoop2

3.3 配置 conf/masters 和 conf/slaves

conf/masters：

1

IP1

conf/slaves：

1

2

IP2

IP2

3.4 配置 conf/hadoop-env.sh

加入

1

export JAVA_HOME=/home/elvis/soft/jdk1.7.0_17

3.5 配置 conf/core-site.xml

1

2

3

4

<property>

<name>fs.default.name</name>

<value>hdfs://IP1:9000</value>

</property>

3.6 配置 conf/hdfs-site.xml

加入

<property>

<name>dfs.http.address</name>

<value>IP1:50070</value>

</property>

<property>

<name>dfs.name.dir</name>

<value>/usr/local/hadoop/namenode</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>/usr/local/hadoop/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

3.7 配置conf/mapred-site.xml

加入

<property>

<name>mapred.job.tracker</name>

<value>192.168.1.50:8012</value>

</property>

3.8 建立相关的目录

1

/usr/local/hadoop/ //hadoop数据和namenode目录

【注意】只创建到hadoop目录即可，不要手动创建data和namenode目录。

其他节点机也同样建立该目录。

3.9 拷贝hadoop文件到其他节点机

将hadoop文件远程copy到其他节点（这样前面的配置就都映射到了其他节点上），

命令：

1

scp -r hadoop-1.0.4 IP2:/usr/local/

3.10 格式化Active master

命令：

bin/hadoop namenode -format

3.11 启动集群 ./start-all.sh

现在集群启动起来了，看一下，命令：

1

bin/hadoop dfsadmin -report

2个datanode，打开web看一下

浏览器输入:IP1:50070

打完收工，集群安装完成！

一、安装hadoop

1 因为hadoop是基于java的，所以要保证hadoop能找到在本地系统中大路径，即正确设置java的环境变量。

详细请看：linux 安装配置jdk

2 到官网：http://www.apache.org/dyn/closer.cgi/hadoop/common/ 下载hadoop，

这里我选择hadoop1.0.4

3 解压到 /usr/local

tar -xvf hadoop-1.0.4.tar.gz

4 设置hadoop环境变量，为了使环境变量永久有效并对所有用户有效，我们将下面两句添加到/etc/profile

export HADOOP_HOME=/usr/local/hadoop-1.0.4

export PATH=$PATH:$HADOOP_HOME/bin

---