【大数据离线开发】1、大数据准备环境之Linux配置

大数据准备环境 1.1 Linux实验环境 1.1.1 准备Linux *** 作系统

Linux *** 作系统：RedHat 7.4  64位 自带netcat服务器（测试：Spark Streaming）
VMware版本不能太低：12版本
类型：Redhat Linx 7 64位
网卡：仅主机模式
一共5台虚拟机：安装JDK、配置主机名、关闭防火墙
    192.168.157.111   bigdata111
    192.168.157.112   bigdata112
    192.168.157.113   bigdata113
    192.168.157.114   bigdata114
    192.168.157.115   bigdata115

1.1.2配置Linux和Linux的目录结构

1、关闭防火墙
查看防火墙的状态：systemctl status firewalld.service
关闭防火墙：      systemctl stop firewalld.service
禁用防火墙（永久）systemctl disable firewalld.service

2、修改ip地址
查看ip地址   ifconfig
修改IP地址   vi /etc/sysconfig/network-scripts/ifcfg-ensXX
				
				BOOTPROTO=static
				...
				IPADDR=192.168.157.111
				PREFIX=24
				GATEWAY=192.168.157.2
				IPV6_PRIVACY=no

修改完成后重启ip  service network restart 
查看ip地址是否修改成功 ifconfig

3、设置主机名和IP的对应关系 （配置文件） /etc/hosts
    vi /etc/hosts
	192.168.157.111 bigdata111
	...112 bigdata112
	...113

4、Linux目录结构
	特别目录：Linux的tmp目录
		（*）特点：一旦Linux重启，该目录下的所有数据将会删除
		（*）HDFS默认的数据保存的目录是/tmp

1.1.3 vi编辑器

三种模式：
   1、编辑模式：等待命令的输入
              按i--> 进入：插入模式
              按：（冒号）进入命令模式
   2、插入模式: 按esc键回到编辑模式
   3、命令模式
          (*) w: 保存
          (*) q: 退出
          (*) wq: 保存退出
          (*)wq!:强制保存退出
          (*) 打开行号：set number
          (*) 关闭行号: set nonumber
          (*) 换行: set wrap
                   set nowrap

1.1.4 Linux的基本 *** 作

（*）ls 显示文件和目录列表 
        -l列出文件的详细信息   等价于ll
        -a列出当前目录所有文件，包含隐藏文件

               隐藏文件：.bash_profile 设置环境变量：JAVA_HOME、HADOOP_HOME
               隐藏目录：.ssh   ----> 配置Hadoop和Spark的免密码登录
               查询Hadoop的中文件：hdfs dfs -ls /

（*）当前目录：pwd
             /root ---> root用户的HOME目录（快捷方式： ~）
（*）mkdir 创建目录
          -p父目录不存在情况下先生成父目录
          约定：mkdir /root/tools        ---> 所有的安装包
               mkdir /root/training      ---> 安装目录
          在Hadoop中创建目录：hdfs dfs
								-mkdir /aaa
（*）cd 切换目录
（*）touch 生成一个空文件
               echo 生成一个带内容文件 ----> 更常用的用法：查看环境变量
                   echo $JAVA_HOME
（*）cat、tac 显示文本文件内容
               cat是从第一行开始写；tac是从最后一行开始写
               举例: cat a.txt
               查看Hadoop中文件的内容： hdfs dfs -cat /a.txt
（*）cp 复制文件或目录
             cp a.txt data.txt
                在Hadoop中拷贝数据:  hdfs dfs -cp /a.txt /b.txt

（*）rm 删除文件
              -r 同时删除该目录下的所有文件
              -f 强制删除文件或目录

              rm -rf a.txt
              在Hadoop中删除文件：hdfs dfs
-rmr /a.txt

（*）kill：杀死
             参数:  -9  强制杀死一个进程
                    -3 Java进程，打印Java进程的Thread Dump

（*）tar命令：打包压缩

1.1.5Linux的权限管理（类似HDFS的权限管理）

权限的类型

r	读
w	写
x	执行

使用ls -l或者ll命令查看权限

1.1.6Java的死锁分析（或者产生了性能的瓶颈）

参考博客：https://www.cnblogs.com/toSeeMyDream/p/7151635.html

JDK heap dump:分析OOM的问题

JDK Thread dump：分析性能瓶颈（线程信息）

Java提供了一个非常强大的性能诊断工具：Thread Dump（文本信息）

• 1、Linux：kill -3 PID（就是Java的进程号）
• 2、Windows: 按ctrl+break（fn+B） 键

[root@bigdata111 ~]# mkdir temp
[root@bigdata111 ~]# cd temp/
[root@bigdata111 temp]# ls
DeadLock.java
[root@bigdata111 temp]# javac DeadLock.java 
[root@bigdata111 temp]# java DeadLock
*** Thread A: ***: Lock A
*** Thread B: ***: Lock B

切换窗口
[root@bigdata111 ~]# which jps
/root/training/jdk1.8.0_144/bin/jps
[root@bigdata111 ~]# jps
1217 Jps
1180 DeadLock
[root@bigdata111 ~]# kill -3 1180