Hadoop自带了一个历史服务器,可以通过历史服务器在web端查看已经运行完的Mapreduce作业记录,比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下,Hadoop历史服务器是没有启动的,需要自行启动。启动后,在下图中点击history可跳转至历史服务器查看信息。
配置历史服务器
配置文件mapred-sitexml
配置文件在hadoop文件夹下的etc/hadoop中。
在该配置文件中添加如下代码:
其中mapreducejobhistoryaddress是启动历史服务器的端口,mapreducejobhistorywebappaddress是历史服务器web端的端口。
(可以自己设置端口号,建议不要太小)
<configuration>
<property>
<name>mapreducejobhistoryaddress</name>
<value>hadoop101:10020</value>
</property>
<property>
<name>mapreducejobhistorywebappaddress</name>
<value>hadoop101:19888</value>
</property>
</configuration>
登录后复制
分发配置文件
使用xsync命令向其他服务器分发配置文件:
xsync mapred-sitexml
登录后复制
启动历史服务器
首先要先启动hadoop集群:
start-allsh
登录后复制
再启动历史服务器:
mapred --daemon start historyserver
登录后复制
查看历史服务器
使用jps查看是否启动成功:
可以看到在5384端口,历史服务器已经运行。
在浏览器中打开hadoop:19888,即可看到历史服务器,如下图:
测试历史服务器
上传一个测试任务,其中/wcinput中包含有一个txt文件,可以自行创建任意内容,输出到名为/wcoutput1的文件夹中。(注意:输出的文件夹应不存在,否则会出错)
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-313jar wordcount /wcinput /wcoutput1
登录后复制
其中/wcinput文件夹在hadoop的目录下,并在该目录输入上述命令上传任务。(如下图)
等待任务运行完成后:
在web端查看运行情况:
点击右下角的History进入历史服务器查看详情:
至此历史服务器配置完成查看系统体系结构
在 *** 作系统中查看服务器的型号方法:1、通过DOS命令查看服务器的配置。2、查询服务器型号。3、查看CPU几核和CPU信息。4、查看内存的频率。5、查看内存的插槽数,已经使用多少插槽每条内存多大。
uname -a 查看及启动系统的32位或64位内核模式:isalist _v [isainfo _v][isainfo _b]dmidecode查看硬件信息,包括bios、cpu、内存等信息 测定当前的显示器刷新频率。
检测linux系统下ftp服务器是否开启的方法如下:
1、第一步,打开一台Linux的电脑,进入到输入shell指令的命令行状态下,如下图所示。
2、第二步,使用键盘在命令行中输入:”service vsftp status“这个指令,指令的意思是查看ftp服务器的状态,如下图所示。
3、第三步,输入完成之后,点击”回车键“运行该指令,就会显示ftp服务器的开关状态,比如下图就是“inactive”状态,表示ftp服务器处于关闭状态,如下图所示。
Linux *** 作系统中可以查看注册到服务器的服务的文件有很多,比如:1 /etc/inittab 文件:该文件用于控制系统启动时哪些服务会被自动启动,在该文件中可以查看到注册到服务器的服务。
2 /etc/rcd/ 目录:该目录下的文件用于控制系统启动时各个服务的启动顺序,在该目录下可以查看到注册到服务器的服务。
3 /etc/services 文件:该文件用于记录系统上安装的服务,包括TCP和UDP服务,可以查看到注册到服务器的服务。
4 /usr/sbin 目录:该目录用于存放系统上安装的服务程序,可以查看到注册到服务器的服务。
此外,还可以通过查看系统上安装的软件包来查看注册到服务器的服务,使用rpm或dpkg等工具可以获取到软件包的信息,从而查看注册到服务器的服务。redhat的话可以 service >
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)