生产集群不会每台都有访问外网的权限,一般管理员会有master的外网访问权限,为了保证hadoop或spark程序的正确运行,保证节点间的时间同步是很有必要的,因此需要设置局域网内次节点与master时间同步。
1) 一般系统安装时的时区都会选择上海,如果需要重新选择时区,那么在master下敲入tzselect进行时区选择。
2) Linux一般都是安装了ntp的,如果没有安装可以用yum install ntp来安装一下(这个安装应该直接在系统的yum库中可以找到,因此不需要网络的),每台节点都需要确保其安装。
3) chkconfig ntpd on命令设置ntp永久开启
4) 接下来在master上需要进行配置文件的修改。
首先停掉ntpd服务: service ntpd stop
vim /etc/ntpconf
将文件修改如下:
1> restrict 1921681300 mask 2552552550 nomodify notrap 此处修改的意思为处于192168130网段的全部ip都可以与master来设置时间同步。
2> 对于新加的几个server,其目的如下注释:
server 2107214544 perfer #国家时间校准中心
server 2021121036 #校准备用服务器
server 5912419683 #校准备用服务器
server 19216813056 #局域网NTP服务器IP,也就是主节点
配置好后,master中root下启动ntpd: service ntpd start
设置每天同步一次: crontab –l
5) 次节点同步
次节点先停掉ntpd服务,然后输入: ntpdate master_host_name ,然后启动ntpd,此时输入 date 命令,看看时间是否正常了,同时可以通过设置 crontab –l 来使其每天都同步一次。全部的节点都这么同步一下。
我的博客 : > 开发一个网络游戏以开发团队30人,开发周期18个月,人均月成本1万元计算(这个是概数),约为540万计算技术购买,测试服务器费用等等等等其他一切费用,普通国产网络游戏开发成本应该在600-1000万之间 运营成本假设准备做到在线5万人,以平均10台服务器/组,5000人/组承载计算,约需10组,100台服务器算上网站服务器,备用服务器等等,120台服务器投入是比较保守的估计以单台平均18万计算,约220万左右 IDC费用,以5000人/100M独享带宽,12台服务器/机柜计算,约需10X100M带宽,10个机柜 费用应该在10X1万/月,2年费用应为240万左右 宣传成本以2个暑假寒假共投入200万,初期宣传200万,日常宣传100万计算,约需500万宣传费用 人员5万在线的规模,大约需要40-60人的运营团队,以50人计算,月均成本约50万,2年成本大约1200万 办公费用啥的,算2年一共200万
Master节点的web端口是8080,work节点的web端口是8081
spark master web ui 默认端口为8080,当系统有其它程序也在使用该接口(比如:Tomcat)时,启动master时也不会报错,spark自己会改用其它端口,自动端口号加1,也可以自行设置,修改方法:
1、cd $SPARK_HOME/sbin
2、vi start-mastersh
if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then
SPARK_MASTER_WEBUI_PORT=8080 #可以修改端口号
fi
8080端口:master WEB端口
8081端口:work WEB端口
7077端口:
master通信端口
18080端口:spark历史服务器端口
相关配置:
conf目录下
cp spark-defaultsconftemplate spark-defaultsconf
编辑spark-defaultsconf这个文件
编辑spark-envsh文件
使用sbin/start-history-serversh脚本启动
启动日志:
执行spark任务
启动日志:
Web界面
4040端口:
23 Spark当前执行的任务页面查看端口4040(例如:使用spark-shell启动spark,此时的任务可以在4040端口页面查看),如果任务结束了4040端口页面不能访问
默认是4040,我改配置改了下
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)