大数据之Ambari2.7+HDP3.0(一)

大数据之Ambari2.7+HDP3.0(一),第1张

公司目前在开展大数据业务,在大数据框架选型方面一直在Ambari+HDP 和CM+CDH之中徘徊。我就尝试动手搭建了两套环境来试试效果。接下来我会记录搭建HDP和CDH环境的详细步骤。。

如果是生产环境打算用ambari+hdp,不建议用高版本,因为后期需要自己整合一些组件,比如impala、flume,很麻烦,特别是版本不匹配的时候,简直吐血。。

接下来的我会把搭建过程一一记录下来。。机器使用的是阿里云的。。

总共用了四台阿里云的机器来做环境搭建测试

以下以在ambarigeycom机器上做的演示,其他机器做前三步修改即可

[root@iZhp3d9vtcbp6p96whe4uvZ ~]#
NETWORKING=yes
HOSTNAME=ambarigeycom

[root@iZhp3d9vtcbp6p96whe4uvZ ~]#
1722514710 ambarigeycom
1722514711 mastergeycom
1722514712 slave1geycom
1722514713 slave2geycom

[root@iZhp3d9vtcbp6p96whe4uvZ ~]#
ambarigeycom

[root@iZhp3d9vtcbp6p96whe4uvZ ~]# systemctl status firewalldservice
[root@iZhp3d9vtcbp6p96whe4uvZ ~]# systemctl disable firewalldservice

注意:修改完上述配置后重启

[root@ambari ~]# yum install openssl

检查是否已安装:[root@ambari ~]# rpm -qa | grep ntp
未安装则安装:[root@ambari ~]# yum install ntp ntpdate -y

[root@ambari ~]# vim /etc/selinux/config
SELINUX=disabled

安装>

安装HDP显示时间或网络是因为网速不稳定。导致某些jar包不完整,个人推荐用FlashFXP,解压本地下载好的targz,将相应的jar包重新上传,某些服务安装不成功,先重试下还不行重新安装服务即可。

安装HDP的特点

HDP全称叫做HortonworksDataPlatform,Hortonworks数据平台是一款基于ApacheHadoop的是开源数据平台,提供大数据云存储,大数据处理和分析等服务,该平台是专门用来应对多来源和多格式的数据,并使其处理起来能变成简单更有成本效益。

HDP还提供了一个开放,稳定和高度可扩展的平台,使得更容易地集成ApacheHadoop的数据流业务与现有的数据架构,集群服务器配置,包括安装 *** 作系统关闭防火墙同步服务器时钟等,安装Ambari管理器。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zz/13308133.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-07-12
下一篇 2023-07-12

发表评论

登录后才能评论

评论列表(0条)

保存