虚拟机centos单机hadoop安装完成后怎么配置hadoop伪分布集群

虚拟机centos单机hadoop安装完成后怎么配置hadoop伪分布集群,第1张

伪分布式集群指的是在一台机群上搭建Hadoop集群,你有三台机器的话就直接搭建全分布是集群就可以了。
你说你在CentOs单机安装好hadoop是什么意思,指的是单机模式吗?那集群就把你现在安装好的hadoop目录copy到另外两台机器上,然后配置好SSH免密码登陆,以及确定哪台机器作为namenode和jobtracker,配置好core-sitexml,hdfs-sitexml,mapred-sitexml以及master和slaver文件即可。
具体步骤还请参考网上文章

设置虚拟机显示,方便在系统安装过程中查看全屏信息。 ◆ *** 作过程:在VirtualBox管理器界面;点击设置→选择“常规”中“高级”→勾寻在全屏或无缝模式显示”→点击确定→完成设置。 2 加载Centos64系统ISO映像

注意:如果服务器有防火墙千万记得开放端口

首先准备3个服务器并装好cassandra

一、清理cassandra数据目录

 二、修改cassandra配置

需要对3个服务器上的cassandra配置中的属性seeds、rpc_address、listen_address进行修改

首先登陆到服务器中

服务器1921688896 :

服务器19216888100 :

服务器19216888113 :

开放服务器端口7000、7001、9160、9042 我的服务器是centos7 

  开放端口

    重新启动防火墙:

    查看防火墙状态

在每个实例上启动cassandra:

并验证Cassandra集群设置是否成功:

    nodetool status

本文主要记录了使用Macbook软件PD安装CentOS65虚拟机并搭建redis集群的过程,期间遇到的坑也一并记录下来。

jdk版本:jdk8
-------------------------------------------------分割线---------------------------------------------------

----------------------------------------------------------分割线----------------------------------------------------------
以上是单机centos虚拟机安装以及常用软件安装设置,redis安装以及生产环境参数的配置工作。接下来的工作就是再创建三个一模一样的centos虚拟机,详细步骤我就不细说了。
下一篇文章是关于搭建redis集群的搭建,发布时间未知。 ,
PS:以上安装过程仅供参考,如有雷同,纯属巧合。

MySQL集群是什么鬼。。
应用用分库分表中间件shardingsphere,部署多个独立的mysql数据库实例就是集群了。
centos部署mysql网上翻一翻教程就好了
单机上可以在不同的端口起个mysql实例,组成单机伪集群
自己玩就弄多个虚拟机,或者用docker开多个docker-mysql进程也挺好的,推荐docker

随着OpenStack日渐成为开源云计算的标准软件栈,Ceph也已经成为OpenStack的首选后端存储。Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。

Ceph是一个开源的分布式文件系统。因为它还支持块存储、对象存储,所以很自然的被用做云计算框架openstack或cloudstack整个存储后端。当然也可以单独作为存储,例如部署一套集群作为对象存储、SAN存储、NAS存储等。

前三台服务器增加一块硬盘/dev/sdb实验, 创建目录并挂载到/var/local/osd{1,2,3};

规范系统主机名添加hosts文件实现集群主机名与主机名之间相互能够解析(host 文件添加主机名不要使用fqdn方式)可用 hostnamectl set-hostname [name] 设置分别打开各节点的 /etc/hosts 文件,加入这四个节点ip与名称的对应关系:

在管理节点使用ssh-keygen 生成ssh keys 发布到各节点

第一步:增加 yum配置文件(各个节点都需要增加yum源) vim /etc/yumreposd/cephrepo

或阿里的ceph源

复制配置文件到其它节点和客户端

在ceph1更新软件源并安装ceph-deploy 管理工具

配置文件的默认副本数从3改成2,这样只有两个osd也能达到 active+clean 状态,添加行 osd_pool_default_size = 2

(如果网络源安装失败,手工安装epel-release 然后安装yum –yinstall cep-release再yum –y install ceph ceph-radosgw)
错误参考: >

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/yw/13394381.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-07-27
下一篇 2023-07-27

发表评论

登录后才能评论

评论列表(0条)

保存