Replica Sets
MongoDB 支持在多个机器中通过异步复制达到故障转移和实现冗余。多机器中同一时刻只 有一台是用于写 *** 作。正是由于这个情况,为 MongoDB 提供了数据一致性的保障。担当 Primary 角色的机器能把读 *** 作分发给 slave。
Replica Sets的结构非常类似一个集群。因 为它确实跟集群实现的作用是一样的, 其中一个节点如果出现故障, 其它节点马上会将业务接过来而无须停机 *** 作。
下面以本机为例介绍一下集群的部署过程,以及部署过程中常见的注意点及错误
本例环境是Linux *** 作系统,mongodb版本:mongodb-linux-x86_64-261tgz,Vmwre虚拟机,虚拟机IP:192168169129,集群以本机不同端口模拟三台服务器。
1集群主要分为三个节点master主节点,slaver备用节点,arbiter仲裁节点
建立数据文件夹
1
2
3
mkdir -p /mongodb/data/master
mkdir -p /mongodb/data/slaver
mkdir -p /mongodb/data/arbiter
ps:三个目录分别对应主,备,仲裁节点
2建立配置文件夹
1)masterconf
打开编辑器:
1
vi /etc/masterconf
按i 输入下列配置
1
2
3
4
5
6
7
dbpath=/home/mongodb/data/master
logpath=/home/mongodb/log/masterlog
logappend=true
replSet=rep1
port=10000
fork=true
journal=true
完成之后按esc 》》 : >>wq>>回车
2)slaverconf
编辑器打开和保存按上边的步骤,下边只写详细内容
1
2
3
4
5
6
7
dbpath=/home/mongodb/data/slaver
logpath=/home/mongodb/log/slaverlog
logappend=true
replSet=rep1
port=10001
fork=true
journal=true
3)arbiterconf
1
2
3
4
5
6
7
8
dbpath=/home/mongodb/data/arbiter
logpath=/home/mongodb/log/arbiterlog
logappend=true
replSet=rep1
port=10002
fork=true
journal=true
smallfiles=true
参数解释:
dbpath:数据存放目录
logpath:日志存放路径
logappend:以追加的方式记录日志
replSet:replica set的名字
port:mongodb进程所使用的端口号,默认为27017
fork:以后台方式运行进程
journal:写日志
smallfiles:当提示空间不够时添加此参数
其他参数
pidfilepath:进程文件,方便停止mongodb
directoryperdb:为每一个数据库按照数据库名建立文件夹存放
bind_ip:mongodb所绑定的ip地址
oplogSize:mongodb *** 作日志文件的最大大小。单位为Mb,默认为硬盘剩余空间的5%
noprealloc:不预先分配存储
3启动Mongodb
1
cd /home/mongodb/bin
启动服务
1
2
3
4
5
/mongod -f /etc/masterconf
/mongod -f /etc/slaverconf
/mongod -f /etc/arbiterconf
有这样的提示说明启动成功
如果是下列的提示说明启动失败
启动失败的原因有很多,检查完配置文件,如果没有错误,可打开相应的配置文件查看详细的错误信息
cat /etc/masterconf
最常见的一个错误就是磁盘空间不足,会提示这样的错误
因为Mongodb的日志文件是成2g的增长,所以所需空间比较大,这时你可以在配置文件里添加这样的一个配置
smallfiles=true。
全部三个服务全部启动成功之后
4配置主(master),备(slaver),仲裁(arbiter)节点
可以通过客户端连接mongodb,也可以直接在三个节点中选择一个连接mongodb。
/mongo 192168169129:10000 #ip和port是某个节点的地址
>use admin
>cfg={ _id:"rep1", members:[ {_id:0,host:'192168169129:10000',priority:2}, {_id:1,host:'192168169129:10001',priority:1},
{_id:2,host:'192168169129:10002',arbiterOnly:true}] };
>rsinitiate(cfg) #使配置生效
{
"set" : "rep1",
"date" : ISODate("2014-09-05T02:44:43Z"),
"myState" : 1,
"members" : [
{
"_id" : 0,
"name" : "192168169129:10000",
"health" : 1,
"state" : 1,
"stateStr" : "PRIMARY",
"uptime" : 200,
"optime" : Timestamp(1357285565000, 1),
"optimeDate" : ISODate("2013-01-04T07:46:05Z"),
"self" : true
},
{
"_id" : 1,
"name" : "192168169129:10001",
"health" : 1,
"state" : 2,
"stateStr" : "SECONDARY",
"uptime" : 200,
"optime" : Timestamp(1357285565000, 1),
"optimeDate" : ISODate("2013-01-04T07:46:05Z"),
"lastHeartbeat" : ISODate("2013-01-05T02:44:42Z"),
"pingMs" : 0
},
{
"_id" : 2,
"name" : "192168169129:10002",
"health" : 1,
"state" : 7,
"stateStr" : "ARBITER",
"uptime" : 200,
"lastHeartbeat" : ISODate("2013-01-05T02:44:42Z"),
"pingMs" : 0
}
],
"ok" : 1
}
配置过程中可能还会出现其他的一些错误,不过都可以去查看相应的日志文件,去解决。
环境准备:
要做到服务器集群的时间同步,集群中各台机器的时区必须相同的,我们在国内就使用中国时区,如果你的机器的时区不是"Asia/Shanghai",需要修改时区
CentOS 中时区是以文件形式存在,当前正在使用的时区文件位于
/etc/localtime ,其他时区文件则位于 /usr/share/zoneinfo 下,中国时区的文件全路径是 /usr/share/zoneinfo/Asia/Shanghai
要更改时区,直接使用如下命令就OK
需要使用 tzselect 命令去生成时区文件,生成好的时区文件就在/usr/share/zoneinfo 目录下,具体步骤去下:
使用 date -s 命令来修改系统时间
让集群所有的服务器的时间同步,就用远程连接工具连接所有服务器,然后在所有的服务器中同时执行 date -s 命令设置时间,然后在所有的服务器中执行 hwclock -w 命令即可
美国标准技术院时间服务器:timenistgov(1924324418)
上海交通大学网络中心NTP服务器地址:ntpsjtueducn(2021202101)
中国国家授时中心服务器地址:cnpoolntporg(2107214544)
若以上提供的网络时间服务器不可用,请自行上网寻找可用的网络时间服务器
<1> 使用命令: crontab -e
<2> 然后往里加入一行内容
上面的配置表示,每隔十分钟从 2021202101 该时间服务器同步一次时间。
<3> 保存退出
以上两步 *** 作可以让node01这个服务器每隔10分钟去指定的服务器同步时间,如果需要让集群中的所有服务器(hadoop01-hadoop04)时间同步,那么每台服务器都要做以上两步 *** 作。
node01的IP为19216821101,让它作为时间服务器,192168210局域网内的所有服务器都向它同步时间,而node01这台时间服务器本身,向外网时间服务器同步时间(比如中国国家授时中心服务器)
我用node01
我去掉了所有的默认注释,对其中的修改写了自己的注释,没有写注释的是默认配置
因为ntpd服务开启之后,就不能手动同步时间了,那么为什么要先手动同步时间呢?
当server(中国国家授时中心服务器)与client(node01)之间的时间误差过大时(可能是1000秒),node01去同步时间可能对系统和应用带来不可预知的问题,node01将停止时间同步!所以如果发现node01启动之后时间并不进行同步时,应该考虑到可能是时间差过大引起的,此时需要先手动进行时间同步!
看到红色框中的内容,表示连接和监听已正确
这里的前4行就是我们配置的4个中国国家授时中心的服务器的信息
最后一行就是本地时间服务的信息
下面对每个列的意义进行说明:
同样,服务启动后需要等待5-10分钟才能看到这个正常的信息
到这里,我们局域网内的时间服务器node01就已经配置完毕了
文件内容如下:
同样,没有写注释的都是默认的配置
原因同(5)
到这里,利用局域网内一台时间服务器来同步整个集群时间的全部配置就已经完成
说明:若以上提供的网络时间服务器不可用,请自行上网寻找可用的网络时间服务器,另外需要关闭各服务器的防火墙,才能进行时间同步
参考文章:
内网环境NTP服务及时间同步(CentOS6x)配置和部署
配置NTP服务ntpd/ntpconf(搭建Hadoop集群可参考)
第一阶段:linux基础入门
1 开班课程介绍-规章制度介绍-破冰活动;
2 Linux硬件基础/Linux发展历史;
3 Linux系统安装/xshell连接/xshell优化/SSH远程连接故障问题排查
4 第一关一大波命令及特殊字符知识考试题讲解
5 L inux基础优化
6 Linux目录结构知识精讲
7 第二关一大波命令及特殊知识考试题讲解(上)
8 第二关一大波命令及特殊知识考试题讲解(下)
9 Linux文件属性一大堆知识精讲
10 Linux通配符/正则表达式
11 第三关一大波命令及重要知识考试题讲解(上)
12 第三关一大波命令及重要知识考试题讲解(下)
13 Linux系统权限(上)
14 Linux系统权限(下)
15 第一阶段结束需要导师或讲师对整体课程进行回顾
第二阶段:linux系统管理进阶
1 Linux定时任务
2 Linux用户管理
3 Linux磁盘与文件系统(上)
4 Linux磁盘与文件系统(中下)
5 Linux三剑客之sed命令
第三阶段:Linux Shell基础
1 Shell编程基础1
2 Shell编程基础234
3 Linux三剑客之awk命令
第四阶段:Linux网络基础
1 计算机网络基础上
2 计算机网络基础下
3 第二阶段结束需要导师或讲师对整体课程进行回顾。
第五阶段:Linux网络服务
1 集群实战架构开始及环境准备
2 rsync数据同步服务
3 Linux全网备份项目案例精讲
4 nfs网络存储服务精讲
5 inotify/sersync实时数据同步/nfs存储实时备份项目案例精讲
第六阶段:Linux重要网络服务
1 >集群通信系统是一种计算机系统,
它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。简单地说,集群(cluster)就是一组计算机,它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点(node)。一个理想的集群,用户是不会意识到集群系统底层的节点的。在他们看来,集群是一个系统,而非多个计算机系统。并且集群系统的管理员可以随意增加和删改集群系统的节点。
集群已不是一个全新的概念,早在七十年代计算机厂商和研究机构就对集群系统进行了研究和开发。这些系统不为大家熟知,是因为它主要用于科学工程计算。直到Linux集群的出现,集群的概念才得以广泛传播。集群系统主要分为高可用(High
Availability)集群,简称HA集群,和高性能计算(High Perfermance Computing)集群,简称HPC集群。
在Linux出现前,集群系统采用的 *** 作系统主要有VMS、UNIX和WindowsNT。到九十年代末期,linux *** 作系统不断走向成熟,它的健壮性不断增强,并且提供了GNU软件和标准化的PVM、MPI消息传递机制,最重要的是Linux在普通PC机上提供了对高性能网络的支持,这样就大大推动了基于Linux的集群系统的普及和发展。关于LVS负载均衡
一、什么是负载均衡:
负载均衡集群提供了一种廉价、有效、透明的方法,来扩展网络设备和
服务器的负载、带宽、增加吞吐量、加强网络数据处理能力,提高网络的灵活性
和可用性。
二、搭建负载均衡服务的需求:
1)把单台计算机无法承受的大规模的并发访问或者数据流量分担到多台节点设备上
分别处理,减少用户等待响应的时间,提升用户体验。
2)单个重负载的运算分担到多台节点设备上做并行处理,每个节点设备结束后,
将结果汇总,返回给用户,系统处理能力得到大幅度提升。
3)724的服务保证,任意一个或多个有限节点设备宕机,要求不能影响业务。
三、LVS的介绍:
LVS是Linux Virtual Server的简写,即Linux虚拟服务器,是一个虚拟的服务器
集群系统,可以在UNIX/LINUX平台下实现负载均衡集群功能。
该项目是在1998年5月由章文嵩博士组织成立的,是中国国内最早出现的自由
软件项目之一。
四、关于LVS的配置使用:
LVS负载均衡调度技术是在Linux内核中实现的,因此,被称为Linux
虚拟服务器。我们使用该软件配置LVS时候,不能直接配置内核中的ipvs,
而需要使用ipvs的管理工具ipvsadm进行管理,ipvs的管理工具ipvsadm管理ipvs。
五、LVS技术点小结:
1)真正实现负载均衡的工具是ipvs,工作在linux内核层面。
2)LVS自带的ipvs管理工具是ipvsadm。
3)keepalived实现管理ipvs及对负载均衡器的高可用。
4)Red hat工具Piranha WEB管理实现调度的工具ipvs。
六、LVS体系结构与工作原理:
1)LVS集群负载均衡接收服务的所有入站客户端计算机请求,并根据调度算法决定哪个集群节点应该处理回复请求。
负载均衡(LB)有时也被称为LVS Director(简称 Director)
2)LVS虚拟服务器的体系结构如下图,一组服务器通过高速的局域网或者地理分布
的广域网相互连接,在他们的前端有一个负载调度器(Load Balancer)。负载调度器能
无缝地将网络请求调度到真正的服务器上,从而使得服务器集群的结构对客户是透明的,
客户访问集群系统提供的网络服务就像访问一台高性能、高可用的服务器一样。客户程序
不受服务器集群的影响不需做任何修改。系统的伸缩性通过在服务集群中透明地加入和删除
一个节点来达到,通过检测节点或服务进程故障和正确的重置系统达到高可用性。由于我们的负载调度技术在
linux内核中实现的,我们称之为linux虚拟服务器(Linux Virtual Server)。
七、LVS社区提供了一个命名的约定:
名称: 缩写
虚拟IP地址(Virtual IP Address) VIP
说明:VIP为Director用于向客户端计算机提供服务的ip地址,
比如:> 在局域网中的Linux服务器集群,为了保障运维安全,只能从堡垒机登录到各个Linux服务器。那么需要对Linux服务器集群进行安全加固,限制访问权限。在堡垒机上可以部署脚本来记录用户 *** 作的审计日志(详情参考笔者的文章),那么整个局域网的Linux服务器集群的安全性就可以大大提高。
堡垒机作用明显,其提供运维统一入口和安全审计功能,切断直接访问和事后审计定责,解决“运维混乱”变得“运维有序” 。
下面是三种方法总结。分别从服务端,系统端、防火墙端来完成只允许堡垒机SSH登录的功能。
1、/etc/ssh/sshd_config
修改添加AllowUsers到ssh配置文件/etc/ssh/sshd_config :
AllowUsers myuser@201324
然后重启 sshd服务:systemctl restart sshd
2、hostsallow与hostsdeny
修改/etc/hostsdeny中添加设置 sshd : ALL ,拒绝所有的访问;
修改/etc/hostsallow,添加设置sshd : 201324 ,单独开启某个IP地址 。
这两个文件优先级为先检查hostsdeny,再检查hostsallow。
更加详细信息参考笔者的文章-Linux中hostsallow与hostsdeny 。
3、iptables防火墙
tcp协议中,禁止所有的ip访问本机的22端口。
iptables -I INPUT -p tcp--dport 22 -j DROP
只允许201324 访问本机的22端口
iptables -I INPUT -s 201324 -ptcp --dport 22 -j ACCEPT
另外/etc/pamd/sshd也可以提供访问控制功能,调用的pam_accessso模块是根据主机名、IP地址和用户实现全面的访问控制,pam_accessso模块的具体工作行为根据配置文件/etc/security/accessconf来决定。但是囿于资料过少,待以后遇到再解决把。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)