linux怎么虚拟共享磁盘和仲裁磁盘

linux怎么虚拟共享磁盘和仲裁磁盘,第1张

使用ClusterRecovery 重新创建资源检查点

一个或多个群集节点的单一系统损坏

在这种情况下,我们假定仲裁磁盘功能正常,且所有数据未受到破坏。

群集中的一个节点无法启动

其他群集节点则可以正常运行。

建议

退出这个节点并尝试找到一个替代节点。

向群集中加入新节点。

群集中的所有节点都无法启动

建议

您需要从头开始重新构建群集。

所有节点都完好,但 Quorum 磁盘无法正常工作

建议

使用 fixquorum 标记来启动群集服务(请注意 fixquorum 允许您启动因为仲裁资源被破坏而无法在线的群集服务,但它并不能真正为您修复任何数据),然后选择一个替代仲裁资源(如果您没有其他磁盘的话,可以使用本地仲裁)。通过设置新仲裁,可以在仲裁上创建新的仲裁日志文件,但注册表检查点文件并没有恢复,因为旧的仲裁已不可用。

另外,虚机团上产品团购,超级便宜

从概念上讲 大多数关系数据库系统是相似的 它们有一系列数据库组成 每个数据库包含一系列数据库表 但每个系统有各自组织其管理的数据方式 MySQL也不例外 缺省地 所有由MySQL服务器mysqld管理的数据存储在一个称为MySQL数据目录的地方 所有数据库都存放在哪儿 也包括提供服务器 *** 作信息的状态文件 如果你对一个MySQl安装执行管理任务 你应该熟知数据目录的布局及用途 本文介绍下列专题 如何确定数据目录的位置 服务器如何组织并提供对数据库和它管理的表的访问 在哪里找到由服务器生成的状态文件记忆它们包含什么内容 如何改变缺省地点或数据目录或单独数据库的组织结构 数据目录的位置 一个缺省数据目录被编译进了服务器 如果你从一个源代码分发安装MySQL 典型的缺省目录为/usr/local/var 如果从RPM文件安装则为/var/lib/mysql 如果从一个二进制分发安装则是/usr/local/mysql/data 在你启动服务器 通过使用一个 datadir=/path/to/dir选项可以明确指定数据目录位置 如果你想把数据目录置于其它缺省位置外的某处 这很有用 作为一名MySQL管理员 你应该知道你的数据目录在哪里 如果你运行多个服务器 你应该是到所有数据目录在哪里 但是如果你不知道确切的位置 由多种方法找到它 使用mysqladmin variables从你的服务器直接获得数据目录路径名 查找datadir变量的值 在Unix上 其输出类似于 %mysqladmin variables+ + +| variable_name | Value |+ + +| back_log | || connect_timeout | || basedir | /var/local/ || datadir | /usr/local/var/ | 在Windows上 输出可能看上去像这样 c:mysqladmin variables+ + +| variable_name | Value |+ + +| back_log | || connect_timeout | || basedir | c:mysql || datadir | c:mysqldata | 如果你有多个服务器在运行 它们将在不同的TCP/IP端口或套接字上监听 通过提供连接服务器正在监听的端口或套接字的 port或 socket选项 你可以轮流获得它们每一个的数据目录信息 %msqladmin port=port_name variables%mysqladmin socket=/path/to/socket variablesmysqladmin命令可运行在任何你能从其连接服务器的主机上 如果你想在一个远程主机连接服务器 使用一个 host=host_name选项 %mysqladmin host=host_name variables在Windows上 你可以通过使用 pipe强制一个命令管道连接和 socket=pipe_name指定管道名来连接监听一个命令管道的NT服务器 c:mysqladmin pipe socket=pipe_name variables你可以使用ps命令查看任何正在运行mysqld 进程的命令行 试一下下列命令之一并寻找 datadir %ps axww | grep mysql BSD风格%ps ef | grep mysqld System V风格如果你的系统运行多个服务器 ps命令可能特别有用 因为你能马上发现多个数据目录位置 缺点是必须在服务器上运行 而且可能没有有用的信息产生 除非在mysqld命令行上明确指定了 datadir选项 如果MySQL是从一个源代码分发安装的 你可以检查其配置信息确定数据目录位置 例如 位置可从顶级Makefile中获得 但是注意 位置是Makefile中的localstatedir值 不是datadir 而且 如果分发位于一个NFS挂载的文件系统并用来为多个主机构建MySQL 配置信息反映了分发被最新构建的主机 这可能不能提供你感兴趣的主机的数据目录信息 如果上述方式失败 你可以用find寻找数据库文件 下列命令寻找 frm 文件 它是任何MySQL安装的一部分 % find / name frm print在下文各例中 用DATADIR表示MySQL数据目录位置 数据目录结构 MySQL数据目录包含了服务器管理的所有数据目录 这些文件被组织成一个树状结构 通过利用Unix或Windows文件系统的层次结构直接实现 每个数据库对应于数据目录下的一个目录 在一个数据库中的表对应于数据目录下的文件 数据目录也包含由服务器产生的几个状态文件 如日志文件 这些文件提供了关于服务器 *** 作的重要信息 对管理特别在出了问题而试图确定问题原因时很有价值 例如 如果某个特定查询杀死服务器 你可以通过检查日志文件判别捣乱的查询 MySQL服务器怎样提供对数据的访问 在数据目录下的一切由一个单独的实体 MySQL服务器mysqld管理 客户程序绝不直接 *** 作数据 相反 服务器提供数据可访问的切入点 它是客户程序与它们想使用的数据之间的中介 当服务器启动时 如果有需要 它打开日志文件 然后通过监听网络连接位数据目录呈现一个网络接口 要访问数据 客户程序建立对服务器的一个连接 然后以MySQL查询传输请求来执行希望的 *** 作 服务器执行每一个 *** 作并将结果发回用户 服务器是多线程的并能服务多个同时的客户连接 然而 因为修改 *** 作一个执行一个 实际效果是顺序化请求 以使两个客户决不能在同一时刻改变同一记录 在正常的情况下 让服务器作为数据库访问的唯一仲裁者提供了避免可从同时访问数据库表的多个进程的破坏的保证 管理员应该知道有时服务器没有对数据目录的独裁控制 当你在一个单个数据目录上运行多个服务器 一般倪云新一个服务器管理主机上的所有数据库 但是有可能运行多个服务器 如果这完成提供对多个独立数据目录的访问 没有相互影响的问题 但哟也能启动多个服务器并指向同一个目录 一般地 这不是一个好主意 如果你试图这样 最好是你的系统提供良好的文件锁定功能 否则服务器将不能正确协作 如果你将多个服务器同时写入日志文件 你也冒着你的日志文件称为混乱的根源的风险 在你运行isamc和myisamc时 isamc和myisamc实用程序用于表的维护 诊错和修复 就想你想的那样 因为这些程序可以修改表内容 允许它们与服务器正在 *** 作的同时对表 *** 作 这样能导致表损坏 理解如何限制这种相互影响是很重要的 这样你不会损坏你的表 数据目表示 每个MySQL服务器管理的数据库有自己的数据库表 它是数据目录下的一个子目录 其名字与它表示的数据库相同 例如数据库my_db对应于数据库目录DATADIR/my_db 这种表示允许多个数据库级的语句在其实现中十分简单 CREATE DATABASE db_name在数据目录中创建一个db_name空目录 具有只允许MySQL服务器用户(运行服务器的Unix用户)的属主和模式 这等价于下列手工在服务器主机上创建数据库 %mkdir DATADIR/db_name%chmod DADADIR/db_name用一个空目录表示一个新数据库的最简单方法与其它数据库甚至为一个空数据库创建大量的控制文件或系统文件正好相反 DROP DATABASE语句实现同样简单 DROP DATABASE db_name删除数据库中的db_name目录和所有表文件 这几乎与下列命令一样 %rm rf DATADIR/db_name(差别是服务器只删除具有已知用于表的后缀名的文件 如果你在数据库目录创建了其它文件 则服务器保留它们 而且目录本身不被删除 SHOW DATABASE基本上不做什么 只是列出位于数据目录中的目录名 有些数据库系统保持一个主表 用于维护所有数据库 但在MySQL无此构件 由于赋予数据目录结构的简洁性 数据库列表隐含在数据目录的内容中 而且这样的表不必有额外的开销 数据库表的表示 每个数据库在数据库目录中有 个文件 一个样式(描述文件) 一个数据文件和一个索引文件 每个文件的基本名是表名 文件名扩展名代表文件类型 扩展名如下表 数据和索引文件的扩展名指出表使用老式IASM索引或新式MyISAM索引 表 MySQL文件类型文件类型 文件名扩展名 文件内容样式文件 frm 描述表的结构(它的列 列类型 索引等) 数据文件 ISD(ISAM)或 MYD(MyISAM) 包含数据文件上的所有索引的索引树 索引文件 ISM(ISAM)或 MYI(MyISAM) 该索引文件依赖表是否有索引而存在 当你发出一条CREATE TABLE tbl_name时语句定义表的结构时 服务器创建一个名为tbl_name frm的文件 它包括该结构的内部编码 同时也创建一个空数据和索引文件 初始化为包含指出无记录和无索引的信息(如果CREATE TABLE语句包括索引指定 索引文件反映出这些索引) 对应于表的文件的属主和模式被设置为只允许MySQL服务器用户访问 当你发出一条ALTER TABLE tbl_name语句时 服务器重新编码tbl_name frm 并修改数据和索引文件的内容以反映语句指定的结构改变 对于CREATE INDEX和DROP INDEX也是一样 因为它们被服务器视为与ALTER TABLE等价 DROP TABLE通过删除对应于表的三个文件来实现 虽然你可以通过删除数据库目录中对应于表的三个文件 但不能手工创建或修改一个表 如 如果my_db是当前数据库 DROP TABLE my_tbl大概等价于下列命令 <b lishixinzhi/Article/program/MySQL/201311/29333

故障转移属于主备集群

主备集群的特点是,环境一致,数据共享

以Oracle为例,主备两个节点上都要安装Oracle软件,把Oracle datafile即数据文件放在共享存储上,SQLSERVER也是一样的结构。

另外,仲裁盘和心跳网络都是用来监控节点状态的,为故障转移提供依据。

不知我这样描述,楼主明白没有?

故障现象:

如何计算磁盘响应时间?

解决方案:

磁盘规格:

机械硬盘的性能指标有三个重要的参数:

寻道时间 – 在磁道之间移动磁头所花费的时间 ;

旋转延迟 – 盘片将数据旋转至磁头下的时间 ;

传输速率 – 磁盘的带宽;

理解这些参数之间的关系有助于了解一块磁盘的性能,这些值在决定磁盘性能的两个基本度量的时候非常有用:吞吐量和响应时间;

寻道时间:

寻道时间以毫秒(ms)来计算,不同磁盘的寻道时间不同。平均寻道时间是经常使用的度量,对于一块15k rpm的35英寸SAS盘,其平均寻道时间是38ms。减少磁盘寻道所花费的时间能增强性能。i/o类型也会影响寻道时间,连续i/o拥有最少的寻道时间,因为读写头可以在盘片上连续 *** 作,而随机i/o就相对有较长的寻道时间,因为磁头始终需要在不同的磁道间切换。

延迟:

延迟以毫秒(ms)来计算,更高转速的磁盘其延迟更小。

传输速率:

传输速率以MB/s来计算,它又可以进一步分为内部/外部速率。内部速率是指在盘片上读写数据的快慢,盘片外圈速率要高于盘片里圈,而且对于同样的线性距离,也拥有更多的扇区。比如对于一个使用连续带宽的应用,35-inch 15k rpm SAS磁盘可以提供50MB/s的内圈速率以及100MB/s的外圈速率。

外部传输速率是指磁盘的连线头到HBA或NIC的传输速率。厂商通常给出的都是突发速率,且假定是内部连接(DAS)。对于存储系统来说,比如VNX,同一个RAID组内的磁盘是共享后端此部分速率的,因此通常达不到厂商给出的突发速率。存储系统的总线架构,实际传输速率更多是由后端传输协议、仲裁时间以及后端端口容量来决定的。

计算平均响应时间:

平均响应时间是指一个请求从排队开始一直到执行结束所花费的时间,计算公式为:响应时间 = (队列长度+1)平均响应时间

比如,某块磁盘的平均响应时间为6ms,队列长度为6,那么响应时间 = 42ms = (6+1)6 ms

联想网站提供的技术方案或与您产品的实际情况有所差异,您需在完整阅读方案并知晓其提示风险的情况下谨慎 *** 作,避免造成任何损失。

关于数据库安全及其防范方案的分析

随着网络的不断发展,数据的共享日益加强,数据的安全保密越来越重要。为了计算机数据库整体安全性的控制,需要做好很多细节性的工作,并根据具体应用环境的安全需要来分析安全薄弱环节,并制定统一的安全管理策略加以实施,以保证其最高的安全性。

1数据库安全环境的分析

随着时代的发展,我国的计算机信息安全标准也在不断提升。在当下的数据库系统安全控制模块中,我国数据库安全分为不同的等级。但是总体来说,我国的数据库安全性是比较低的,这归结于我国数据技术体系的落后。为了更好的健全计算机数据库体系,进行数据库安全体系的研究是必要的。我国现有的一系列数据安全理论是落后于发达国家的。这体现在很多的应用领域,比如电力领域、金融领域、保险领域等。很多软件都是因为其比较缺乏安全性而得不到较大范围的应用,归根结底是数据库安全性级别比较低。

为了满足现阶段数据库安全工作的需要,进行相关标准的深化研究是必要的。这需要对数据库安全进行首要考虑,且需要考虑到方方面面,才更有利于数据库保密性的控制,从而保证这些数据存储与调用的一致性。

在当前数据库安全控制过程中,首先需要对这些数据进行可用性的分析,从而有利于避免数据库遭到破坏,更有利于进行数据库的损坏控制及其修复。其次为了保证数据库的安全性、效益性,也离不开对数据库整体安全性方案的应用。最后必须对数据库进行的一切 *** 作进行跟踪记录,以实现对修改和访问数据库的用户进行追踪,从而方便追查并防止非法用户对数据库进行 *** 作。

2数据库安全策略的更新

为了满足现阶段数据库安全性方案的应用,进行身份的鉴别是必要的。所谓的身份鉴别就是进行真实身份及其验证身份的配比,这样可以避免欺诈及其假冒行为的发生。身份鉴别模式的应用,表现在用户使用计算机系统进行资源访问时。当然在一些特定情况下,也要进行身份鉴别,比如对某些稀缺资源的访问。

身份鉴别通常情况下可以采用以下三种方法:一是通过只有被鉴别人自己才知道的信息进行鉴别,如密码、私有密钥等;二是通过只有被鉴别人才拥有的信物进行鉴别,如IC卡、护照等;三是通过被鉴别人才具有的生理或者行为特征等来进行鉴别,如指纹、笔迹等。

在当前访问控制模块中,除了进行身份鉴别模式的应用外,还需要进行信息资源的访问及其控制,这样更有利于不同身份用户的权限分配。这就需要进行访问级别的控制,针对各个系统的内部数据进行 *** 作权限的控制,进行自主性及其非自主性访问的控制,满足数据库的安全需要。实现用户对数据库访问权限进行控制,让所有的用户只能访问自己有权限使用的数据。当某一个用户具有对某些数据进行访问的权限时,他还可以把对这些数据的 *** 作权限部分或者全部的转移给其他用户,这样其他的用户也获得了对这些数据的访问权。

为了更好的进行数据库的安全管理,审计功能的应用也必不可少。这需要就数据库的数据进行统一性的 *** 作。这样管理员更加方便对数据库应用情况进行控制,审计功能也有利于对数据库的 *** 作行为进行控制,更有利于控制用户对数据库的访问。攻击检测是通过升级信息来分析系统的内部和外部所有对数据库的攻击企图,把当时的攻击现场进行复原,对相关的攻击者进行处罚。通过这种方法,可以发现数据库系统的安全隐患,从而来改进以增加数据库系统的安全性。

在数据库数据处理过程中,可以进行一些合法查询模式的应用,当需要调取保密数据时,就需要应用推理分析模块。这是数据库安全性方案控制过程中的重难点,而通过这种简单的推理分析方法调取保密数据,是得不到有效解决的。但是我们可以使用以下几种方法来对这种推理进行控制:数据加密的基本思想就是改变符号的排列方式或按照某种规律进行替换,使得只有合法的用户才能理解得到的数据,其他非法的用户即使得到了数据也无法了解其内容。

通过对加密粒度的应用,更有利于进行数据库加密性的控制。其分为几种不同的应用类型等级。在当前应用模块中,需要进行数据保护级别的分析,进行适当的加密粒度的分析。更有利于满足数据库级别加密的需要。该加密技术的应用针对的是整体数据库,从而针对数据库内部的表格、资料等加密。采用这种加密粒度,加密的密钥数量较少,一个数据库只需要一个加密密钥,对于密钥的管理比较简单。但是,由于数据库中的数据能够被许多的用户和应用程序所共享,需要进行很多的数据处理,这将极大的降低服务器的运行效率,因此这种加密粒度只有在一些特定的情况下才使用。

表级加密也是比较常用的方法,这种方法应用于数据库内部的数据加密。针对具体的存储数据页面进行加密控制。这对于系统的运行效率的提升具备一定的帮助,不会影响系统的运行效率。这种方法需要应用到一些特殊工具进行处理,比如解释器、词法分析器等,进行核心模块的控制,进行数据库管理系统源代码的控制及其优化。但是其难以确保数据库管理系统的整体逻辑性,也存在缺陷。记录级加密;这种加密技术的加密粒度是表格中的每一条记录,对数据库中的每一条记录使用专门的函数来实现对数据的加密、解密。通过这种加密方法,加密的粒度更加小巧,具有更好的选择性和灵活性。字段级加密;这种加密技术的加密粒度是表格中的某一个或者几个字段。通过字段级的加密粒度只需要对表格中的敏感列的数据进行加密,而不需要对表格中的所有的数据进行加密。

选择加密算法也是比较常见的数据加密方法。它是数据加密的核心部分。对于数据库的整体安全性的控制具有直接性的影响。通过对加密算法的分析,得知其分为公共密钥加密及其对称加密。在数据加密模块中,需要进行密文及其明文的区分,从而进行明文及其密文的转换,也就是普遍意义上的密码。密码与密钥是两个不同的概念。后者仅是收发双方知道的信息。在数据加密技术中,对密钥进行管理主要包括以下几个方面,产生密钥。产生怎样的密钥主要取决于使用什么样的算法。若产生的密钥强度不一样就称这种算法实现的是非线性的密钥空间,若产生的密钥强度一样就称这种算法实现的是线性的密钥空间。分配密钥、传递密钥:分配密钥就是产生一个密钥并且将这个密钥分配给某个用户使用的过程。

密钥的传递分为不同的应用形式,集中式与分散式。所谓的集中式就是进行密钥整体式的传递;所谓的分散式就是对密钥的多个部分进行划分,以秘密的方法给用户进行传递。通过将整体方法与分散方法应用到存储模块中,更好的满足现阶段数据库整体安全性的需要。对于密钥的备份可以使用和对密钥进行分散存储一样的方式进行,以避免太多的人知道密钥;而销毁密钥需要有管理和仲裁机制,以防止用户对自己的 *** 作进行否认。

3结束语

随着计算机,特别是网络的不断发展,数据的共享日益加强,数据的安全保密越来越重要。本文详细阐述了数据库的安全防范,分别从数据分析、用户鉴别、访问权限控制、审计、数据加密等环节逐一剖析数据库安全。为了计算机数据库整体安全性的控制,需要做好很多细节性的工作,并根据具体应用环境的安全需要来分析安全薄弱环节,并制定统一的安全管理策略加以实施,以保证其最高的安全性。

ORACLE RAC原理:在一个应用环境当中,所有的服务器使用和管理同一个数据库,目的是为了分散每一台服务器的工作量,硬件上至少需要两台以上的服务器,而且还需 要一个共享存储设备。同时还需要两类软件,一个是集群软件,另外一个就是Oracle数据库中的RAC组件。同时所有服务器上的OS都应该是同一类OS, 根据负载均衡的配置策略,当一个客户端发送请求到某一台服务的listener后,这台服务器根据我们的负载均衡策略,会把请求发送给本机的RAC组件处 理也可能会发送给另外一台服务器的RAC组件处理,处理完请求后,RAC会通过集群软件来访问我们的共享存储设备。

逻辑结构上看,每一个参加集群的节点有一个独立的instance,这些instance访问同一个数据库。节点之间通过集群软件的通讯层 (communication layer)来进行通讯。同时为了减少IO的消耗,存在了一个全局缓存服务,因此每一个数据库的instance,都保留了一份相同的数据库cache。

RAC中的特点是:

每一个节点的instance都有自己的SGA

每一个节点的instance都有自己的background process

每一个节点的instance都有自己的redo logs

每一个节点的instance都有自己的undo表空间

所有节点都共享一份datafiles和controlfiles

Oracle还提出了一个缓存融合的技术(Cache fusion)

目的有两个

1保证缓存的一致性

2减少共享磁盘IO的消耗

因此在RAC环境中多个节点保留了同一份的DB CACHE

缓存融合(Cache fusion)工作原理:

1其中一个节点会从共享数据库中读取一个block到db cache中

2这个节点会在所有的节点进行交叉db block copy

3当任何一个节点缓存被修改的时候,就会在节点之间进行缓存修改

4为了达到存储的一致最终修改的结果也会写到磁盘上

ClusterWare组件:

有四种Service

Crsd - 集群资源服务

Cssd - 集群同步服务

Evmd - 事件管理服务

oprocd - 节点检测监控

有三类Resource

VIP - 虚拟IP地址(Virtual IP)

OCR - Oracle Cluster Registry(集群注册文件),记录每个节点的相关信息

Voting Disk - Establishes quorum (表决磁盘),仲裁机制用于仲裁多个节点向共享节点同时写的行为,这样做是为了避免发生冲突。

RAC的组件:

提供过了额外的进程,用来维护数据库

LMS - Gobal Cache Service Process 全局缓存服务进程

LMD - Global Enqueue Service Daemon 全局查询服务守护进程

LMON - Global Enqueue Service Monitor全局查询服务监视进程

LCK0 - Instance Enqueue Process 实例查询进程

2013年05月13日 - 游目骋怀 - 游目骋怀

ORACLE RAC原理:在一个应用环境当中,所有的服务器使用和管理同一个数据库,目的是为了分散每一台服务器的工作量,硬件上至少需要两台以上的服务器,而且还需 要一个共享存储设备。同时还需要两类软件,一个是集群软件,另外一个就是Oracle数据库中的RAC组件。同时所有服务器上的OS都应该是同一类OS, 根据负载均衡的配置策略,当一个客户端发送请求到某一台服务的listener后,这台服务器根据我们的负载均衡策略,会把请求发送给本机的RAC组件处 理也可能会发送给另外一台服务器的RAC组件处理,处理完请求后,RAC会通过集群软件来访问我们的共享存储设备。

逻辑结构上看,每一个参加集群的节点有一个独立的instance,这些instance访问同一个数据库。节点之间通过集群软件的通讯层 (communication layer)来进行通讯。同时为了减少IO的消耗,存在了一个全局缓存服务,因此每一个数据库的instance,都保留了一份相同的数据库cache。

RAC中的特点是:

每一个节点的instance都有自己的SGA

每一个节点的instance都有自己的background process

每一个节点的instance都有自己的redo logs

每一个节点的instance都有自己的undo表空间

所有节点都共享一份datafiles和controlfiles

Oracle还提出了一个缓存融合的技术(Cache fusion)

目的有两个

1保证缓存的一致性

2减少共享磁盘IO的消耗

因此在RAC环境中多个节点保留了同一份的DB CACHE

缓存融合(Cache fusion)工作原理:

1其中一个节点会从共享数据库中读取一个block到db cache中

2这个节点会在所有的节点进行交叉db block copy

3当任何一个节点缓存被修改的时候,就会在节点之间进行缓存修改

4为了达到存储的一致最终修改的结果也会写到磁盘上

ClusterWare组件:

有四种Service

Crsd - 集群资源服务

Cssd - 集群同步服务

Evmd - 事件管理服务

oprocd - 节点检测监控

有三类Resource

VIP - 虚拟IP地址(Virtual IP)

OCR - Oracle Cluster Registry(集群注册文件),记录每个节点的相关信息

Voting Disk - Establishes quorum (表决磁盘),仲裁机制用于仲裁多个节点向共享节点同时写的行为,这样做是为了避免发生冲突。

RAC的组件:

提供过了额外的进程,用来维护数据库

LMS - Gobal Cache Service Process 全局缓存服务进程

LMD - Global Enqueue Service Daemon 全局查询服务守护进程

LMON - Global Enqueue Service Monitor全局查询服务监视进程

LCK0 - Instance Enqueue Process 实例查询进程

MongoDB是一款为web应用程序和互联网基础设施设计的数据库管理系统。没错MongoDB就是数据库,是NoSQL类型的数据库。

(1)MongoDB提出的是文档、集合的概念,使用BSON(类JSON)作为其数据模型结构,其结构是面向对象的而不是二维表,存储一个用户在MongoDB中是这样子的。

使用这样的数据模型,使得MongoDB能在生产环境中提供高读写的能力,吞吐量较于mysql等SQL数据库大大增强。

(2)易伸缩,自动故障转移。易伸缩指的是提供了分片能力,能对数据集进行分片,数据的存储压力分摊给多台服务器。自动故障转移是副本集的概念,MongoDB能检测主节点是否存活,当失活时能自动提升从节点为主节点,达到故障转移。

(3)数据模型因为是面向对象的,所以可以表示丰富的、有层级的数据结构,比如博客系统中能把“评论”直接怼到“文章“的文档中,而不必像myqsl一样创建三张表来描述这样的关系。

(1)文档数据类型

SQL类型的数据库是正规化的,可以通过主键或者外键的约束保证数据的完整性与唯一性,所以SQL类型的数据库常用于对数据完整性较高的系统。MongoDB在这一方面是不如SQL类型的数据库,且MongoDB没有固定的Schema,正因为MongoDB少了一些这样的约束条件,可以让数据的存储数据结构更灵活,存储速度更加快。

(2)即时查询能力

MongoDB保留了关系型数据库即时查询的能力,保留了索引(底层是基于B tree)的能力。这一点汲取了关系型数据库的优点,相比于同类型的NoSQL redis 并没有上述的能力。

(3)复制能力

MongoDB自身提供了副本集能将数据分布在多台机器上实现冗余,目的是可以提供自动故障转移、扩展读能力。

(4)速度与持久性

MongoDB的驱动实现一个写入语义 fire and forget ,即通过驱动调用写入时,可以立即得到返回得到成功的结果(即使是报错),这样让写入的速度更加快,当然会有一定的不安全性,完全依赖网络。

MongoDB提供了Journaling日志的概念,实际上像mysql的bin-log日志,当需要插入的时候会先往日志里面写入记录,再完成实际的数据 *** 作,这样如果出现停电,进程突然中断的情况,可以保障数据不会错误,可以通过修复功能读取Journaling日志进行修复。

(5)数据扩展

MongoDB使用分片技术对数据进行扩展,MongoDB能自动分片、自动转移分片里面的数据块,让每一个服务器里面存储的数据都是一样大小。

MongoDB核心服务器主要是通过mongod程序启动的,而且在启动时不需对MongoDB使用的内存进行配置,因为其设计哲学是内存管理最好是交给 *** 作系统,缺少内存配置是MongoDB的设计亮点,另外,还可通过mongos路由服务器使用分片功能。

MongoDB的主要客户端是可以交互的js shell 通过mongo启动,使用js shell能使用js直接与MongoDB进行交流,像使用sql语句查询mysql数据一样使用js语法查询MongoDB的数据,另外还提供了各种语言的驱动包,方便各种语言的接入。

mongodump和mongorestore,备份和恢复数据库的标准工具。输出BSON格式,迁移数据库。

mongoexport和mongoimport,用来导入导出JSON、CSV和TSV数据,数据需要支持多格式时有用。mongoimport还能用与大数据集的初始导入,但是在导入前顺便还要注意一下,为了能充分利用好mongoDB通常需要对数据模型做一些调整。

mongosniff,网络嗅探工具,用来观察发送到数据库的 *** 作。基本就是把网络上传输的BSON转换为易于人们阅读的shell语句。

因此,可以总结得到,MongoDB结合键值存储和关系数据库的最好特性。因为简单,所以数据极快,而且相对容易伸缩还提供复杂查询机制的数据库。MongoDB需要跑在64位的服务器上面,且最好单独部署,因为是数据库,所以也需要对其进行热备、冷备处理。

因为本篇文章不是API手册,所有这里对shell的使用也是基础的介绍什么功能可以用什么语句,主要是为了展示使用MongoDB shell的方便性,如果需要知道具体的MongoDB shell语法可以查阅官方文档。

创建数据库并不是必须的 *** 作,数据库与集合只有在第一次插入文档时才会被创建,与对数据的动态处理方式是一致的。简化并加速开发过程,而且有利于动态分配命名空间。如果担心数据库或集合被意外创建,可以开启严格模式。

以上的命令只是简单实例,假设如果你之前没有学习过任何数据库语法,同时开始学sql查询语法和MongoDB 查询语法,你会发现哪一个更简单呢?如果你使用的是java驱动去 *** 作MongoDB,你会发现任何的查询都像Hibernate提供出来的查询方式一样,只要构建好一个查询条件对象,便能轻松查询(接下来会给出示例),博主之前熟悉ES6,所以入手MongoDB js shell完成没问题,也正因为这样简洁,完善的查询机制,深深的爱上了MongoDB。

使用java驱动链接MongoDB是一件非常简单的事情,简单的引用,简单的做增删改查。在使用完java驱动后我才发现spring 对MongoDB 的封装还不如官方自身提供出来的东西好用,下面简单的展示一下使用。

这里只举例了简单的链接与简单的MongoDB *** 作,可见其 *** 作的容易性。使用驱动时是基于TCP套接字与MongoDB进行通信的,如果查询结果较多,恰好无法全部放进第一服务器中,将会向服务器发送一个getmore指令获取下一批查询结果。

插入数据到服务器时间,不会等待服务器的响应,驱动会假设写入是成功的,实际是使用客户端生成对象id,但是该行为可以通过配置配置,可以通过安全模式开启,安全模式可以校验服务器端插入的错误。

要清楚了解MongoDB的基本数据单元。在关系型数据库中有带列和行的数据表。而MongoDB数据的基本单元是BSON文档,在键值中有指向不定类型值的键,MongoDB拥有即时查询,但不支持联结 *** 作,简单的键值存储只能根据单个键来获取值,不支持事务,但支持多种原子更新 *** 作。

如读写比是怎样的,需要何种查询,数据是如何更新的,会不会存在什么并发问题,数据结构化的程度是要求高还是低。系统本身的需求决定mysql还是MongoDB。

在关于schema 的设计中要注意一些原则,比如:

数据库是集合的逻辑与物理分组,MongoDB没有提供创建数据库的语法,只有在插入集合时,数据库才开始建立。创建数据库后会在磁盘分配一组数据文件,所有集合、索引和数据库的其他元数据都保存在这些文件中,查阅数据库使用磁盘状态可通过。

集合是结构上或概念上相似得文档的容器,集合的名称可以包含数字、字母或 符号,但必须以字母或数字开头,完全。

限定集合名不能超过128个字符,实际上 符号在集合中很有用,能提供某种虚拟命名空间,这是一种组织上的原则,和其他集合是一视同仁的。在集合中可以使用。

其次是键值,在MongoDB里面所有的字符串都是UTF-8类型。数字类型包括double、int、long。日期类型都是UTC格式,所以在MongoDB里面看到的时间会比北京时间慢8小时。整个文档大小会限制在16m以内,因为这样可以防止创建难看的数据类型,且小文档可以提升性能,批量插入文档理想数字范围是10~200,大小不能超过16MB。

(1)索引能显著减少获取文档的所需工作量,具体的对比可以通过 explain()方法进行对比

(2)解析查询时MongoDB通过最优计划选择一个索引进行查询,当没有最适合索引时,会先不同的使用各个索引进行查询,最终选出一个最优索引做查询

(3)如果有一个a-b的复合索引,那么仅针对a的索引是冗余的

(4)复合索引里的键的顺序是很重要的

(1)单键索引

(2)复合索引

(3)唯一性索引

(4)稀疏索引

如索引的字段会出现null的值,或是大量文档都不包含被索引的键。

如果数据集很大时,构建索引将会花费很长的时间,且会影响程序性能,可通过

当使用 mongorestore 时会重新构建索引。当曾经执行过大规模的删除时,可使用

对索引进行压缩,重建。

(1)查阅慢查询日志

(2)分析慢查询

注意新版本的MongoDB 的explain方法是需要参数的,不然只显示普通的信息。

本节同样主要简单呈现MongoDB副本集搭建的简易性,与副本集的强壮性,监控容易性

提供主从复制能力,热备能力,故障转移能力

实际上MongoDB对副本集的 *** 作跟mysql主从 *** 作是差不多的,先看一下mysql的主从数据流动过程

而MongoDB主要依赖的日志文件是oplog

写 *** 作先被记录下来,添加到主节点的oplog里。与此同时,所有从结点复制oplog。首先,查看自己oplog里最后一条的时间戳;其次,查询主节点oplog里所有大于此时间戳的条目;最后,把那些条目添加到自己的oplog里并应用到自己的库里。从节点使用长轮询立即应用来自主结点oplog的新条目。

当遇到以下情况,从节点会停止复制

local数据库保存了所有副本集元素据和oplog日志

可以使用以下命令查看复制情况

每个副本集成员每秒钟ping一次其他所有成员,可以通过rsstatus()看到节点上次的心跳检测时间戳和 健康 状况。

这个点没必要过多描述,但是有一个特殊场景,如果从节点和仲裁节点都被杀了,只剩下主节点,他会把自己降级成为从节点。

如果主节点的数据还没有写到从库,那么数据不能算提交,当该主节点变成从节点时,便会触发回滚,那些没写到从库的数据将会被删除,可以通过rollback子目录中的BSON文件恢复回滚的内容。

(1)使用单节点链接

只能链接到主节点,如果链接到从节点的话,会被拒绝写入 *** 作,但是如果没有使用安全模式,因为mongo的fire and forget 特性,会把拒绝写入的异常给吃掉。

(2)使用副本集方式链接

能根据写入的情况自动进行故障转移,但是当副本集进行新的选举时,还是会出现故障,如果不使用安全模式,依旧会出现写不进去,但现实成功的情况。

分片是数据库切分的一个概念实现,这里也是简单总结为什么要使用分片以及分片的原理, *** 作。

当数据量过大,索引和工作数据集占用的内存就会越来越多,所以需要通过分片负载来解决这个问题

(1)分片组件

(2)分片的核心 *** 作

分片一个集合:分片是根据一个属性的范围进行划分的,MongoDB使用所谓的分片键让每个文档在这些范围里找到自己的位置

块:是位于一个分片中的一段连续的分片键范围,可以理解为若干个块组成分片,分片组成MongoDB的全部数据

(3)拆分与迁移

块的拆分:初始化时只有一个块,达到最大块尺寸64MB或100000个文档就会触发块的拆分。把原来的范围一分为二,这样就有了两个块,每个块都有相同数量的文档。

迁移:当分片中的数据大小不一时会产生迁移的动作,比如分片A的数据比较多,会将分片A里面的一些块转移到分片B里面去。分片集群通过在分片中移动块来实现均衡,是由名为均衡器的软件进程管理的,任务是确保数据在各个分片中保持均匀分布,当集群中拥有块最多的分片与拥有块最少分片的块差大于8时,均衡器就会发起一次均衡处理。

启动两个副本集、三个配置服务器、一个mongos进程

配置分片

(1)分片查询类型

(2)索引

分片集合只允许在_id字段和分片键上添加唯一性索引,其他地方不行,因为这需要在分片间进行通信,实施起来很复杂。

当创建分片时,会根据分片键创建一个索引。

(1)分片键是不可修改的、分片键的选择非常重要

(2)低效的分片键

(3)理想的分片键

(1)部署拓扑

根据不同的数据中心划分

这里写描述

(2)最低要求

(3)配置的注意事项

需要估计集群大小,可使用以下命令对现有集合进行分片处理

(4)备份分片集群

备份分片时需要停止均衡器

(1)部署架构

使用64位机器、32位机器会制约mongodb的内存,使其最大值为15GB

(2)cpu

mongodb 只有当索引和工作集都可放入内存时,才会遇到CPU瓶颈,CPU在mongodb使用中的作用是用来检索数据,如果看到CPU使用饱和的情况,可以通过查询慢查询日志,排查是不是查询的问题导致的,如果是可以通过添加索引来解决问题

mongodb写入数据时会使用到CPU,但是mongodb写入时间一次只用到一个核,如果有频繁的写入行为,可以通过分片来解决这个问题

(3)内存

大内存是mongodb的保障,如果工作集大小超过内存,将会导致性能下降,因为这将会增加数据加载入内存的动作

(4)硬盘

mongodb默认每60s会与磁盘强制同步一次,称为后台刷新,会产生I/O *** 作。在重启时mongodb会将磁盘里面的数据加载至内存,高速磁盘将会减少同步的时间

(5)文件系统

使用ext4 和 xfs 文件系统

禁用最后访问时间

(6)文件描述符

linux 默认文件描述符是1024,需要大额度的提升这个额度

(7)时钟

mongodb各个节点服务器之间使用ntp服务器

(1)绑定IP

启动时使用 - -bind_ip 命令

(2)身份验证

启动时使用 - -auth 命令

(3)副本集身份认证

使用keyFile,注意keyFile文件的权限必须是600,不然会启动不起来

(1)拓扑结构

搭建副本集至少需要两个节点,其中仲裁结点不需要有自己的服务器

(2)Journaling日志

写数据时会先写入日志,而此时的数据也不是直接写入硬盘,而是写入内存

但是Journaling日志会消耗内存,所以可以在主库上面关闭,在从库上面启动

可以单独为Journaling日志使用一块固态硬盘

在插入时,可以通过驱动确保Journaling插入后再反馈,但是会非常影响性能。

logpath 选项指定日志存储地址

-vvvvv 选项(v越多,输出越详细)

dbrunCommand({logrotare:1}) 开启滚动日志

(1)serverStatus

这里写描述

(2)top

(3)dbcurrentOp()

动态展示mongodb活动数据

占用当前mongodb监听端口往上1000号的端口

(1)mongodump

把数据库内容导出成BSON文件,而mongorestore能读取并还原这些文件

(2)mongorestore

把导出的BSON文件还原到数据库

(3)备份原始数据文件

可以这么做,但是, *** 作之前需要进行锁库处理 dbrunCommand({fsync:1,lock:true})

db$cmdsysunlockfindOne() 请求解锁 *** 作,但是数据库不会立刻解锁,需要使用dbcurrentOp()验证。

(1)修复

mongd --repair 修复所有数据库

dbrunCommand({repairDatabase:1}) 修复单个数据库

修复就是根据Jourling文件读取和重写所有数据文件并重建各个索引

(2)压紧

压紧,会重写数据文件,并重建集合的全部索引,需要停机或者在从库上面运行,如果需要在主库上面运行,需要添加force参数 保证加写锁。

(1)监控磁盘状态

(2)为提升性能检查索引和查询

总的来说,扫描尽可能少的文档。

保证没有冗余的索引,冗余的索引会占用磁盘空间、消耗更多的内存,在每次写入时还需做更多工作

(3)添加内存

dataSize 数据大小 和 indexSize 索引大小,如果两者的和大于内存,那么将会影响性能。

storageSize超过dataSize 数据大小 两倍以上,就会因磁盘碎片而影响性能,需要压缩。

以上就是关于linux怎么虚拟共享磁盘和仲裁磁盘全部的内容,包括:linux怎么虚拟共享磁盘和仲裁磁盘、MySQL数据目录结构、sql server 2008故障转移群集需要安装在仲裁盘里面吗等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/9876301.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-02
下一篇 2023-05-02

发表评论

登录后才能评论

评论列表(0条)

保存