最后的办法：把数据拷贝出来，然后把磁盘删除，再与前面腾出的磁盘空间合并，最后再拷贝数据。在公司搭建了elk集群，集群配置如下：
由于m21p22服务器配置比较老旧，而且上面还有其他人部署的其他应用。硬盘写入性能比较差，因此考虑吧elasticsearch部署在另外两台配置高的服务器，而将kibana、redis等与硬盘关系不大的软件部署在m21p22服务器。考虑到部署的复杂性以及服务器的实际情况，选择了redis接收beats的日志数据，再通过logstash实现负载均衡。这是之前elk集群的配置情况。
随着业务的深入，上述集群已经越来越难以满足业务的需要，日志量大会在redis中出现堆积，另外服务器查询量大之后，节点的cpu和load会触发告警。因此，与运维部门商议，又申请了2台服务器，作为elasticsearch的扩展节点，以降低原有服务器的负载。
如下是增加服务器之后的配置信息：
在新增加服务器到位之后，第一件事情就是决定将elasticsearch扩容。每台服务器部署2个节点，将原有集群扩大一倍，由4个节点扩大到8个节点。
原有节点：
扩展节点：
按上述配置对新增节点进行扩展，只需要配置好参数：
discoveryzenpingunicasthosts: ["1921682123", "1921682124","1921682188","1921682189"]
新增节点就可以加入集群进行水平扩容。当上述 *** 作都完成之后，新节点已加入集群，开始同步数据。
考虑到系统并未设置索引分片，全部索引一律采用的是系统默认的5个分片，而每个索引的数据可能大小不一，结果检查，决定将数据量较大的索引，分片数增加一倍。
*** 作如下：
注意，在采取put *** 作时，先采用get *** 作，得到_template信息，之后对需要修改的部分进行增加或者修改 *** 作，之后再进行put。这样保证其他不需要修改的数据不会被修改。
在做完上述这一切之后，已是晚上8点，因此打卡下班。
早上还没到单位，就被同事信息轰炸，elk集群已经不能用了！！
我赶到单位之后，连上服务器一看，新加入的节点全部处于假死状态。已经有大部分数据同步到新节点，而且服务器已无法连接。通知运维人员将elasticsearch进程干掉。
如下是恢复的过程中某个节点假死查到的状态：
对上述节点进行重启，集群状态恢复中。。
redis内存在迅速增加，已经达到10个G
查看logstash日志：
出现如下提示：
原来是宕机节点太多，导致部分节点的主分片未分配。这样日志在写入过程中会超时。这就导致logstash的写入速度下降。从而导致redis中数据增加。
至于节点假死的原因，查看了elasticsearch的日志：
发现一个关键的问题：/opt/elasticsearch/node6/data/nodes/0/indices/NP2tORUfSq6jl0lb5CzOVw/2/translog/translogckp: Too many open files in system
也就是说同时打开的文件数达到了系统的限制，这也就是无法登陆系统的原因。
不难理解上述问题的出现：一个服务器中配置了两个节点，这两个节点都运行在elastic用户下，该用户所在系统的limitconf中对该用户同时打开的文件数有限制。而在集群同步数据的过程中，系统在大量的写文件，同时实时数据又在大量写入。这样就导致文件达到最大的阈值。因此导致elasticsearch假死。
查询elasticsearch节点状态：
当天需要写入数据的索引，也存在部分分片未分配状态：
通过kibana也可发现该问题：
考虑到redis缓存一直增加，当务之急是让数据可以写入。保证redis的数据被消费。否则会出现redis服务器内存溢出。
先不考虑elasticsearch是否能自动恢复，以及自动恢复所花费的时间。
查询API后，要用到命令：reroute
通过kibana分配一个主分片
命令格式参考 >阿里云服务器的云盘扩容后运行df -h命令后仍然显示原来的容量，可采用如下方法解决：（在运行命令之前，防止数据丢失，尽量先做镜像备份）
若运行命令后报以下错误： unexpected output in sfdisk --version [sfdisk，来自 util-linux 2232] ，则运行下面的命令，切换ECS实例的字符编码类型，后重新运行 growpart 命令。完全可以，你把硬盘接入电脑到Windows的磁盘管理里面，右键点击中下方的 “磁盘0” 或 “磁盘1” ，选择 “转换为动态磁盘”。
转换完成后，在第一块硬盘上右键选择需要增加大小的卷，选 “扩展卷” 或 “跨区卷”，注意要扩展的目标必须是 “未分配空间” ，因此第二块磁盘上的目标位置的卷应该先删除（该卷数据将丢失），扩展后将会将第二块磁盘上这块 “未分配空间”包含在内成为一个卷，格式化后即可使用。
注意在此情况下，两块磁盘的任一块都不可以脱机，否则将导致数据丢失。
另外提一下，MBR分区最大支持2T，如果超了就得做MBR转GPT了比较复杂了
DiskGenius 专业版也可以还是在系统自检过程按F8进行配置配置
或者在引导光盘里的ACU工具进行配置!
DL380G4支持的硬盘类型为Ultra320 SCSI hot plug hard drives
是支持300G的!购买时请注意硬盘类型 !
因为最新的主流是SAS硬盘!也就是SCSI的替代品!一：在安装电脑配件的时候一定要插好。因为配件接触不良会引起系统死机。这是很常见的一种现像。
二：CPU。显卡等配件不要超频过高，要注意温度，否则，在启动或运行时会莫名其妙地重启或死机。
三：最好配置稳压电源，以免电压不稳引起死机。
四：如果有条件的话，加装一个UPS，使电脑在停电后不会造成突然死机。
五：BIOS设置要恰当，虽然建议将BIOS设置为最优，但所谓最优并不是最好的，有时最优的设置反倒会引起启动或者运行死机。
六：在机箱中，可能蕴藏了大量的灰尘，灰尘若接触了配件的电路，会使系统不稳定或死机。
七：机器中装有太多设备时，由于机器所配电源功率不足，使用过程中也会死机。
八：键盘、鼠标等外设不正常也容易引起死机。
九：在同一台机器中，不要混装不同的内存，否则机器会莫名其妙的死机。这也是常见的硬件引起的死机。大家一定要注意。
软件方面的原因:
十：在同一个硬盘上安装太多的 *** 作系统引起系统死机。
十一：在安装应用软件当中。若现提示对话框在"是否覆盖文件"。最好先择不要覆盖。因为通常当前的系统文件是最好的。不能根据时间的先后来决定覆盖文件（除非你对文件的时间很在意）。大家平常并不很注意这一点。
十二：在卸载软件的时候。不要删除共享文件。可能被系统或者其他程序作用，一旦删除这些文件，会使应用软件无法启动而死机。或者出现引起系统运行死机。
十三：在加载某些软件的时候。要注意先后顺序。由于有些软件编程的时候不规范。在运行时候不能排到第一，而是让其它设备使用该中断号。否则引起IRQ冲突。从而引起系统死机。
十四：在运行大型应用软件的时候不要在运行时退出。否则会引起整个瘟酒吧系统的崩溃。
十五：在内存小的时候不要运行占用内存大的程序。否刚在运行时容易出现死机。建议在运行这些程序时应及时保存当前正在使用的文件。
另外,防止电脑死机还有以下注意事项:
在内存较小的情况下(如4MB－16MB)，最好不要运行占用内存较大的应用程序，否则在运行时容易出现死机。建议在运行这些程序时应及时保存当前正在使用的文件。
对于系统文件或重要文件，最好使用隐含属性，这样才不致于因误 *** 作而删除或者覆盖这些文件。
修改硬盘主引导记录时，最好先保存原来的记录，防止因修改失败而无法恢复原来的硬盘主引导记录。
最好少用软件的测试版，因为测试版在某方面不够稳定，在使用后会使系统无法启动。
在Windows95/98中尽量不要运行16位应用程序，因为16位的应用程序会与Windows中的32位应用程序产生冲突，从而引起死机或无法启动。
在升级BIOS之前，应确定所升级的BIOS版本，同时应先保存一下原先的版本，以免升级错误而使系统无法启动。
尽量不要使用盗版的软件，因为这些软件里隐藏着大量病毒，一旦执行，会自动修改你的系统，使系统在运行中出现死机。
在机箱中，可能蕴藏了大量的灰尘，灰尘若接触了配件的电路，会使系统不稳定或死机。
在执行磁盘碎片整理的时后，不要运行大型应用软件，否则引起死机。
用杀毒软件检查硬盘期间，不要运行其它的应用程序，以防止系统死机。
在上网的时候，不要一次打开太多的浏览窗口，导致资源不足，引起死机。
在关闭计算机的时候，不要直接使用机箱中的电源按钮，因为直接使用电源按钮会引起文件的丢失，使下次不能正常启动，从而造成系统死机。
常用的分区格式有三种，分别是FAT16、FAT32、NTFS格式。
FAT16：
这是MS-DOS和最早期的Windows 95 *** 作系统中使用的磁盘分区格式。它采用16位的文件分配表，是目前获得 *** 作系统支持最多的一种磁盘分区格式，几乎所有的 *** 作系统都支持这种分区格式，从DOS、Windows 95、Windows OSR2到现在的Windows 98、Windows Me、Windows NT、Windows 2000，甚至最新的Windows XP都支持FAT16，但只支持2GB的硬盘分区成为了它的一大缺点。FAT16分区格式的另外一个缺点是：磁盘利用效率低（具体的技术细节请参阅相关资料）。为了解决这个问题，微软公司在Windows 95 OSR2中推出了一种全新的磁盘分区格式——FAT32。
FAT32：
这种格式采用32位的文件分配表，对磁盘的管理能力大大增强，突破了FAT16下每一个分区的容量只有2GB的限制。由于现在的硬盘生产成本下降，其容量越来越大，运用FAT32的分区格式后，我们可以将一个大容量硬盘定义成一个分区而不必分为几个分区使用，大大方便了对磁盘的管理。而且，FAT32与FAT16相比，可以极大地减少磁盘的浪费，提高磁盘利用率。目前，Windows 95 OSR2以后的 *** 作系统都支持这种分区格式。但是，这种分区格式也有它的缺点。首先是采用FAT32格式分区的磁盘，由于文件分配表的扩大，运行速度比采用FAT16格式分区的磁盘要慢。另外，由于DOS和Windows 95不支持这种分区格式，所以采用这种分区格式后，将无法再使用DOS和Windows 95系统。
NTFS：
它的优点是安全性和稳定性方面非常出色，在使用中不易产生文件碎片。并且能对用户的 *** 作进行记录，通过对用户权限进行非常严格的限制，使每个用户只能按照系统赋予的权限进行 *** 作，充分保护了系统与数据的安全。Windows 2000、Windows NT、以及Windows XP都支持这种分区格式。
Ext2：
这是Linux中使用最多的一种文件系统，它是专门为Linux设计的，拥有最快的速度和最小的CPU占用率。Ext2既可以用于标准的块设备(如硬盘)，也被应用在软盘等移动存储设备上。现在已经有新一代的Linux文件系统如SGI公司的XFS、ReiserFS、Ext3文件系统等出现。Linux的磁盘分区格式与其他 *** 作系统完全不同，其C、D、E、F等分区的意义也和Windows *** 作系统下不一样，使用Linux *** 作系统后，死机的机会大大减少。但是，目前支持这一分区格式的 *** 作系统只有Linux，而Linux对于大部分用户来说还是困难了点，在这里就不作详细介绍了。
分区方案推荐
要想合理的分配硬盘空间，需要从三个方面来考虑：
1、按要安装的 *** 作系统的类型及数目来分区。
2、按照各分区数据类型的分类进行存放。
3、为了便于维护和整理而划分。
下面以60~100GB的硬盘为例提供4种类型的硬盘分区方案，供读者参考（见附表1~6）。
我们以家用型分区方案（60~100GB）为例讲讲这样划分的理由：
家用型是针对办公、娱乐、游戏用途而言的，你可以装一个Windows 98和Windows XP。Windows 98具有出色的兼容性，可专门用来娱乐。Windows XP则有很强的稳定性，可用于办公和学习。
C盘 建议分区的大小是3~5GB，FAT32格式。C盘主要安装的是Windows 98和一些比较小的常用应用程序。3~5G的容量是考虑到当计算机进行 *** 作的时候，系统需要把一些临时文件暂时存放在C盘进行处理。所以C盘一定要保持一定的Free空间，同时也可以避免开机初始化和磁盘整理的时间过长。
D盘 建议分区的大小是10GB，NTFS格式，用来安装Windows XP及一些常用的办公和应用软件，NTFS分区格式有很强的稳定性和安全性，特别适合于办公和学习。
E盘 建议分区的大小是10~15GB，FAT32格式。D盘主要用来安装比较大的应用软件（比如：Photoshop）、常用工具（比如：超级解霸）等，同时建议在这个分区建立目录集中管理。
F盘 建议分区的大小是10~20GB，FAT32格式。主要用来安装游戏软件。如果需要的话，可以再对游戏的类型进行划分。
G盘 建议分区的大小是15~20GB，FAT32格式。如果你是音乐迷，有大量MP3、WMA或是整张VCD拷贝进去的文件要存放的话，可以划分一个比较大的G区，因为你放置的是一些多媒体文件，如MP3、VCD上的dat，由于单个文件（dat）很巨大，需要连续的大块空间，而且这些文件一般不需要编辑处理，只是用专用的软件回放欣赏。回放欣赏的质量和速度同磁盘数据结构的关系微乎其微，主要取决于CPU、显示卡的性能以及当前系统可用物理内存的大小。所以，我们根本没有频繁对这些分区进行碎片整理的必要。
H盘 剩余空间，FAT32格式。H盘主要是用来做文件备份。如Windows的注册表备份、Ghost备份和计算机各硬件如显示卡、声卡、Modem、打印机等驱动程序，以及各类软件的安装程序。这样可以加快软件的安装速度或与局域网里的其他用户共享。同时可以免去以后重新安装或是升级 *** 作系统时寻找驱动程序光盘的麻烦。这个分区并不需要经常进行碎片整理，只要在放置完数据后整理一次就够了，里面数据更新的频率较低。放置gho文件的分区，如果经常运行磁盘整理还可能会破坏压缩包内的数据，造成以后Ghost恢复系统时发生错误。
到这里，所有的磁盘空间都划分完毕。大概是5到6个分区，各种数据分类存放得井井有条。当然，你也可以把数据更细地分类、分区存放，比如Ghost的备份和Windows的安装程序可以分开放，音乐MP3和VCD的dat文件也可分区存放。总之，每个 *** 作系统原则上应该独占一个2~5GB的分区，里面除了 *** 作系统和办公软件外不要放其他重要文档和邮件，以方便用Ghost的方式维护。总的分区数建议不要超过10个，否则管理起来会比较麻烦，容易混乱。
希望对你有所帮助！^_^扩展根分区：lvextend -L +5G（拉大5G） /dev/mapper/vg_hostapp_home,这样就是将home分区扩大5个Gb，同样的，你的weblogic分区一样的，只要你的卷组还有空间，如果没有的话，就新建pv然后将新建的pv加入mapper卷组中再扩容。全程在线搞定
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）