elasticsearch之十集群部署及分布式内部机制

elasticsearch之十集群部署及分布式内部机制,第1张

垂直扩容:使用更加强大的服务器替代老服务器。但单机存储及运算能力有上线。且成本直线上升。如10t服务器1万。单个10T服务器可能20万。

水平扩容:采购更多服务器,加入集群。大数据。

新增或减少es实例时,es集群会将数据重新分配。

功能:

注意:es7以前primary shard的默认数量是5,replica默认是1,默认有10个shard,5个primary shard,5个replica shard

以3分片,2副本数,3节点为例。

主结点:master节点主要用于集群的管理及索引 比如新增结点、分片分配、索引的新增和删除等。 数据结点:data 节点上保存了数据分片,它负责索引和搜索 *** 作。 客户端结点:client 节点仅作为请求客户端存在,client的作用也作为负载均衡器,client 节点不存数据,只是将请求均衡转发到其它结点。

通过下边两项参数来配置结点的功能:

四种组合方式:

es提供了一套api,叫做cat api,可以查看es中各种各样的数据

GET /_cat/healthv

如何快速了解集群的健康状况?green、yellow、red?

green:每个索引的primary shard和replica shard都是active状态的

yellow:每个索引的primary shard都是active状态的,但是部分replica shard不是active状态,处于不可用的状态

red:不是所有索引的primary shard都是active状态的,部分索引有数据丢失了

GET /_cat/indicesv

问题一:选购IA服务器时应考察的主要配置参数有哪些
CPU和内存:CPU的类型、主频和数量在相当程度上决定着服务器的性能;服务器应采用专用的ECC校验内存,并且应当与不同的CPU搭配使用。
芯片组与主板:即使采用相同的芯片组,不同的主板设计也会对服务器性能产生重要影响。
网卡:服务器应当连接在传输速率最快的端口上,并最少配置一块千兆网卡。对于某些有特殊应用的服务器(如FTP、文件服务器或视频点播服务器),还应当配置两块千兆网卡。
硬盘和RAID卡:硬盘的读取/写入速率决定着服务器的处理速度和响应速率。除了在入门级服务器上可采用IDE硬盘外,通常都应采用传输速率更高、扩展性更好的SCSI硬盘。对于一些不能轻易中止运行的服务器而言,还应当采用热插拔硬盘,以保证服务器的不停机维护和扩容。
冗余:磁盘冗余采用两块或多块硬盘来实现磁盘阵列;网卡、电源、风扇等部件冗余可以保证部分硬件损坏之后,服务器仍然能够正常运行。
热插拔:是指带电进行硬盘或板卡的插拔 *** 作,实现故障恢复和系统扩容。 同时,在选择IA服务器时通常需要考虑可管理性、可用性、可扩展性、安全性以及可靠性等几方面的性能指标。
问题二:64位服务器覆盖的应用范围
从应用类型来看,大致可分为主域服务器、数据库服务器、Web服务器、FTP服务器和邮件服务器、高性能计算集群系统几类。 而目前,主流的服务器处理器有:英特尔安腾处理器、英特尔至强处理器和AMD公司的Opteron处理器,这些处理器是近几年推出的新型64位服务器。笔者就以上的几种应用,讨论一下服务器在不同的应用当中,对服务器子系统的不同要求进行简单概述:
主域控制器 网络、用户、计算机的管理中心,提供安全的网络工作环境。主域控制器的系统瓶颈是内存、网络、CPU、内存配置。
文件服务器 文件服务器作为网络的数据存储仓库,其性能要求是在网络上的用户和服务器磁盘子系统之间快速传递数据。
数据库服务器 数据库引擎包括DB2、SQL Server、Oracle、Sybase等。数据库服务器一般需要使用多处理器的系统,以SQL Server为例,SQL Server能够充分利用SMP技术来执行多线程任务,通过使用多个CPU,对数据库进行并行 *** 作来提高吞吐量。另外,SQL Server对L2缓存的点击率达到90%,所以L2缓存越大越好。内存和磁盘子系统对于数据库服务器来说也是至关重要的部分。
Web服务器 Web服务器用来响应Web请求,其性能是由网站内容来决定的。如果Web站点是静态的,系统瓶颈依次是:网络、内存、CPU;如果Web服务器主要进行密集计算(例如动态产生Web页),系统瓶颈依次是:内存、CPU、磁盘、网络,因为这些网站使用连接数据库的动态内容产生交易和查询,这都需要额外的CPU资源,更要有足够的内存来缓存和处理动态页面。
高性能计算用的集群系统 一般在4节点以上,节点机使用基于安腾、AMD 64技术的Opteron系统,这种集群系统的性能主要取决于厂商的技术实力、集群系统的设计、针对应用的调优等方面。
问题三:多核时代,处理器内核越多越好吗?
二大芯片巨头英特尔、AMD公司于2005年底推出多核处理器,目前,不管是双核、还是即将成为2007年主流四核处理器或是将来的八核、十六核处理器,英特尔、AMD之间激烈的竞争,促使处理器市场新品越来越多。在性能上、在功耗节能方面还是其它服务器配件方面,都极大地促进了产业的发展。
而对于大部分用户来讲,服务器在应用层次方面,仍旧是不变的。唯一需要考虑的就是用户自身的发展对于服务器的性能是否能够满足。现今,对于一款四核高性能服务器,其采购成本远远高于现今主流的双核服务器,如果双核服务器就能够满足您的需求,同时也能够为将来的3~5年发展预留足够的空间,那么就没必要选择价格昂贵的四核服务器。
综合以上:对于单核/双核/多核综合交叉时代,选购服务器应该把目光放在自身需求上面,以本身应用需求、资金投入为因素,选购最合适的服务器产品。

WebLogic Server Scripting Tool(WLST)是一种命令行脚本工具,BEA公司计划在WebLogic Server 90版本中包含它。现在,该工具及所有的服务包(service packs)都可以从BEA公司的dev2dev站点下载得到,并在WebLogic Server 70和80下运行。
背景知识
人们一直希望WebLogic Server支持一个脚本解决方案,以允许开发人员和系统管理员可靠地、交互式地对WebLogic Server配置执行简单和复杂的更改。当前,WebLogic Server 支持三个命令行工具:weblogicAdmin、weblogicDeployer和WLConfig Ant 任务工具。
这三个工具都需要一个运行的Weblogic Server实例。其中WeblogicAdmin和WLConfig用来修改配置和查询MBean,weblogicDeployer则严格用于部署应用程序。还有一些工具WebLogic Server不支持,但是用户很熟悉,例如WLShell、Config2Admin和MBeanExplorer等。
许多用例如果使用一个简单的脚本工具将会非常容易处理。例如,开发人员和管理员可能需要编写脚本来配置服务器,并且想要通过循环和其他流程控制结构来为服务器增加配置元素。类似这样的用例使人们迫切希望有一种可以读取用户脚本并且在WebLogic Server上运行的脚本语言解释器。
WLST试图解决一些当前WebLogic Server开发人员和管理员者所面临的难题。这包括捕捉那些可重复的配置和部署工作,其中配置工作主要是将环境(应用程序和依赖性)准备为大环境的一部分);在生命周期的某一级别或各个级别之间(例如开发和分段级别之间)的用户间共享复杂的配置更改;以及跨一个拓扑结构的多个节点或者在一些其他范围,迭代地应用相同的更改。向WebLogic Server增加对用户定义脚本编程的支持,可以极大地增强可用性,从而提高用户满意度。使用WLST,用户可以定制WebLogic Server,以满足自己的需要,简化日常任务,扩展其他功能。通过提供脚本来处理,重复的任务和复杂的过程现在可以被简化。脚本语言扩展了Java语言,提高了开发速度。
简介
WLST是WebLogic Server的一个命令行脚本接口。WLST脚本环境基于Java脚本解释器(Jython)。WLST使您能够利用所提供的WebLogic Server脚本功能,以及解释型语言的共同特性。这些特性包括局部变量、条件变量和流程控制语句。WebLogic Server开发人员和管理员可以根据Jython语法,扩展WebLogic Server脚本语言来适应自己的需要。
Jython是高级、动态、面向对象语言Python的一个与Java平台无缝集成的实现。Jython是100%纯Java的,由于它清晰简单的语法,使得Jython非常容易学习。Jython的一个主要优点是您可以通过Jython解释器调用任何Java对象。这就意味着用户可以重用自己编写的任何Java代码或者Java工具。本文我们对Jython不做太多深究。关于Jython的更多信息,请访问模块中使用。有关更多信息,请访问>

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zz/12881266.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-28
下一篇 2023-05-28

发表评论

登录后才能评论

评论列表(0条)

保存