如图所示:配置和安装ELK日志分析系统，安裴集群方式，2个elasticsearch节点分配4GB(>2GB）内存，并监控apache 《1GB内存>服务器日志。
创建多台Elasticsearch节点的目的是存放数据的多个副本，在实际生产环境中，节点的数量可能更多，另外本案例中，Elasticsearch和 kibana集中部署在 elk-node1节点上，也可以采用分布式部署，即 Logstash、Elasticsearch和 Kibana分别部署在不同的服务器上。
（1）：在2个ELK 节点上配置名称解析，通过本地/etc/hosts 文件实现
ELK-node1 上的配置
《1》：hostname elk-node1 修改名称
《2》：bash
《3》：vim /etc/hosts 编辑文件
《4》： 写入：
192.168.100.10 elk-node1
192.168.100.20 elk-node2
《5》：bash
ELK-node2 上的配置
《1》：hostname elk-node2 修改名称
《2》：bash
《3》：vim /etc/hosts 编辑文件
《4》： 写入：
192.168.100.10 elk-node1
192.168.100.20 elk-node2
《5》：bash
需要Java 环境（系统自带）
（2）：安装elasticsearch 软件在两台节点上安装
《1》：rz 上传软件包
《2》：rpm -ivh elasticsearch-5.5.0.rpm 安装
《3》：systemctl daemon-reload
《4》：systemctl enable elasticsearch.service 开机自启动‘
《5》：vim /etc/elasticsearch/elasticsearch.xml 编辑文件（两个节点配置差不多，elk-node2 不用添加最后两行））
《6》：mkdir -p /data/elk_data 创建
《7》：chown elasticsearch:elasticsearch /data/elk_data/ 改用户组
《8》：systemctl start elasticsearch.service 启动
《9》：netstat -lnpt |grep 9200 查看端口
《10》：systemctl stop firewalld 关闭防火墙
《11》：访问
（3）：安装elasticsearch-head 插件(只在一个节点做）《12》：访问 http://192.168.100.10:9200/cluster/health?pretty 查看的状态，可以看到status为green 绿色
《1》：rz 上传：node-v8..2.1-linux-x64.tar.gz 和elasticsearch-head.tar.gz
《2》：tar xf node-v8.2.1-linux.tar.gz -C /usr/local/ 解压
《3》：ln -s /usr/local/node-v8.2.1-linux-x64/bin/node /usr/bin/node
《4》：ln -s /usr/local/node-v8.2.1-linux-x64/bin/npm /usr/local/bin
《5》：node -v 查看版本
《6》：npm -v 查看版本
《7》： tar xf elasticsearch-head.tar.gz -C /data/elk_data/
《8》：cd /data/elk-data/ 切换目录
《9》：ls 查看
《10》：chown -R elasticsearch:elasticsearch elasticsearch-head/ 修改组
《11》：cd elastcsearch-head/ 切换目录
《12》：nmp install 执行 //不需要网络
《13》：cd _site/ 切换目录
《14》：pwd 查看当前路径
《15》：cp app.js app.js.bak 复制
《16》：vim app.js 编辑文件
《17》：在4329 行修改IP地址
《18》：npm run start & 放在后台启动
《19》：systemctl start elasticsearch.service 重启服务
《20》：netstat -lnpt |grep 9100 查看端口
《21》：访问
《22》： curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'Content-Type:application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
插入
刷新
（4）：安装logstashLogstash一般部署在需要监控其日志的殷务器中的,本案例中,Logstash部署在Apache限务器上,用于搜集Apache服劳器的日志信息并发送到Elasticsearch中,在正式部署之前，先再Node1上部署Logstash,以熟悉Logstash的使用方法。Logstash 也需赛Java环境,所以按照之前也餮检查当前机器的Java环境是否存在。她
《1》：在elk-node1 上安装
rz 上传 logstash-5.5.1.rpm
2》：rpm -ivh logstash-5.5.1.rpm 安装
《3》：systemctl start logstash 启动
《4》：ln -s /usr/share/logstash/bin/logstash /usr/local/bin 创建链接
《5》：logstash 基本使用
Logstash使用管道方式进行日志的搜集处理和输出·有点类似linux.系统的管道命令xoox | eccl dad，xox执行完了会执行eec，然后执行ddd
在oesash中，包括了三个翰段:
输入 input -->处理fiter《不是必须的》 ->输出output
每个阶段都由很多的插件配合工作，比如 fllebeat·glasticseanch、rodis.等等。每个翰段也可以指定多种方式,比如输出既可以输出到gasticsearch中,也可以指定到stdout,在控制台打印。由于这种捂件式的组织方式，使得 Logstash_变得易于扩展和定制。
《6》：logstash 命令行中常用的选项
-f：通过这个命令可以指定 Logstash的配器文件，根据配嚣文件配置 !ogstashe-e:后面跟着字符串,该字符串可以被当象.log球ash,的配置《如果是"~则默认使用stdin作为输入，stdout.作为谣出》v-t：测试配簋文件是否正确，然后退出
启动一个 logstash e:在命令行执行:input 5编入,stdin标准输入,是一个指件。output 谣出，stdout :标准输出
《6》：logstash -e 'input { stdin{} } output { stdout{} }'
使用rubydebug显示详细输出，codec为一直编xxx
《7》：logstash -e 'input{ stdin{} } output { stdout{ codec =>rubydebug} }'
使用logstash将信息写入到elasticsearch中
《8》：logstash -e 'input { stdin{} } output { elasticsearch { hosts=> ["192.168.100.30:9200"]} }'
《9》：访问
《10》：logstash 配置文件使用
logstash.配置文件基本上由三部分组成，input、output以及用户需要才添加的filter，因此标准的配置文件格式如下:
input {……}
filter {……}
output{……}
在每个部分中,也可以指定多个访问方式,例如我想要指定两个日志来源文件，则可以这样写：
input {
file {path =>""/var/log/messages" type =>"syslog"}
file {path =>""/var/log/apache/access.log" type =>"apache""}
下面是一个收集系统日志的配置文件例子,将其放到/etc/logstash/conf.d/目录中, logstash,启动的时候便会加裁。注意要给logstash_读取日志文件的权限。
《9》：案例：配置收集系统日志将system.conf 放到/etc/logstash/conf.d/目录中，logstash 启动的时候便会加载
《1》：cd /etc/logstash/conf.d/ 切换目录
《2》：vim system.conf 编辑文件
《3》：写入
input {
file {
path => "/var/log/messages"
type => "system"
start_position => "beginning"
}
}
output {
elasticsearch {
hosts => ["192.168.100.30:9200"]
index => "system-%{+YYYY.MM.dd}"
}
}
《4》：systemctl restart logstash 重启服务
《5》：logstash -f /etc/logstash/conf.d/system.conf 启动
《6》：访问
《7》：点击数据浏览--查看system 的数据
（5）：安装kibana
《1》：rz 上传
《2》：rpm -ivh kibana-5.5.1-x86_64.rpm 安装
《3》：systemctl enable kibana.service
《4》：vim /etc/kibana/kibana.yml 编辑
2 server.port: 5601 //工作端口
7 server.host: "0.0.0.0" //监听地址
21 elasticsearch.url: http://192.168.100.30:9200 //绑定elasticsearch的地址因为帮助它来做数据的展示
30 kibana.index: ".kibana" //索引名称
《5》：systemctl start kibana.service 启动
《6》：netstat -lnpt|grep 5601 查看端口
《7》：访问
http://192.168.100.30:5601
注意上面有一个报错，需要创建一个默认分区
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）