Docker部署ELK

Docker部署ELK

0. ELK 并不是一款软件，而是一整套解决方案

• Elasticsearch
  • 搜索和分析引擎
• Logstash
  • 数据收集引擎
• Kibana
  • Kibana 是一款基于 Apache 开源协议，使用 Javascript 语言编写，为 Elasticsearch 提供分析和可视化的 Web 平台。
    

1. 任意目录创建一个docker-compose.yml,填入以下内容：

version: '3'
services:
  elasticsearch:
    image: elasticsearch:7.0.1
    container_name: elasticsearch
    environment:
      - "cluster.name=elasticsearch" #设置集群名称为elasticsearch
      - "discovery.type=single-node" #以单一节点模式启动
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m" #设置使用jvm内存大小
    volumes:
      - /usr/local/elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins #插件文件挂载
      - /usr/local/elk/elasticsearch/data:/usr/share/elasticsearch/data #数据文件挂载
    ports:
      - 9200:9200
  kibana:
    image: kibana:7.0.1
    container_name: kibana
    links:
      - elasticsearch:es #可以用es这个域名访问elasticsearch服务
    depends_on:
      - elasticsearch #kibana在elasticsearch启动之后再启动
    environment:
      - "elasticsearch.hosts=http://es:9200" #设置访问elasticsearch的地址
    ports:
      - 5601:5601
  logstash:
    image: logstash:7.0.1
    container_name: logstash
    volumes:
      - /usr/local/elk/logstash/upms-logstash.conf:/usr/share/logstash/pipeline/logstash.conf 
    depends_on:
      - elasticsearch #kibana在elasticsearch启动之后再启动
    links:
      - elasticsearch:es #可以用es这个域名访问elasticsearch服务
    ports:
      - 4560:4560

2. 创建挂载文件需要的目录（并且添加读写权限）

mkdir -p /usr/local/elk/logstash /usr/local/elk/elasticsearch/data /usr/local/elk/elasticsearch/plugins

chmod 777 /usr/local/elk/elasticsearch/data  # 给777权限，不然启动elasticsearch 可能会有权限问题

3. logstash配置

• 进入 /usr/local/elk/logstash目录，创建 upms-logstash.conf文件

vi  /usr/local/elk/logstash/upms-logstash.conf

• 暴露4560端口，供程序连接，采用json_lines编码格式
• 把采集的日志输出到 elasticsearch中
• 其中 index为索引，也是 kibana 中进行日志展示的索引

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json_lines
  }
}
output {
  elasticsearch {
    hosts => "es:9200"
    index => "hello-logstash-%{+YYYY.MM.dd}"
  }
}

4. 在docker-compose.yml所在目录，运行

docker-compose up -d

5. 安装json_lines插件

# 进入logstash容器
docker exec -it logstash /bin/bash
# 进入bin目录
cd /bin/
# 安装插件
logstash-plugin install logstash-codec-json_lines
# 退出容器
exit
# 重启logstash服务
docker restart logstash

6. 汉化kibana

• 7.*版本修改kibana配置文件kibana.yml中的配置项：i18n.locale: "zh-CN"，重启Kibana则汉化完成。

  elk > docker exec -it kibana bash
  bash-4.2$ vi config/kibana.yml 
  
  

• 6.*版本下载汉化插件，docker cp 到 kibana容器的根目录，然后进入容器/bin/bash

  unzip master
  docker cp master kibana的容器id:/  #复制文件夹到根目录
  docker exec -it kibana /bin/bash
  pwd #记录下当前目录，复制下来
  cd /master/old
  python main.py "上面复制的目录"
  docker restart kibana 
  

7. 打开项目中的pom文件，添加以下依赖

    net.logstash.logback
    logstash-logback-encoder
    5.3





  
    com.fasterxml.jackson.core
    jackson-databind
  

8. logback-spring.xml，添加appender

    
    127.0.0.1:4560
    
    
    {"appname":"${appName}"}
            
                
                    UTC
                
                
                    
                        {
                        "severity": "%level",
                        "service": "${springAppName:-}",
                        "trace": "%X{X-B3-TraceId:-}",
                        "span": "%X{X-B3-SpanId:-}",
                        "exportable": "%X{X-Span-Export:-}",
                        "pid": "${PID:-}",
                        "thread": "%thread",
                        "class": "%logger{40}",
                        "rest": "%message"
                        }
                    
                
            
    

9. 访问
   ip:5601
10. 使用

• 查看报错
  
• 可视化分析