springBoot 将日志通过logback写入kafka实战

springBoot 将日志通过logback写入kafka实战

在web项目实战过程中，我们对日志的处理一般有多种方式，直接写到文件、或者直接写入ELK或者直接写入kafka,今天我们分享直接写入kafka的实战流程：

1、pom文件引入jar

  com.github.danielwegener
  logback-kafka-appender
  0.2.0-RC1



  net.logstash.logback
  logstash-logback-encoder
  6.4

2、配置文件添加 kafka 地址：

spring:
  kafka:
    log:
      bootstrap-servers: nandao-01.com:9092,nandao-02.com:9092 
    topic:
      log: applog-nd

注意一下：此配置尽量放到加载优先级高的配置文件里，比如：bootstrap.yml 中。因为服务在启动时，logback-spring.xml文件加载的优先级是比较高的，高于配置中心的配置文件，低于bootstrap.yml 文件；如果把此配置放到配置文件里，加载启动的可能会报类似空指针的错误，也即连不上服务，一直报连接异常的错误。大家可以根据具体的服务，测试一下，就会明白。 

3、logback-spring.xml中添加配置：

    
    
        
            %d{yyyy-MM-dd HH:mm:ss.SSS} %level [%thread] %logger{5}[%L] %msg%n
        
        
            INFO
        
    
    
        ${LOG_FILE_HOME}/${LOG_NAME_PREFIX}-info.log
        
            %d{yyyy-MM-dd HH:mm:ss.SSS} %level [%thread] %logger{5}[%L] %msg%n
        
        
            INFO
        
        
            ${LOG_FILE_HOME}/backup/${LOG_NAME_PREFIX}-info.%d{yyyy-MM-dd}.log
            
        
    
    
        ${LOG_FILE_HOME}/${LOG_NAME_PREFIX}-error.log
        
            %d{yyyy-MM-dd HH:mm:ss.SSS} %level [%thread] %logger{5}[%L] %msg%n
        
        
            ERROR
        
        
            ${LOG_FILE_HOME}/backup/${LOG_NAME_PREFIX}-error.%d{yyyy-MM-dd}.log
            
        
    

    
    
        
            
                
                    
                        {"app":"${APP}",
                        "profile":"${PROFILES_ACTIVE}",
                        "thread": "%thread",
                        "logger": "%logger{5}",
                        "message":"%msg",
                        "app_name":"${APP_NAME}",
                        "env_name":"${ENV_NAME}",
                        "hostname":"${HOSTNAME}",
                        "captain_seq":"${CAPTAIN_SEQ}",
                        "captain_gen":"${CAPTAIN_GEN}",
                        "build_name":"${BUILD_NAME}",
                        "build_git_version":"${BUILD_GIT_VERSION}",
                        "build_git_hash":"${BUILD_GIT_HASH}",
                        "build_timestamp":"${BUILD_TIMESTAMP}",
                        "date":"%d{yyyy-MM-dd HH:mm:ss.SSS}",
                        "level":"%level",
                        "stack_trace":"%exception"
                        }
                    
                
            
        
        ${KAFKA_TOPIC}
        
        
       bootstrap.servers=${KAFKA_SERVERS}
      
　　　 　retries=1
　　　 　batch-size=16384
　　　 　buffer-memory=33554432
　　　 　properties.max.request.size==2097152
        
    


    
        
        
        
        
    

 4、此方案是标准的实战场景的配置，大家可以反复测试验证，定会了如指掌！到此实战场景分享完毕，后期我们会分享，kafka在业务的使用和配置、流量控制等，敬请期待！