kafka中的配额管理（限速）机制

kafka中的配额管理（限速）机制

kafka支持配额管理，从而可以对Producer和Consumer的produce&fetch *** 作进行流量限制，防止个别业务压爆服务器。

本文主要介绍如何使用kafka的配额管理功能。

1 Kafka Quatas简介

Kafka配额管理所能配置的对象（或者说粒度）有3种：

user + clientid
user
clientid
这3种都是对接入的client的身份进行的认定方式。

其中，

• clientid是每个接入kafka集群的client的一个身份标志，在ProduceRequest和FetchRequest中都需要带上；
• user只有在开启了身份认证的kafka集群才有。
  

  
  

如果kafka集群没有开启身份认证，则只能使用clientid方式来进行限流。

可配置的选项包括：

• producer_byte_rate。
  

  
  

  发布者单位时间（每秒）内可以发布到单台broker的字节数。
  

  
  

• consumer_byte_rate。
  

  
  

  消费者单位时间（每秒）内可以从单台broker拉取的字节数。
  

  
  

2 如何配置

可以通过两种方式来作配额管理：

1. 在配置文件中指定所有client-id的统一配额。
   

   
   

2. 动态修改zookeeper中相关znode的值，可以配置指定client-id的配额。
   

   
   

使用第一种方式，必须重启broker，而且还不能针对特定client-id设置。

所以，推荐大家使用第二种方式。

2.1 使用官方脚本修改配额

kafka官方的二进制包中，包含了一个脚本bin/kafka-configs.sh，支持针对user，client-id，(user,client-id)等三种纬度设置配额（也是通过修改zk来实现的）。

#1. 配置user+clientid。

例如，user为”user1”，clientid为”clientA”。



bin/kafka-configs.sh  --zookeeper localhost: --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=2048'  \

                      --entity-type users --entity-name user1 --entity-type clients --entity-name clientA

#2. 配置user。

例如，user为”user1”

bin/kafka-configs.sh  --zookeeper localhost: --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=2048' \

                      --entity-type users --entity-name user1

#3. 配置client-id。

例如，client-id为”clientA”

bin/kafka-configs.sh  --zookeeper localhost: --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=2048' \

                      --entity-type clients --entity-name clientA

2.2 直接写zk来修改配额

假定我们在启动kafka时指定的zookeeper目录是kafka_rootdir

#. 配置user+clientid。

例如，针对”user1”，”clientA”的配额是10MB/sec，其它clientid的默认配额是5MB/sec。



znode: ${kafka_rootdir}/config/users/user1/clients/clientid;

value: {"version":,"config":{"producer_byte_rate":"","consumer_byte_rate":""}}

znode: {kafka_rootdir}/config/users/user1/clients/<default>;

value: {"version":,"config":{"producer_byte_rate":"","consumer_byte_rate":""}}

#. 配置user。

例如，”user2”的配额是1MB/sec，其它user的默认配额是5MB/sec。



znode: ${kafka_rootdir}/config/users/user1;

value: {"version":,"config":{"producer_byte_rate":"","consumer_byte_rate":""}}

znode: ${kafka_rootdir/config/users/<default>;

value: {"version":,"config":{"producer_byte_rate":"","consumer_byte_rate":""}}

#. 配置client-id。

例如，”clientB”的配额是2MB/sec，其它clientid的默认配额是1MB/sec。



znode:${kafka_rootdir}/config/clients/clientB';

value:{“version”:,”config”:{“producer_byte_rate”:””,”consumer_byte_rate”:””}}</li>

znode:${kafka_rootdir}/config/clients/;

value:{“version”:,”config”:{“producer_byte_rate”:””,”consumer_byte_rate”:””}}`

3 优先级
首先，我们需要明白，kafka在管理配额的时候，是以“组”的概念来管理的。

而管理的对象，则是producer或consumer到broker的一条条的TCP连接。

那么在进行额度管理的时候，kafka首先需要确认，这条连接属于哪个“组”，进而确定当前连接是否超过了所属“组”的总额度。

在进行“组”判定的时候，依照以下的优先级顺序依次判定：

 /config/users/<user>/clients/<client-id>

 /config/users/<user>/clients/<default>

 /config/users/<user>

 /config/users/<default>/clients/<client-id>

 /config/users/<default>/clients/<default>

 /config/users/<default>

 /config/clients/<client-id>

 /config/clients/<default>

一旦找到了符合的“组”，即中止判定过程。

4 超额处理

如果连接超过了配额值会怎么样呢？kafka给出的处理方式是：延时回复给业务方，不使用特定返回码。

具体到producer还是consumer，处理方式又有所不同：

• Producer：如果Producer超额了，先把数据append到log文件，再计算延时时间，并在ProduceResponse的ThrottleTime字段填上延时的时间（v2，只在0.10.0版本以上支持）。
  

  
  

• Consumer：如果Consumer超额了，先计算延时时间，在延时到期后再去从log读取数据并返回给Consumer。
  

  
  

  否则无法起到限制对文件系统的读蜂拥。
  

  
  

  在v1（0.9.0以上版本）和v2版本的FetchResponse中有ThrottleTime字段，表示因为超过配额而延时了多久