kafka权限控制

转发文章-- https://www.jianshu.com/p/011567554f0f

请先在不配置任何身份验证的情况下启动Kafka

Kafka中的SCRAM实现使用Zookeeper作为凭证(credential)存储。 可以使用 kafka-configs.sh 在Zookeeper中创建凭据。 对于启用的每个SCRAM机制，必须通过添加具有机制名称的配置来创建凭证。 必须在启动Kafka broker之前创建代理间通信的凭据。 可以动态创建和更新客户端凭证，并使用更新的凭证来验证新连接。

这里只演示,不 *** 作

或者不修改 kafka-server-start.sh 脚本, 而是将下面的内容添加到 ~/.bashrc

再官方文档中写的是

这里其实没必要写成 SASL_SSL , 我们可以根据自己的需求选择SSL或PLAINTEXT, 我这里选择PLAINTEXT不加密明文传输, 省事, 性能也相对好一些

Kafka所有Broker

先使用kafka-console-producer 和 kafka-console-consumer 测试一下

可以看到admin用户无需配置ACL就可以生成消息

生产消息

可以看到报错了, 因为fanboshi用户还没有权限

其实也会报错的, 报错内容就不贴了

生产者

消费者

都没问题了

好像只能去zookeeper看?

尝试删除alice

去ZK查看

kafka ACL常用权限 *** 作

创建topic

使用bin/kafka-topics.sh创建

注意工具bin/kafka-topics.sh访问的是zookeeper而不是kafka，即他是一个zookeeper client而不是一个kafka client，所以它的认证都是通过zookeeper完成的。

Case 1：如果zookeeper没有配置ACL激活：

Case 2：如果zookeeper已经配置ACL激活：

命令还是前面的那个命令，但是必须提供java.security.auth.login.config指向jaas.conf文件。例如：

命令的配置可以直接修改jvm的启动脚本，或者设置在环境变量里：

这里配置的用户必须是zookeeper服务端已经配置运行可以访问的客户端用户。例如，下面的zookeeper服务端配置：

运行客户端为admin的用户作为zookeeper客户端连接访问。

查询topic

查询topic *** 作的ACL认证，同前面创建topic *** 作的认证一样，不细说，参考前面。

删除topic

删除topic *** 作的ACL认证，同前面创建topic *** 作的认证一样，不细说，参考前面。

kafka ACL常用权限 *** 作

使用bin/kafka-topics.sh创建

注意工具bin/kafka-topics.sh访问的是zookeeper而不是kafka，即他是一个zookeeper client而不是一个kafka client，所以它的认证都是通过zookeeper完成的。

Case 1：如果zookeeper没有配置ACL激活：

Case 2：如果zookeeper已经配置ACL激活：

命令还是前面的那个命令，但是必须提供java.security.auth.login.config指向jaas.conf文件。例如：

命令的配置可以直接修改jvm的启动脚本，或者设置在环境变量里：

这里配置的用户必须是zookeeper服务端已经配置运行可以访问的客户端用户。例如，下面的zookeeper服务端配置：

运行客户端为admin的用户作为zookeeper客户端连接访问。

查询topic *** 作的ACL认证，同前面创建topic *** 作的认证一样，不细说，参考前面。

删除topic *** 作的ACL认证，同前面创建topic *** 作的认证一样，不细说，参考前面。

producer用的脚本是/opt/kafka/bin/kafka-console-producer.sh，注意这个producer脚本是和kafka打交道的(相对bin/kafka-topics.sh是和zookeeper打交道的)，所以：

命令行格式：

文件/path/to/client-sasl.properties

还需要配置client用户信息，并传给JVM参数：

此时如果没有授权，则会得到如下错误信息：

赋予producer的权限：

这个选项--producer实际上在Topic域上创建了(Write/Describe/Create)3个子权限：

当然用户也可以单独创建者三个子权限。

consumer用的脚本是/opt/kafka/bin/kafka-console-consumer.sh，注意和生产者producer一样，consumer也是和kafka打交道的(相对于bin/kafka-topics.sh是和zookeeper打交道的)，所以：

命令行格式：

选项--from-begining可以调整成其他值；配置文件/path/to/client-sasl.properties和producer的一样，不细说，参考生产者。

此时如果没有授权，则会得到如下错误信息：

赋予consumer的权限：

和producer相比，consumer还有一个额外的参数--group，如果没有限制，则置成'*'即可；这个--consumer的选择实际上在Topic域上创建了(Read/Describe)2个子权限，然后在Group域创建了(Read)1个子权限：

这个地方我们注意一下，consumer没有Create的权限，所以如果kafka配置成auto.create.topics.enable=true，而此时topic不存在，那么consumer试图创建topic的时候会失败，那就需要一条单独的Create授权规则来给consumer增加Create权限。

权限管理工具以命令行的方式管理权限，可以增加/删除/列举所有的权限规则。

基本用法：

授权用户kafaclient具有Read topic kafaclient--topic的权限。

删除用户kafaclient具有Describe topic kafaclient--topic的权限。

查看当前在topic kafkaclient--topic上面的权限列表。

另外注意，和kafka-topics.sh一样，kafka-acls.sh也是直接访问zookeeper的，而不是访问kafka，所以它的认证方式和kafka-topics.sh是一样的：

详细的用法配置请参考kafka-topics.sh部分，不细说。

在kafka2.0之后引入了--resource-pattern-type这个参数，可以针对特定的资源(topic)命名规则，例如前缀，来为某一类的topic添加规则。而之前的办法只能读完整的topic设置规则，字符' '表示所有的，这不是规则表达式匹配任意字符的意思，而就是文本字符' '。

例如：

授权用户kafkaclient具有访问所有以'kafkaclient--'开头的topic的权限；这样带来的好处是，以后我们使得kafkaclient创建的topic全部以'kafkaclient--'开头，那么就不需要再为这些topic创建rule，一条rule就能够动态的管理新加的topic。

其实我对这个还是不满意，如果能够定义灵活规则就好了；因为上面的限制，我还是需要为每一个用户添加一条规则，而我想为所有的用户只用一条规则，这条规则就是：任何用户具有访问以这个用户名开头的所有的topic；这样不管以后新加topic还是新加用户，都不用再新加rule了。遗憾的是目前kafka还是不支持这个功能。类似：

安全模式下，用户执行Kafka *** 作需要有对应 *** 作的权限。一个用户在Kafka中有下面四种权限：

• R(ead)：从Topic读取数据

• W(rite)：向Topic生产数据

• C(reate)：创建Topic

• D(elete)：删除Topic

1、授予权限

语法：

./kafka-grant-permission.sh --permission <privileges>[--topic <topic>] --user <user_name>

--zookeeper <zookeeper_hosts>--principal <kafka_principal>--keytab <kafka_keytab_path>

说明

•<privileges>处填授予的权限，也就是RWCD 中的一个或多个。

•--topic 为可选项，用于指定权限生效的Topic，如果不指定，则代表授予全局权限。

•<user_name>出填被授予权限的用户。

•<zookeeper_hosts>处填使用的ZooKeeper节点的hostname。

•<kafka_principal>和<kafka_keytab_path>处分别填当前节点上kafka用户的principal

和keytab的路径。

1）授予全局权限

./kafka-grant-permission.sh --permission C --user alice --zookeeper tw-node128 --principal kafka/twnode128@TDH --keytab /etc/kafka1/kafka.keytab

2）授予Topic权限

./kafka-grant-permission.sh --permission RWD--topic demo3--user alice --zookeeper tw-node128 --principal kafka/tw-node128@TDH --keytab /etc/kafka1/kafka.keytab

2、查看权限

语法

./kafka-show-permission.sh --user <user_name>[--topic <topic>] --zookeeper <zookeeper_hosts>

--principal <kafka_principal>--keytab <kafka_keytab_path>

•--topic 为可选项，用于指定查看权限的Topic，如果不指定，则代表查看所有Topic以及全局权限。

•<user_name>出填被授予权限的用户。

•<zookeeper_hosts>处填使用的ZooKeeper节点的hostname。

•<kafka_principal>和<kafka_keytab_path>处分别填当前节点上kafka用户的principal

和keytab的路径

1）查看所有Topic以及全局权限

./kafka-show-permission.sh --user alice --zookeeper tw-node128 --principal kafka/tw-node128@TDH --keytab /etc/kafka1/kafka.keytab

2）查看指定Topic的权限

./kafka-show-permission.sh --user alice --topic demo3 --zookeeper tw-node128 --principal kafka/twnode128@TDH --keytab /etc/kafka1/kafka.keytab

3、回收权限

语法

./kafka-revoke-permission.sh --permission <privileges>[--topic <topic>] --user <user_name>

--zookeeper <zookeeper_hosts>--principal <kafka_principal>--keytab <kafka_keytab_path>

说明

•<privileges>处填收回的权限，也就是RWCD 中的一个或多个。

•--topic 为可选项，用于指定收回权限的Topic，如果不指定，则代表收回全局权限。

•<user_name>出填被收回权限的用户。

•<zookeeper_hosts>处填使用的ZooKeeper节点的hostname。

•<kafka_principal>和<kafka_keytab_path>处分别填当前节点上kafka用户的principal

和keytab的路径。

1）收回指定Topic上的权限

./kafka-revoke-permission.sh --permission W --topic demo3 --user alice --zookeeper tw-node128 --principal kafka/tw-node128@TDH --keytab /etc/kafka1/kafka.keytab

2）收回全局权限

./kafka-revoke-permission.sh --permission C --user alice --zookeeper tw-node128 --principal

kafka/tw-node128@TDH --keytab /etc/kafka1/kafka.keytab

---