Kafka 安装教程 + nodejs 连接

1、kafka安装包

http://kafka.apache.org/downloads

2、zookeeper安装包

https://zookeeper.apache.org/releases.html#download

1、先安装运行zookeeper

2、安装运行kafka

修改下图ip

advertised.listeners=PLAINTEXT://71.24.89.191:9092

这里主要是检测对应的端口是否是打开状态

分别是 zookeeper的默认端口 2181 和 kafka的 9092

检测网址

1、 添加

2、查看所有主题

3、查看主题下所有分区

4、动态 修改主题 分区为12

小伙伴们可以看我另一片文章

Nodejs kafka连接

1、内存不足

这里因为我的机器的内存比较小

OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000e0000000, 536870912, 0) failederror='Cannot allocate memory' (errno=12)

There is insufficient memory for the Java Runtime Environment to continue.

Native memory allocation (mmap) failed to map 536870912 bytes for committing reserved memory.

我们只需要把kafka启动脚本修改一下就可以了

修改内存为256:

解压下载的kafkatar -xzf kafka_2.10-0.8.2.2.tgz

cd kafka_2.10-0.8.2.2

3. 启动服务

3.1 启动zookeeper

启动zk有两种方式，第一种是使用kafka自己带的一个zk。

bin/zookeeper-server-start.sh config/zookeeper.properties

&

另一种是使用其它的zookeeper，可以位于本机也可以位于其它地址。这种情况需要修改config下面的sercer.properties里面的zookeeper地址

。例如zookeeper.connect=10.202.4.179:2181

3.2 启动 kafka

bin/kafka-server-start.sh config/server.properties

4.创建topic

bin/kafka-topics.sh --create --zookeeper 10.202.4.179:2181 --replication-factor 1 --partitions 1 --topic test

创建一个名为test的topic，只有一个副本，一个分区。

通过list命令查看刚刚创建的topic

bin/kafka-topics.sh -list -zookeeper 10.202.4.179:2181

5.启动producer并发送消息启动producer

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

启动之后就可以发送消息了

比如

test

hello boy

按Ctrl+C退出发送消息

6.启动consumer

bin/kafka-console-consumer.sh --zookeeper 10.202.4.179:2181 --topic test --from-beginning

启动consumer之后就可以在console中看到producer发送的消息了

可以开启两个终端，一个发送消息，一个接受消息。

主要 *** 作在主机vcapp250上进行

编辑config/zookeeper.properties

编辑config/server.properties

编辑bin/kafka-run-class.sh

将安装目录拷贝到剩余主机的对应目录中

启动zookeeper

启动kafka

---