Kafka 安装教程 + nodejs 连接

1、kafka安装包

http://kafka.apache.org/downloads

2、zookeeper安装包

https://zookeeper.apache.org/releases.html#download

1、先安装运行zookeeper

2、安装运行kafka

修改下图ip

advertised.listeners=PLAINTEXT://71.24.89.191:9092

这里主要是检测对应的端口是否是打开状态

分别是 zookeeper的默认端口 2181 和 kafka的 9092

检测网址

1、 添加

2、查看所有主题

3、查看主题下所有分区

4、动态 修改主题 分区为12

小伙伴们可以看我另一片文章

Nodejs kafka连接

1、内存不足

这里因为我的机器的内存比较小

OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000e0000000, 536870912, 0) failederror='Cannot allocate memory' (errno=12)

There is insufficient memory for the Java Runtime Environment to continue.

Native memory allocation (mmap) failed to map 536870912 bytes for committing reserved memory.

我们只需要把kafka启动脚本修改一下就可以了

修改内存为256:

       在使用Kafka Connect时，需要注意一些事项，以帮助你构建适应长期需求的datapipeline。本章旨在提供有关的一些上下文。

       要开始使用Kafka Connect，只有一个硬性的先决条件：一个Kafka的broker集群。然而，随着集群增长，有几个问题需要提前考虑：

       在开始之前，确定哪种模式最适合您的环境非常有用。 对于适合单个代理的环境（例如从web服务器向Kafka发送日志），standalone模式非常适合。在单个source或sink可能需要大量数据的用例中（例如，将数据从Kafka发送到HDFS），分布式模式在可伸缩性方面更加灵活，并提供了高可用性服务，从而最小化停机时间。

       Kafka Connect插件是一组jar文件，Kafka Connect可以在其中找到一个或多个connector、transform、以及converter的实现。Kafka Connect将每个插件彼此隔离，这样一个插件中的库就不会受到其他插件库的影响，这点非常重要。

Kafka Connect plugin是：

（1）在一个uber jar文件中包含插件及所有第三方依赖；或

（2）一个包含jar包和第三方依赖的目录。

       Kafka Connect使用plugin path找到插件，这是Kafka Connect在worker配置文件中定义的一个以逗号分隔的目录列表。要安装插件，请将目录或uber jar放在plugin path路径中列出的目录中。

        举个例子 ，我们在每台机器上创建一个/usr/local/share/kafka/plugins目录，然后将我们所有的插件jar或插件目录放入其中。然后在worker的配置文件中加入如下配置项：

       现在，当我们启动worker时，Kafka Connect可以发现这些插件中定义的所有connector、transform以及converter。Kafka Connect显式地避免了其他插件中的库， 并防止了冲突。

       如果要在同一个机器上运行多个standalone实例，有一些参数需要是独一无二的：

（1）offset.storage.file.filename：connector偏移量的存储。

（2）rest.port：用于监听http请求的rest接口所占用的端口。

       connector和task的配置，offsets和状态会存储在Kafka的内部主题中，Kafka Connect会自动创建这些主题，且所有topic都使用了压缩清理策略。

       如果要手动创建这些topic，推荐使用如下命令：

这里只列出一些有疑问的。

       配置了group.id的worker会自动发现彼此并形成集群。一个集群中的所有worker必须使用相同的三个Kafka topic来共享配置、偏移量以及状态，所有worker必须配置相同的config.storage.topic、offset.storage.topic以及status.storage.topic。

       每个converter实现类都有自己的相关配置需求。下面的例子展示了一个worker属性文件，其中使用的AvroConverter需要将Schema Registry的url作为属性进行传递。

注意： 除了其配置覆盖这些配置的connector，worker上运行的所有connector都使用这些converter。

文本编辑器里打开 server.properties

5 把 log.dirs的值改成 “G:\kafka_2.11-0.10.0.1\kafka-logs”

6 打开cmd

7 进入kafka文件目录: cd /d G:\kafka_2.11-0.10.0.1\ (可以按着shift键，直接在安装目录下鼠标右键，选择在此处打开命令窗口)

---