本文主要介绍kafka内网和外网端口,kafka 外网,并为读者提供相关背景信息,以引起读者的兴趣,接下来就跟我们一起来了解一下吧,希望对您有所帮助。
kafka内网和外网端口
假设您在同一个vpc(私有网络)中有一个kafka集群,也就是说,在一个intranet环境中。kafka集群有三个代理,代理1、代理2和代理3。
Kafka集群信息如下:
kafka集群中每个节点的Server.properties配置
属性:broker . id = 1listeners = PLAINTEXT://192.168 . XXX . 1:19092config/server-2 .属性:broker . id = 2listeners = PLAINTEXT://192.168 . XXX . 2:19092config/server-3 .属性:broker . id = 3listeners = PLAINTEXT
如果你想通过vpc外的机器访问kafka集群,你还想访问192.168.xxx.1: 19092,192.168.xxx.2: 19092,192.168.xxx.3: 19092。
在vpc上做端口转发,vpc的公有ip是192.168.xxx.xx,在相应的防火墙上打开相应的端口(19092,19093,19093),比如:
192.168 . XXX . xx:19092- gt;192.168 . XXX . 1:19092192.168 . XXX . xx:19093- gt;192.168 . XXX . 2:19092192.168 . XXX . xx:19094- gt;192.168.xxx.2:19092
测试
此时,如果你通过vpc的公共ip和对应的端口连接私网(内网)中的kafka集群,端口192.168.xxx.xx:19092,192.168.xxx.xx:19093,192.168.xxx.xx:19094全部连接。
kafka制作者(客户端)和服务器之间也有类似的协商阶段。服务器会直接将lkafka配置文件中监听器的地址返回给生产者,生产者会将数据发送到这个监听器地址。
因为kafka客户端主动发现集群地址,所以当你通过192.168.xxx.xx:19092,192.168.xxx.xx:19093,192.168.xxx.xx:19094连接到kafka集群时,kafka集群返回给你的ip列表是由你的监听器配置的,也就是说
192.168 . XXX . 1:19092192.168 . XXX . 2:19092192.168 . XXX . 3:19092
客户端生产者在vpc的专网之外,生产者的ip转发和端口都没用。生产者和vpc的公网ip是连接的,但是在vpc中并没有和专网连接,这是访问kafka发送或消费消息时会报告网络超时的本质原因。
一种解决方案是通过域名进行客户端映射。
1.kafka配置:修改kafka集群服务器各节点的server.properties配置,注意监听器后的ip和端口配置。
属性:broker . id = 1listeners = PLAINTEXT://Kafka-1:19092config/server-2 .属性:broker . id = 2listeners = PLAINTEXT://Kafka-2:19093config/server-3 .属性:broker . id = 3listeners = PLAINTEXT://Kafka-3:19094
kafka集群的每个节点在服务器端配置主机。
卡特彼勒/etc/主机
192.168.xxx.1卡夫卡-1
192.168.xxx.2卡夫卡-2
192.168.xxx.3卡夫卡-3
2.vpc做端口映射kafka-1到192.168 . XXX . 1:19092Kafka-2到192.168 . XXX . 2:19093Kafka-3到192.168.xxx.3: 19099。
3.客户端配置:客户端将kafka01、kafka02和kafka03映射到主机文件中的公共地址。这很关键。如上所述,客户端将获得kafka配置的元数据,客户端将获得三个主机名kafka-1、kafka-2和kafka-3。之后,生产或消费数据将通过该地址直接访问。如果这三个主机名没有重新映射到公共IP,数据将无法成功生成或使用。
#/etc/hosts192.168 . XXX . xx Kafka 01 Kafka 02 Kafka 03
客户端访问kafka集群时,获得kafka-1:19092,kafka-2:19093,kafka-3:19094,这些都是通过客户端配置的主机映射转换成对应外网的ip,所以可以访问。
注意:端口应该是一致的,并且主机映射仅转换为ip。
kafka内网和外网端口的介绍就聊到这里吧,感谢你花时间阅读,更多关于kafka内网和外网端口的信息别忘了在本站进行查找哦。安防网往后会继续推荐kafka内网和外网端口相关内容。