首页 综合布线 kafka内网和外网端口,kafka 外网

kafka内网和外网端口,kafka 外网

本文主要介绍kafka内网和外网端口,kafka 外网,并为读者提供相关背景信息,以引起读者的兴趣,接下来就跟我们一起来了解一下吧,希望对您有所帮助。

kafka内网和外网端口

假设您在同一个vpc(私有网络)中有一个kafka集群,也就是说,在一个intranet环境中。kafka集群有三个代理,代理1、代理2和代理3。

Kafka集群信息如下:

kafka内网和外网端口,kafka 外网

  • 代理1 IP: 192.168.xxx.1
  • 代理2 IP: 192.168.xxx.2
  • 经纪人3 IP: 192.168.xxx.3
  • kafka集群中每个节点的Server.properties配置

    属性:broker . id = 1listeners = PLAINTEXT://192.168 . XXX . 1:19092config/server-2 .属性:broker . id = 2listeners = PLAINTEXT://192.168 . XXX . 2:19092config/server-3 .属性:broker . id = 3listeners = PLAINTEXT

  • 现在希望通过配置vpc公共ip进行端口转发(或者nginx进行端口转发),可以通过外网访问(但实际使用kafka客户端连接会报错超时)
  • 如果你想通过vpc外的机器访问kafka集群,你还想访问192.168.xxx.1: 19092,192.168.xxx.2: 19092,192.168.xxx.3: 19092。

    在vpc上做端口转发,vpc的公有ip是192.168.xxx.xx,在相应的防火墙上打开相应的端口(19092,19093,19093),比如:

    192.168 . XXX . xx:19092- gt;192.168 . XXX . 1:19092192.168 . XXX . xx:19093- gt;192.168 . XXX . 2:19092192.168 . XXX . xx:19094- gt;192.168.xxx.2:19092

    测试
    此时,如果你通过vpc的公共ip和对应的端口连接私网(内网)中的kafka集群,端口192.168.xxx.xx:19092,192.168.xxx.xx:19093,192.168.xxx.xx:19094全部连接。

    kafka制作者(客户端)和服务器之间也有类似的协商阶段。服务器会直接将lkafka配置文件中监听器的地址返回给生产者,生产者会将数据发送到这个监听器地址。

    因为kafka客户端主动发现集群地址,所以当你通过192.168.xxx.xx:19092,192.168.xxx.xx:19093,192.168.xxx.xx:19094连接到kafka集群时,kafka集群返回给你的ip列表是由你的监听器配置的,也就是说

    192.168 . XXX . 1:19092192.168 . XXX . 2:19092192.168 . XXX . 3:19092

    客户端生产者在vpc的专网之外,生产者的ip转发和端口都没用。生产者和vpc的公网ip是连接的,但是在vpc中并没有和专网连接,这是访问kafka发送或消费消息时会报告网络超时的本质原因。

    一种解决方案是通过域名进行客户端映射。

    1.kafka配置:修改kafka集群服务器各节点的server.properties配置,注意监听器后的ip和端口配置。

    属性:broker . id = 1listeners = PLAINTEXT://Kafka-1:19092config/server-2 .属性:broker . id = 2listeners = PLAINTEXT://Kafka-2:19093config/server-3 .属性:broker . id = 3listeners = PLAINTEXT://Kafka-3:19094

    kafka集群的每个节点在服务器端配置主机。

    卡特彼勒/etc/主机

    192.168.xxx.1卡夫卡-1
    192.168.xxx.2卡夫卡-2
    192.168.xxx.3卡夫卡-3

    2.vpc做端口映射kafka-1到192.168 . XXX . 1:19092Kafka-2到192.168 . XXX . 2:19093Kafka-3到192.168.xxx.3: 19099。

    3.客户端配置:客户端将kafka01、kafka02和kafka03映射到主机文件中的公共地址。这很关键。如上所述,客户端将获得kafka配置的元数据,客户端将获得三个主机名kafka-1、kafka-2和kafka-3。之后,生产或消费数据将通过该地址直接访问。如果这三个主机名没有重新映射到公共IP,数据将无法成功生成或使用。

    #/etc/hosts192.168 . XXX . xx Kafka 01 Kafka 02 Kafka 03

    客户端访问kafka集群时,获得kafka-1:19092,kafka-2:19093,kafka-3:19094,这些都是通过客户端配置的主机映射转换成对应外网的ip,所以可以访问。

    注意:端口应该是一致的,并且主机映射仅转换为ip。

    kafka内网和外网端口的介绍就聊到这里吧,感谢你花时间阅读,更多关于kafka内网和外网端口的信息别忘了在本站进行查找哦。安防网往后会继续推荐kafka内网和外网端口相关内容。

    热门文章