分布式消息服务Kafka

连接类

2024-05-09 03:08:24

1.1.1    连接常见问题

接入地址出现不足三个ip+端口?

集群三台机器正常运作的情况下,接入点会出现三个ip:port连起来,当出现不足三个时候,说明其中一台机器不正常工作(没出现在接入点的机器),请尽快联系管理人员查看不正常工作的节点,尽快恢复。

                                             

实例是否支持跨VPC访问?

实例支持跨VPC访问,可以通过创建VPC对等连接,将两个VPC的网络打通,实现跨VPC访问实例。

如何通过代理访问Kafka实例

暂不支持通过代理访问Kafka实例。

原因:客户端通过bootstrap.servers随机访问服务器获取元数据,通过元数据里的IP地址进行后续的消息收发。配置代理后,第一步正常,但在第二步时,客户端仍然通过元数据中的IP地址进行访问,导致访问不通。因此,必须保证网络全连通。

生产者会建立多少个连接到Broker?

每个生产者通常会建立2个到Broker的TCP连接,一个TCP连接用于更新元数据,一个TCP连接用于发送消息。

VPC实例和公网/VPC实例的区别是什么?

VPC实例:仅提供VPC接入点,只能通过VPC访问。

公网/VPC实例:提供公网接入点和VPC接入点,可以通过公网访问,也可以通过VPC访问。

Kafka实例是否支持公网访问?

Kafka实例支持公网访问。使用公网访问Kafka实例的具体操作,请参考设置公网ip

是否支持跨Region访问?

Kafka可以跨Region访问,但是跨Region目前只能通过公网访问或者购买云间高速服务。

Kafka实例是否支持不同的子网?

支持。客户端与实例在相同VPC内,可以跨子网段访问。同VPC下不同子网之间默认互通。更多子网信息请参见虚拟私有云介绍。

Kafka是否支持Kerberos认证,如何开启认证?

不支持Kerberos认证。kafka支持SASL_PLAINTEXT安全接入点接入。

开启公网访问后,在哪查看公网IP地址?

可以在实例列表设置公网IP窗口查看各节点绑定的公网IP地址。

Kafka支持服务端认证客户端吗?

Kafka 支持通过 SASL(Simple Authentication and Security Layer)等认证机制实现服务端对客户端的主动认证。SASL 是一种用于通信安全的框架,它允许在客户端和服务器之间进行认证和授权。

客户端单IP连接的个数为多少?

Kafka目前对单个IP连接数没有限制,主要取决于实例连接数,具体可参见常见问题kafka实例连接数有限制吗?

Kafka实例的内网连接地址可以修改吗?

在实例创建后,内网连接地址不支持修改。

1.1.2    客户端首次接入分布式消息服务Kafka时出现异常的排查方法

户端首次接入分布式消息服务Kafka时如果出现异常,您可以通过以下三个方面进行排查:

l  网络连通问题:通常有如下几种情况可能会导致网络不通,客户端无法连接分布式消息服务Kafka的服务端。

(1)ECS实例(客户端)与分布式消息服务Kafka实例不在同一个VPC内。关于如何通过VPC网络接入服务端,请参见VPC接入。

(2)本地客户端访问非公网的分布式消息服务Kafka实例。您可以通过公网接入服务端。

l  客户端版本问题:客户端版本太低可能会出现异常,建议升级到与服务端匹配的客户端版本。

l  配置问题:默认接入点配置错误等都可能导致接入失败。您可以参见快速入门进行配置检查。

1.1.3    Kafka实例的连接地址默认有多少个?

Kafka实例的连接地址个数和实例的节点数有关,连接地址个数等于节点数。

各规格节点数信息如下,详细请参考产品规格

主机类型

可选节点规格

可选节点数

存储空间

通用型

4核16GB

8核32GB

16核 64GB

3、5、7、9

存储类型和空间按需选择

计算增强型

4核8GB

8核16GB

16核32GB

3、5、7、9

存储类型和空间按需选择

1.1.4    如何配置安全组

户端只能部署在与Kafka实例处于相同虚拟私有云(VPC)和相同子网的弹性云主机(CT-ECS)上。

除了CT-ECS、Kafka实例必须处于相同VPC之外,还需要他们的安全组分别配置了正确的规则,客户端才能访问Kafka实例。

l  如果CT-ECS、Kafka实例配置相同的安全组,安全组创建后,默认包含组内网络访问不受限制的规则。

l  如果CT-ECS、Kafka实例配置了不同安全组,可参考如下配置方式:

说明:

假设CT-ECS、Kafka实例分别配置了安全组:sgs-CT-ECS、sgs-Kafka。

以Kafka访问端口9098为例,其它实例请以实际情况为准。

以下规则,远端可使用安全组,也可以使用具体的IP地址。

配置CT-ECS所在安全组。CT-ECS所在安全组需要增加如下出方向规则,以保证客户端能正常访问Kafka实例。如果出方向规则不受限,则不用添加。

配置Kafka实例所在安全组。Kafka实例所在安全组需要增加如下入方向规则,以保证能被客户端访问。

1.1.5    kafka实例连接数有限制吗?

准带宽为100MB/s时,Kafka客户端连接数在3000以内。

基准带宽为300MB/s时,Kafka客户端连接数在10000以内。

基准带宽为600MB/s时,Kafka客户端连接数在20000以内。

基准带宽为1200MB/s时,Kafka客户端连接数在20000以内。

实例规格为s7.xlarge.4(通用型4u16g)时,单个代理客户端总连接数上限为1000。

实例规格为s7.2xlarge.4 (通用型8u32g)时,单个代理客户端总连接数上限为2000。

实例规格为s7.4xlarge.4 (通用型16u64g)时,单个代理客户端总连接数上限为4500。

实例规格为c7.xlarge.2(计算增强型4u8g)时,单个代理客户端总连接数上限为4500。

实例规格为c7.2xlarge.2(计算增强型8u16g)时,单个代理客户端总连接数上限为6000。

实例规格为c7.4xlarge.2(计算增强型16u32g)时,单个代理客户端总连接数上限为10000。


gGQ4YbTYjvTn