分布式消息服务Kafka

创建Topic

2024-05-08 07:08:42

场景描述

Kafka的新建主题操作适用于以下场景:

l  系统扩展:当系统需要扩展以处理更多的数据时,可以通过新建主题来增加数据存储和处理的容量。管理员可以根据系统需求创建新的主题,并配置适当的分区和副本数量。

l  数据分流:在某些情况下,需要将特定类型或特定来源的数据分流到不同的主题中进行处理。通过新建主题,可以为这些特定的数据流创建专门的主题,并将相应的数据写入这些主题中。

l  数据分析和实时处理:新建主题可以用于数据分析和实时处理场景。根据不同的分析需求,可以为特定的分析任务创建新的主题,将相关的数据写入这些主题中供分析和处理。

l  业务需求变更:当业务需求发生变化时,可能需要创建新的主题来适应新的数据处理流程或数据存储需求。通过新建主题,可以根据新的业务需求重新组织和管理数据。

l  数据隔离和权限控制:有时候需要对不同的数据进行隔离和权限控制,以确保数据的安全性和私密性。通过新建主题,可以为不同的数据创建独立的主题,并设置相应的权限和访问控制规则。

总之,Kafka的新建主题操作适用于各种需要扩展、分流、分析和处理数据的场景,以及应对业务需求变更和数据隔离的需求。

 

操作步骤

(1)登录管理控制台。

(2)进入Kafka管理控制台。

(3)在实例列表页在操作列,目标实例行点击“管理”。

(4)点击“主题管理”后、点击“新建Topic”。

(5)点击“新建Topic”后,出现如下创建,输入Topic名称、分区数、选择是否私有主题,详细参数见Topic参数说明。

参数

说明

Topic名称

Topic名称只能包含a~z,A~Z,0-9,-,长度为4~64的字符串。

创建Topic后不能修改名称。

分区数

您可以设置Topic的分区数,分区数越大消费的并发度越大。

该参数设置为1时,消费消息时会按照先入先出的顺序进行消费。

取值范围:1-20

默认值:3

副本数

每个Topic设置副本的数量,Kafka会自动在每个副本上备份数据,当其中一个Broker节点故障时数据依然是可用的,副本数越大可靠性越高。

默认值:3

是否私有主题

普通主题可以直接对其生产消费消息,私密主题需要使用证书生产消费主题。

注:云原生引擎Kafka实例创建主题无是否是私密主题概念,使用时都需要对用户授予主题权限。

 

批量创建Topic

(1)登录管理控制台。

(2)进入Kafka管理控制台。

(3)在实例列表页在操作列,目标实例行点击“管理”。

(4)点击“主题管理”后、点击“批量创建”。

(5)点击“批量创建”后,出现如下上传文件界面,文件格式件批量下载说明。

(6)点击“上传”完成批量创建。

下载批量创建模板

(1)登录管理控制台。

(2)进入Kafka管理控制台。

(3)在实例列表页在操作列,目标实例行点击“管理”。

(4)点击“主题管理”后、点击“下载批量创建模板”。

(5)下载批量创建模板内容如下图。

(6)参数说明。

参数

说明

topic

topic名称。

partition   number

分区数量

factor   number

副本数量

isPrivate(private:1   public:2)

否私有主题,1:私有,2:公有

description

描述


JEu5wvsY2ilQ