分布式消息服务Kafka

分布式消息Kafka 是一个分布式、高吞吐量、高可用的消息队列服务,针对开源的 Kafka 提供全托管服务,解决开源产品长期以来的痛点,用户只需专注于业务开发,无需部署运维,低成本、更弹性、更可靠,广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,是大数据生态中不可或缺的产品之一。

  • 产品优势
  • 产品特性
  • 应用场景

产品优势

高可用

生产消费自动负载均衡,消息节点故障时自动主备切换,保证服务的连续性

高安全

提供用户鉴权和SASL授权访问机制,提供企业级的安全防护,确保数据传输过程中不被窃取或篡改

高可靠

一份消息多份落盘存储,允许海量消息堆积

全托管

业务系统基于现有的开源 Apache Kafka 生态的代码,无需任何改造,即可迁移上云

产品特性
丰富的消息能力 支持广播消息、消息回溯、消息数据自动删除功能、自动故障切换等功能
高吞吐的队列能力 实现消息多副本异步复制、同步复制,具备产品高吞吐、高可靠能力
可视化的管理界面 提供应用用户管理、主题管理、消费组管理、Broker监控、Topic监控等可视化操作界面
企业级的安全防护 提供可追溯租户管理操作记录,用户鉴权和SASL授权访问机制

应用场景

< >
  • 日志收集
  • 流计算处理
  • 多路转发
场景说明
  • 对于不同业务维度,需要不同计算方式,比如对于对账系统而言,可能需要实时的流处理方式;对于统计分析而言,可能使用批计算方式。Kafka能够实现多路转发,上游生产一份数据,多个下游节点都能够获取这份数据并做出相应的处理,Kafka可完成数据多路转发功能
实现功能
  • 一对多消费模型:发布/订阅”模型,支持同份数据集能同时被消费多次
  • 支持实时和批处理:支持本地数据持久化和 Page Cache,在无性能损耗的情况下能同时传送消息到实时和批处理的消费者