翼MapReduce服务

产品架构

2025-07-21 01:17:00

翼MR集群各个版本组件情况请参见版本概述

详见下图:翼MR架构图

翼MR架构包括了基础设施和大数据处理流程各个阶段的能力。

基础设施

基于天翼云弹性云主机ECS构建的大数据集群,整体集群的高可靠和高安全能力可以得到虚拟化底层的充分保证。

          虚拟私有云(VPC)为每个租户提供虚拟的内部网络,默认与其他网络隔离,同时通过配套的安全组访问控制确保网络层面的安全性。

          云硬盘(EVS)提供不同规格和性能表现的高可靠存储能力。

          弹性云主机(ECS)提供的弹性可扩展虚拟服务器,结合上述的VPC、安全组、EVS数据多副本和灾备能力为客户打造一个高效、可靠、安全的业务集群环境。

数据存储

翼MR支持结构化和非结构化数据在集群中的存储,并且支持多种高效的格式来满 足不同计算引擎的要求。

– Doris是实时数据仓库服务,具有高并发、低延迟的特点。

– Elasticsearch支持结构化/非结构化数据的检索、分析场景。

翼MR Manager

为确保大数据组件服务的高可用性,以Hadoop为基础的大数据生态的各种组件均需要以分布式的方式进行部署,涉及其中的部署、管理和运维复杂度要求较高。翼MR提供了统一的运维管理平台翼MR Manager,包括可视化引导式部署集群能力。同时翼MR Manager还提供了租户与资源管理能力,以及翼MR中各类大数据组件的运维,并提供监控、告警、配置等一站式运维能力。


9Du2TC0S7Et3