详见下图:翼MR架构图
翼MR架构包括了基础设施和大数据处理流程各个阶段的能力。
● 基础设施
基于天翼云弹性云主机ECS构建的大数据集群,整体集群的高可靠和高安全能力可以得到虚拟化底层的充分保证。
• 虚拟私有云(VPC)为每个租户提供虚拟的内部网络,默认与其他网络隔离,同时通过配套的安全组访问控制确保网络层面的安全性。
• 云硬盘(EVS)提供不同规格和性能表现的高可靠存储能力。
• 弹性云主机(ECS)提供的弹性可扩展虚拟服务器,结合上述的VPC、安全组、EVS数据多副本和灾备能力为客户打造一个高效、可靠、安全的业务集群环境。
● 数据存储
翼MR支持结构化和非结构化数据在集群中的存储,并且支持多种高效的格式来满 足不同计算引擎的要求。
– Doris是实时数据仓库服务,具有高并发、低延迟的特点。
– Elasticsearch支持结构化/非结构化数据的检索、分析场景。
● 翼MR Manager
为确保大数据组件服务的高可用性,以Hadoop为基础的大数据生态的各种组件均需要以分布式的方式进行部署,涉及其中的部署、管理和运维复杂度要求较高。翼MR提供了统一的运维管理平台翼MR Manager,包括可视化引导式部署集群能力。同时翼MR Manager还提供了租户与资源管理能力,以及翼MR中各类大数据组件的运维,并提供监控、告警、配置等一站式运维能力。