翼MapReduce服务

集群管理

2024-11-04 07:36:44

创建集群

支持用户创建不同的集群类型、组件范围、各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息。翼MR服务会根据用户选择的集群类型、版本和节点规格,帮助客户自动完成企业级大数据平台的安装部署和参数调优。

翼MR服务为客户提供完全可控的大数据集群,客户在创建时可设置虚拟机的登录方式,所创建的翼MR集群资源完全归客户所用。

翼MR集群类型包括数据分析、云搜索集群

1.        数据分析集群:Apache Doris-开源的MPP架构的OLAP分析引擎,支持亚秒级的数据查询和多表join。

2.        云搜索集群:为结构化/非结构化数据提供低成本、高性能及可靠性的检索、分析服务能力。

翼MR集群节点类型包括master节点、core节点和task节点

1.        master节点:集群中的管理节点,保证集群的调度正常进行;主要部署Doris FE、Elasticsearch Master等进程。集群默认为HA模式,master节点数固定为3。该类型节点支持将master节点配置升级,以支持更大集群的管理。

2.        core节点:集群中的计算及存储节点,主要部署Doris BE、Elasticsearch NodeData等进程。为满足存储数据量或计算量扩展的需求,支持配置升级,并且配置升级过程中不会影响当前集群的正常运行。

3.        task节点:集群中的纯计算节点,主要负责计算数据,不存储数据。

配置升级

当master或者core节点ECS实例的规格(vCPU和内存)无法满足您的业务需求时,您可以使用配置升级功能提升ECS实例规格。

集群运维管理

翼MR Manager提供资源概览、集群服务、主机、租户与资源、监控与告警、运维与配置等运维管理功能。

1.        资源概览:展示该集群下所有主机的CPU、内存、网络等信息,包括CPU使用率、磁盘使用率、内存使用率、网络发送速率等。

2.        集群服务:展示当前集群下的所有集群服务,并按组件类型、以列表视图列出,在集群服务列表处支持一键启动所有集群服务、一键停止所有集群服务。

3.        主机:默认展示当前集群下的所有主机列表,可查看当前运维平台的所有主机信息。也可以查看主机上的角色实例分配和告警历史信息。

4.        监控与告警:支持指标查询和告警历史功能。指标查询支持查询角色实例级、主机级的监控指标,支持指标结果的绘图操作,让用户更直观获取监控项变化;告警历史支持按照集群服务级、角色实例级、主机级查询告警内容。

5.        运维与配置:支持流水线历史、配置管理、配置历史、配置同步历史。流水线历史展示所有流水线的运行历史记录,以及操作人;配置管理支持查看不同集群服务的配置文件,并进行新增、修改、删除配置等操作;配置历史支持查看配置文件不同版本的配置内容、并支持不同版本之前的内容对比;配置同步历史支持查看不同环境的配置同步历史、配置同步操作人,以及配置同步详情。


zwcQkDEK_rtj