大数据底座平台核心能力持续升级

本次更新聚焦EMR 组件能力升级与管理平台能力增强两大方向，带来核心组件版本迭代、湖仓一体支持、集群扩缩容、安全一键开启等多项能力升级。

一、EMR 组件能力

1.1 核心组件版本迭代

平台完成核心组件的版本兼容性验证与适配工作，确保新版本组件在平台上稳定运行，并提供平滑升级能力。

组件：HDFS 3.3.6 — DataNode 均衡器优化，EC 纠删码能力增强；YARN 3.3.6 — Node 标签机制完善；HBase 2.4.18 — MOB 存储能力增强；Kafka 3.9.1 — KRaft 模式支持；Spark 3.2.4 — AQE 自适应查询执行；Flink 1.20 — 批流一体能力成熟；Ranger 2.6 — 安全漏洞修复。

1.2 湖仓一体支持

湖仓一体已成为企业级大数据平台的标准架构，新增对 Iceberg、Hudi、Paimon 三大主流湖仓框架的原生支持。

• 实时数据入湖：Flink CDC 捕获数据库变更数据，写入 Iceberg 或 Hudi 表。
• 批流融合分析：Paimon 作为统一存储底座，实现真正的批流一体架构。

1.3 OLAP 引擎支持

新增 StarRocks、Doris、Trino 三大 OLAP 引擎支持，满足多样化数据分析需求。

• 实时 BI 分析：StarRocks/Doris 支撑高并发点查需求，报表延迟从 T+1 缩短至秒级。
• 跨源联邦查询：Trino 同时查询 Hive 数据湖、MinIO 对象存储、MySQL 业务数据。

1.4 对象存储

新增MinIO对象存储作为轻量级 S3 兼容对象存储，简化 MinIO 部署和运维。

二、平台管理能力

2.1 集群扩缩容

支持 HDFS、YARN、HBase、Flink、Spark、Hive、ZK 等核心组件的全面白屏化扩缩容，实例增减通过图形界面完成。

针对 HDFS、YARN、HBase 缩容场景，新增退服前检查与资源迁移流程，保障业务连续性。

• 节点资源评估，确保接收节点具备冗余容量
• 运行任务调度，作业自动迁移至健康节点
• 数据块均衡，副本数策略校验
• 服务平滑下线，按组件依赖顺序依次停止

2.2 运维提效

支持集群级别一键重启、停止、启动，内置组件依赖关系引擎，自动按序执行；支持滚动重启策略，运行作业自动调度至健康节点。

配置变更记录与回滚：支持查看不同实例组下的不同配置修改记录，支持一键回滚。

2.3 安全加固

平台支持一键开启 Kerberos 认证，自动化完成全链路安全改造。支持 Ranger 集成后一键初始化，实现 Hive、HDFS、Kafka 等组件的统一权限管控。

2.4 资源治理

新增资源队列绑定用户能力，实现队列仅对授权用户开放。新增资源队列计划模式，支持多级队列容量规划与动态调整，适配业务峰谷场景。

2.5 数据保护

支持 HDFS 关键目录创建快照，对误删的数据可快速恢复。

2.6 资产管理

自动扫描元数据，生成表数量、存储空间、访问频率等多维度统计报表，识别冷数据与异常资产。

2.7 监控告警升级

平台对监控告警能力进行系统性升级，新增告警历史查看与问题复盘能力；深度集成夜莺告警系统，实现告警统一聚合与分级管理。

能力全景图

以 EMR 基础平台为核心运维保障，通过 Kafka、FlinkX 等流批一体能力实现全量数据的实时采集，依托 Trino、Doris 等引擎提供高性能数据分析；在底层存储上，融合了 Hudi、Paimon 等湖仓技术与 MinIO 对象存储，构建结构化与非结构化数据多模态 AI 存储。