
辽宁港口集团有限公司
北方母港 资产近1600亿 港口龙头企业
袋鼠云助力辽港打造港口集团级数据中心 驱动数字化转型
辽港集团针对近百个业务系统、数TB+数据量的处理痛点,升级分布式大数据架构,迁移数据中台至新E中心,构建统一数据中心,实现数据资产统一管理,赋能BTOS平台及多维度数字应用场景落地。
辽港数字化转型遇挑战
辽宁港口集团是招商局集团港口板块的北方母港,资产总额近1600亿元,从业人员近3万人,拥有217个现代化专业生产泊位,整体规模位居行业前列。企业积极推进数字化转型,搭建了"辽智通"BTOS等平台,目前正处于数字化深化建设阶段,但现有数据处理体系已难以匹配业务发展节奏。
流批分离架构造成资源与数据问题集团原有数据处理采用流批分离架构,虽可分别支撑流式与批量数据处理,但直接引发大量数据重复建设问题,不仅造成存储资源浪费,还拉长开发链路、抬高整体运维成本。同时数据分散在不同处理链路中,数据校对、一致性维护难度大幅增加,无法保障全业务系统数据统一、准确,对数据分析结果和经营决策形成负面影响。
数据库性能不足且扩容难度大随着业务持续发展,中台数据总量已突破1TB,原有单机版Oracle数据库在数据处理能力、存储容量、计算效率上均出现明显短板。集团现有机房硬件条件有限,数据库缺少完善的备份机制,安全风险较高,旧架构无法直接升级改造,系统扩容成为制约业务发展的突出难题,也无法满足上云及新建系统的运行要求。
数据管理体系标准化缺失集团指标开发沿用粗放模式,没有统一的指标录入入口,出现大量重复建设与指标二义性问题,直接拉低数据分析质量,干扰决策判断。同时标签管理体系不完善,既没有建立标签共享机制,也缺失全生命周期管理流程,标签的元数据价值无法释放,不能支撑港口精细化运营与个性化服务落地。
构建新一代辽港数据中台
本项目围绕辽港集团现存架构、性能、数据管理等痛点,搭建分布式大数据架构与集群高可用体系,整合全量数据源、完善权限管控、配套智能运维能力,打造集数据采集、加工、管理、服务于一体的新一代数据中台。
多源异构数据整合与全链路加工平台全面整合多类数据源,涵盖内部业务系统、外部数据,以及Excel、csv格式人工数据,对所有异构数据开展规范化加工处理。加工后的数据面向招商局集团数据入湖、BTOS平台、BI系统、可视化大屏输出标准化数据服务,构建从数据采集、存储、计算到终端消费的闭环数据生态。该举措针对数据分散、加工标准不一的问题进行整改,技术亮点为兼容关系型、接口、非结构化等各类数据形态,打通内外部数据壁垒,实现全域数据统一治理与价值转化。
分布式架构与集群高可用部署项目整体替换原有架构,搭建分布式大数据架构,彻底消除单机架构带来的单点故障隐患,保障BTOS、壹资产等核心系统稳定运行。同时采用集群式高可用部署模式,全面提升系统整体处理能力与横向扩展能力,为未来业务规模扩张预留充足资源空间。此外强化技术栈内实时处理组件,提升平台即时计算与响应能力,满足实时数据分析、快速查询的业务需求。该方案解决了单机数据库性能薄弱、扩容困难、稳定性不足的痛点,依靠分布式与集群架构兼顾高可用、高扩展与实时计算能力,适配TB级海量数据处理场景。
分层权限体系与租户隔离管理平台搭建多层级安全权限体系,依靠物理集群实现数据物理隔离,再通过租户、项目划分完成数据逻辑隔离,不同租户、项目之间如需跨域访问数据,必须走正式权限申请与审批流程,全方位保障数据安全。结合业务需求单独划分BTOS专属租户与招商局集团专属租户,两个独立租户分别负责对应业务的数据采集、存储、开发与建模工作。该方案解决了集团多主体共用平台的数据安全与权限混乱问题,物理+逻辑双重隔离为核心技术亮点,在保障数据合规安全的前提下,实现不同业务线数据流程独立高效运转。
双维度智能运维体系搭建平台打造数据运维与平台运维相结合的一体化运维体系。数据运维依托数据开发、数据质量模块,搭载任务可视化管理功能,可完成调度任务监控、生命周期管理、异常诊断与恢复等操作,实现数据任务全流程管控。底层采用EasyManager运维工具,该工具完成高度产品化封装,支持全流程可视化配置,具备自动化部署、小时级快速上线、集群指标智能监控、自动告警、集群扩缩容、版本升级回滚、日志故障追溯等能力。该方案解决了传统运维效率低、故障排查慢、人工操作繁琐的问题,两大运维模块各司其职、协同联动,大幅降低运维工作量,提升平台整体稳定性。
深度赋能BTOS平台数据应用数据中台对接主数据系统(MDM)及各类主数据源,统一梳理主数据标准。经过分层加工、汇总、计算后的标准化数据,通过HIP接口对外输出,支撑其他业务系统、招商局数据湖、BI平台完成数据消费,同时配套数据资产、数据指标、数据可视化等能力。该方案打通了数据中台与前端业务平台的服务链路,解决了BTOS数据支撑不足的问题,依托标准数仓分层架构,实现数据分层解耦、按需调用,全面助力港口业务运营优化与经营决策。
辽港数据中台价值落地
架构优化,资源与数据质量全面改善采用全新分布式架构替代传统流批分离架构,从根源规避数据重复搭建现象,存储资源利用率得到优化,平台整体运维投入有效缩减。集团各类原有业务系统、数据库表及数据字段纳入统一统筹管理,全链路数据标准统一、逻辑一致,数据整体质量显著提质,为企业开展数据研判、经营决策输出可信可靠的数据依据。
性能升级,系统承载与扩容能力增强落地分布式大数据架构搭配集群高可用部署模式,破除传统单机数据库存在的性能瓶颈,可稳定承载大规模中台数据存储与运算需求。平台配套完善的数据备份防护体系,数据库安全管控水平显著提升;集群具备弹性伸缩能力,化解传统机房硬件约束、架构迭代受限等痛点,可动态适配业务扩张产生的海量计算需求,配套高性能实时处理模块,高效响应各类实时数据查询诉求。
规范管理,数据资产价值充分释放平台搭建统一标准化指标录入及开发通道,规避指标重复搭建、定义标准不统一等问题,数据分析工作的效率与精准度同步提升。落地完善的标签共享机制与数据全生命周期管控流程,深度挖掘元数据标签实用价值,支撑企业精细化运营、差异化客户服务等多元业务场景落地,推动数据资产实现标准化、体系化管控。
全域赋能,数字化应用场景全面落地依托数据中台核心能力,搭建覆盖经营研判、生产调度、综合管控、便民服务多维度数字化应用体系,全面覆盖港口生产运维、设备管控、经营核算、物流信息查询、多式联运统筹等各类业务场景。数据中台形成IT业务、DT数据双向协同闭环运行机制,既顺利完成机房搬迁、架构迭代升级阶段性建设任务,又筑牢集团数字化底层支撑体系,为辽港集团长效数字化转型、深度赋能区域经济发展提供稳定可靠技术支撑。
工作日 9:00-18:00
关注公众号
获取最新产品动态与技术干货

企业微信
扫码添加企业微信

