统一数据逻辑 加速数字化转型

2022-11-03

“打破数据孤岛、实现数据汇聚”是企业数字化转型的重要目标。但是,只在物理层面打破数据孤岛并不能完全支撑企业数字化转型需要。而要真正实现企业数字化转型,就绕不开统一数据逻辑,即需要在逻辑层面实现多源异构数据跨层次、跨环节、跨系统的整合与互通。

在统一数据逻辑层面,近年来湖仓一体架构热度不断攀升。科杰科技是其中卓有成效的探索者。自成立以来,科杰科技始终致力于数据底座解决方案的研发和沉淀,推出湖仓一体、存算分离数据底座产品KeenData Lakehouse,将元数据语义进行统一定义、拉通和管理,帮助客户解决数据接入、数据整合、数据标准等工作,完成从数据源到数据消费过程中的数据能力供给,全面、高效、灵活地支撑企业数字化转型升级。

数据架构的演进

伴随数字技术的广泛应用,数据成为企业业务重塑与创新的主要驱动力,促使企业不断更新迭代数据构架,以应对数据增长带来的挑战。

数据仓库最早可追溯到上个世纪70年代,在国外发展多年后,大约在上世纪末传入中国。进入中国以后,越来越多的中国企业开始建设自有数据仓库,当时数据仓库主要存储业务数据,也叫作operation运营数据,企业通过operation运营数据在数据仓库里做BI分析,其不足之处在于针对实时数据处理和非结构化数据处理能力较弱。

到了2010年左右,随着数据存储量暴涨、数据类型的多样化,进入大数据发展新的阶段。巨大的数据处理需求亟需寻找新突破口,数据湖时代正式开启。在国内,受互联网企业以及技术发展趋势影响,国内更多称为“大数据平台”,企业将大量的业务数据、用户行为数据、社交媒体数据、设备传感器数据等半结构化数据和非结构化数据存储在“大数据平台”中。但数据湖架构太过灵活而缺少对数据治理的手段,企业日益陷入“数据沼泽”的困境,很难高效挖掘真正有价值的数据。

时间进入到2020年,数据架构发展到湖仓一体阶段。湖仓一体被推入风口浪尖,众多企业扎堆布局湖仓一体。但在实践中,有的企业想当然将湖仓一体等同于数据湖+数据仓库,把业务系统、运营、财务、以及设备传感器数据等所有的数据放到数据湖(Data Lake)中,并通过数据湖直接面向AI、算法、模型使用这些数据。企业一旦要进行多维数据分析或传统BI分析,这时需要把数据湖Data Lake里的数据ETL到数据仓库Data Warehouse。也就是说,企业数据如果面向应用系统或面向财务多维分析的话,需要进行第二次的转移搬迁和转化,因此,这就是所谓的湖上建仓,并非真正意义的湖仓一体架构。

而真正的湖仓一体是指企业数据进入到统一的存储计算引擎里面,并在存储计算引擎支持独立Table Format进行数据转化,不需要进行二次的ETL转化,在一套引擎里面实现数据湖Data Lake和数据仓库Data Warehouse内部的转化和使用,不需要多余的搬迁,可以独立面向外部提供所有基于传统BI或Data Intelligence(DI)数据智能的实时计算协同能力。

简单来说,湖仓一体是在数据湖Data Lake里Table Format完成湖的引擎和仓的引擎转化。

科杰科技湖仓一体,让1+1>2

通过厘清湖仓一体的本质内涵,究竟怎样的湖仓一体化才能更好发挥数据仓库和数据湖在功能上的互补性,以真正实现统一数据逻辑,助力企业实现规模化的数据智能和业务创新呢?

以科杰科技为代表的国产大数据技术创新企业正成为国内湖仓一体化领域的先行者。科杰科技打造的湖仓一体数据智能平台KeenData Lakehouse采用全新开放式架构,结合数据仓库与数据湖的优势,将数据仓库的高性能及管理能力与数据湖的灵活性融合起来,实现一套数据、一套任务在湖仓之上的无缝调度和管理,底层支持多种数据类型并存,能实现数据间的相互共享,上层可以通过统一封装的接口进行访问,可同时支持实时查询和分析,为企业进行数据管理带来更多的便利性。

在科杰科技看来,企业要接受数据源在一定程度上的分散和割裂,通过多架构融合纳管来实现逻辑层面的统一,即使在数字化转型比较领先的行业,也会面临着云上数据仓库和数据平台整合或者外部数据多系统并存的现状问题。企业如果要进行新引擎的搭建,要选择技术领先的Lakehouse引擎,同时接受多物理数据,用逻辑的方式把它进行统一,建立逻辑统一数据仓库,通过产品化的方式提供Data Virtualization的能力完成数据业务化表达、数据组织和数据共享。

依托KeenData Lakehouse,以及领先数字原生企业最佳实践方法论服务能力,企业可以大幅度简化管理数据与应用数据的难度,实现体系化的数据开放赋能与规模化的数据智能落地,达到1+1>2的效果。

加入合作生态,实现业务创新

公司介绍


回到顶部
联系我们(09:00-18:00) 010-64703560
产品咨询

专属产品咨询服务

一站式、全链路、全可视化数据中台

众多企业选择我们,我们用实力完成客户托付

获取数据中台白皮书
极速体验开启业务智能化
×
  • 请选择服务需求类型

感谢咨询,我们会在1个工作日内联系您

×
×
×