基于Apache Hudi新一代数据湖实践

2022-07-21

根据维基百科对数据湖的定义:数据湖(Data Lake)是一个以原始格式存储数据的存储库或系统,它按原样存储数据,无需事先对数据进行结构化处理。一个数据湖可以存储结构化数据(如关系型数据库中的表),半结构化数据(如CSV、日志、XML、JSON),非结构化数据(如电子邮件、文档、PDF)和二进制数据(如图形、音频、视频)。

在实际的业务应用中,数据湖作为一个集中式存储库,它以更低的存储成本,更方便的方式解决不同类型数据统一存储的问题,同时还能够为机器学习提供全局数据。

数据湖与数据仓库的区别

小编拿数据湖和被熟知的数据仓库在功能特性上做了对比,为了大家更好的理解数据湖的应用。

从以上对比中可以看出,数据湖有着原生优势 :

首先,从支持的数据类型上,数据仓库只能处理结构化数据,并且数据仓库在进行数据接入前要进行严格的数据结构定义、数据梳理清洗后才能入库,而数据湖逻辑是各种原始数据的集合,数据湖保留数据的原格式,原则上不对数据进行清洗,加工,但在入湖后针对数据资产的场景进行整合展示;

其次,在灵活性上,数据湖具有天生优势,传统的数据仓库,受制于业务限制,随便变迁会影响底层数据的变化,这导致了传统数仓无法灵活支持业务的变化。而对于数据湖来说,业务发生变化,数据依然可以轻松地进入数据湖里,对于数据的采集,清洗、处理,可以根据业务需求灵活响应。

科杰科技数据湖架构

科杰科技数据湖技术架构

以上是科杰科技数据湖的技术架构,可以看出,数据湖并不是一个产品,也不是一项技术,而是由多个大数据组件及应用服务组成的一个解决方案。

存储

支持AWS S3、OSS、Azure Blob等多种存储介质,应对不同场景下的存储需求,如AWS S3,它可以存储二进制为基础的任何信息,包含结构化和非结构化的数据;如OSS存储,支持图片和音视频等应用的海量存储、网页或者移动应用的静态和动态资源分离或云端数据处理;科杰科技数据湖存储技术可以轻松面对应用对稳定性、扩展性、可用性等多样化的存储要求,以及物理硬件的复杂性;

计算

兼容多种开源/商业计算引擎,满足企业数据处理的多种诉求,且进行了优化工作,使得多范式计算面向客户侧表现为简单和统一;

运维托管

科杰科技提供了可视化的部署、管理、监控、运维大数据服务组件与大数据节点的能力;

应用

支持多种数据源的接入,支持更多种类的数据类型转换,满足各种场景诉求;具备数据同步、离线开发、实时计算、数据科学、模型设计等数据湖所需的完备功能,提供一站式服务;

数据集成

利用元数据对企业数据资产进行统一规范化定义,针对不同来源、存储类型、数据形态特点及数据使用要求,提供数据同步、DB导入、临时文件导入、接口集成等多种数据归集方式,帮助用户简单、高效地实现多源、异构、分散数据的统一归集;

数据治理

通过数据分级分类、数据质量、数据标准、主数据管理及数据生命周期管理,从事前、事中、事后、从核心数据、从数据的流转周期等多个维度对数据进行治理,使得企业数据质量问题无所遁形,解决用户明知数据质量差却不知从何下手治理的困境;

数据应用

支持用户自定义封装服务接口、支持数据指标及数据标签的开发,轻松应对业务端灵活多变的数据集成需求,以及集成双方数据标准不一致导致的数据集成难、集成之后更难、集成环境和接口维护难的问题。彻底打破数据孤岛、释放数据潜力,支撑前台业务迭代发展与创新。

总结

随着大数据技术的融合发展,数据湖的边界不断扩宽,内涵也发生了变化,数据湖汇集各方技术,将持续加速释放其应用需求,现阶段,数据湖主要应用于泛互联网行业以及传统行业的互联网应用场景,未来将向更多具有大数据和高价值属性的行业扩展;企业在布局数字化转型方面,面对多元且快速变化的业务需求,一方面需建设统一的数据底座,一方面需关注平台能力的开放性、创新性和敏捷性。

近期,科杰科技湖仓一体智能平台keendata Lakehouse成功通过全国首批云原生数据湖评测,平台在存储能力、计算能力、安全能力、数据管理能力、湖应用能力、兼容能力、高可用能力等方面均获得权威认可!

加入合作生态,实现业务创新

产品介绍


回到顶部
联系我们(09:00-18:00) 010-64703560
产品咨询

专属产品咨询服务

一站式、全链路、全可视化数据中台

众多企业选择我们,我们用实力完成客户托付

获取数据中台白皮书
极速体验开启业务智能化
×

感谢咨询,我们会在1个工作日内联系您

×