湖仓一体数据智能基础软件

湖仓一体

技术架构

科杰科技湖仓一体采用全新开放式架构,结合数据仓库与数据湖的优势,将数据仓库的高性能及管理能力与数据湖的灵活性融合了起来,实现一套数据、一套任务在湖仓之上的无缝调度和管理,底层支持多种数据类型并存,能实现数据间的相互共享,上层可以通过统一封装的接口进行访问,可同时支持实时查询和分析,为企业进行数据管理带来了更多的便利性。

技术架构

发展趋势

伴随数字技术的广泛应用,数据成为企业业务重塑与创新的主要驱动力,促使企业不断更新迭代数据构架,以应对数据增长带来的挑战,湖仓一体是一种全新开放式架构,结合数据仓库与数据湖的优势,将成为数据库行业的未来趋势。

发展趋势

关键技术

KeenData Lakehouse采用全新大数据技术架构,支持PB级多模数据存储与处理,具备弹性扩展、高可用、高并发、低延时云原生能力。在统一元数据、存储的架构之上,优化了流式计算和数据入湖性能,继承RDBMS数据库功能和ACID特性、支持工业级SQL标准、混合MPP+DAG计算引擎,为数据分析、处理、挖掘提供统一开发体验。

存储计算分离

存储计算分离

多源多态数据汇聚整合,更加易于灵活扩展;减少数据迁移工作从而确保数据的可靠性、 一致性和实时性;支持丰富的计算引擎;更优秀的数据管理能力,更高效的查询性能。

ACID事务性

ACID事务性

支持transaction,实现consistency和isolation以及并发的append和read,支持数据上传、修改、查询等具备完整的ACID特性,提升事务性处理能力。

批流一体

批流一体

采用更高性能的批流一体技术,支持一套数据框架兼容离线计算和实时计算;可以使用批处理分析数据流;可提供批处理、流处理的联动和转换以及实时离线联动分析。

数据编织

数据编织

可以在混合云和多云环境中动态管理不同的数据源,企业可以任意、快速的为业务场景建立业务独有的数据架构和数据服务,以提供高质量的数据来支持应用程序、分析和业务流程自动化。

一站式、全流程

一站式、全流程

提供统一数据资源、统一开发流程、统一智能调度的一站式开发体验;支持不同用户、跨团 队、跨项目进行大规模项目的在线协同和开发。

DataOps

DataOps

具备数据运营一体化特点,以自动化的AI大数据技术工程能力实现对数据的持续集成、持续 开发、持续运营DataOps的最佳实践。

全链路、全可视化产品矩阵

服务层 套件层 基础层

应用场景

数据中台构建

根据科杰数据中台白皮书-数据治理方法论,制定标准数据管理规范,通过开发管理平台实现对企业生产过程中主数据、业务数据和分析数据三个核心治理域的元数据、主数据、数据模型、数据质量、数据安全、数据生命周期进行全链路管理,形成全域统一、血缘关系可追溯的全域数据资产,通过企业统一的数据资产门户数据资产目录中实现数据可查、可追溯、可开放应用。

数据中台构建

实时数仓构建

通过数据中台系列产品数据同步Keen DSync、实时计算Keen Stream、分析型数仓Keen ADB构建企业实时数仓,通过数据同步系统对业务生产过程中的数据进行交互和转化,实时计算平台实现数据清洗、合并、结构化、计算、模型分层,结果输出存储到分析型数据库Keen ADB中,并面向应用提供服务支撑。

实时数仓构建

数据资产建设

根据科杰数据中台白皮书-数据治理方法论,制定标准数据管理规范,通过开发管理平台实现对企业生产过程中主数据、业务数据和分析数据三个核心治理域的元数据、主数据、数据模型、数据质量、数据安全、数据生命周期进行全链路管理,形成全域统一、血缘关系可追溯的全域数据资产,通过企业统一的数据资产门户数据资产目录中实现数据可查、可追溯、可开放应用。

数据资产建设

分析型数据库

通过大规模并行处理架构,实现海量数据亚秒级查询,满足简单查询、复杂查询、ad-hoc查询等多样化的分析查询需求。适用于搭建实时数仓、大数据分析平台,构建实时大屏、BI报表、用户画像和监控预警等应用的行业、企业和机构。

分析型数据库

产品动态

基于Apache Hudi新一代数据湖实践

2022-07-21

根据维基百科对数据湖的定义:数据湖(Data Lake)是一个以原始格式存储数据的存储库或系统,它按原样存储数据,无需事先对数据进行结构化处理。一个数据湖可以存储结构化数据(如关系型数据库中的表),半结构化数据(如CSV、日志、XML、JSON),非结构化数据(如电子邮件、文档、PDF)和二进制数据(如图形、音频、视频)。

查看详情jiantou

DataOps激活数据价值,实现数据赋能业务闭环

2022-06-23

DataOps,即Data和Operations组合,在企业数据能力构建中,帮助企业提升数据质量,减少数据分析的周期时间,提高效率方法,DataOps适用于数据源到数据洞察分析整个数据生命周期。本文主要从企业数据应用的现状问题进行切入,讲解DataOps如何助力企业实现数据能力构建。

查看详情jiantou

湖仓一体轻松实现多源多态数据汇聚|科杰数据能力系列解读-数据汇聚

2022-02-24

企业在早期发展过程中存在业务模式不固定,业务形式变化较快,体制、业务机制、模式不统一、过程标准缺失等现象,在这个阶段大多数项目开展方式往往是业务驱动为目的而缺少通用的数据主题域和数据仓库分层的规划设计,这就导致企业呈现烟囱式的开发和建设,多个数据孤岛并存的数据乱相。

查看详情jiantou

获取数据中台白皮书,极速体验开启业务智能化

产品介绍


回到顶部
联系我们(09:00-18:00) 010-64703560
产品咨询

专属产品咨询服务

一站式、全链路、全可视化数据中台

众多企业选择我们,我们用实力完成客户托付

获取数据中台白皮书
极速体验开启业务智能化
×

感谢咨询,我们会在1个工作日内联系您

×