大约八年前,当企业在数据湖的随心所欲和数据仓库的繁琐之间寻找中间地带时,Lakehouse出现了,这种架构模式吸引了一些追随者,但增长并不显著。然而,随着 2025 年的到来,Lakehouse将在多......
2025-01-15 关键字:事实证明,数据仓库已经存在很长时间了,而数据湖只是在 2010 年代才引入。今天,分享我对数据仓库、数据湖和 Lakehouse 发展做的笔记,作为重新审视数据工程基础系列的一部分。......
2024-12-31 关键字:记者获悉,经过一年奋战,小红书已把业界体量最大的数据湖0故障迁上阿里云。据统计,该项目共有1500人参与,迁移数据500PB。......
2024-11-06 关键字:将数据湖与变更数据捕获 (CDC) 技术相结合,可以提供强大的解决方案,以解决与在 ETL 管道中保持数据新鲜度、一致性和效率相关的挑战。......
2024-08-12 关键字:快手是一家多元化的业务公司,不可避免地会涉及到跨部门的数据协作。以计算ROI 为例,就需要汇总收入和支出两部分数据,而这些数据掌握在不同的业务部门手中。......
2024-06-03 关键字:随着大数据技术的飞速发展,数据仓库、数据湖和湖仓一体成为了企业数据处理和分析的核心架构。它们各自拥有独特的特点和优势,同时也存在相互联系和互补关系。给数据资产方向的数据产品经理求职同学做面试辅导时,t......
2024-02-20 关键字:数据湖是一种支持结构化、半结构化、非结构化等大规模数据存储和计算的系统架构,能够高效地对原始数据进行存储和取用,解决了传统数据仓库需要预先定义数据结构、海量数据加载慢的问题。......
2023-11-20 关键字:我们从数据湖所承载的大数据平台技术上看,它除了存储之外,还具备批量计算、实时计算、交互式分析、机器学习等多种能力。所以基于以上大家对数据湖的理解来使用数据湖是限制了它的数据处理加工能力和使用范围,同时......
2023-07-12 关键字: