用户既要学习 Spark 又要学 Flink 。尤其是 Flink 里面很多语法和现在的 Spark 稍微有些不一样。大部分开发同学都是从离线的模型转到实时。那它其实是有比较高的学习成本,或者是比较高......
2024-04-03 关键字:从社区运营的数据来看,Spark还是使用人数最多,但是相比flink来说,flink获取代码的次数远超过spark,使用前景还是很活跃。......
2024-03-13 关键字:如果你的业务让你计算几个维度(广告位置、小时、广告类型等等吧,我就随便举个例子),每个维度的数据uv量级,方便业务评估和市场决策,数据精准度不要求完全精准,误差在1%以内就行了,你该如何做?......
2022-10-27 关键字:随着大数据技术的发展,Spark成为当今大数据领域最受关注的计算引擎之一。在传统的生产环境中,Spark on YARN成为主流的任务执行方式,而随着容器化概念以及存算分离思想的普及,尤其是Spark......
2022-10-08 关键字:本文介绍了我们基于 Spark3 + Z-Order对于企业级离线数仓类任务的优化方案,初步解决了当前在迁移和在历史使用 Spark 的痛点。过程中也有一些体会和感悟:没有一种技术方案可以完美解决所有......
2022-09-02 关键字:之前,大多数公司大数据的数仓都是构建在Hive上的,数据开发的ETL任务以及用户对于数据的即时查询主要使用的工具也是Hive,随着Spark以及其社区的不断发展,Spark及Spark SQL本身技术......
2018-11-29 关键字: