IT168首页 | 产品报价 | ChinaUnix社区 | ITPUB社区 | 文库 | 博客 | 自测 | 专题 | ITPUB学院

hadoop

首席信息官们总结出了5大影响他们进行分析的IT趋势。它们分别为:大数据的增长、快速处理技术、IT商品的成本下降、移动设备的普及和社交媒体的增长。

五大商业分析技术趋势与使用方式

通过提供全面的轻型框架,让开发者能够轻松围绕Hadoop平台构建解决方案,Spring for Apache Hadoop将Spring的简洁和易用这两个好处引入Hadoop平台。

26日更新
VMware推出新版Spring 支持Hadoop平台

最近,Hadoop专家Karmasphere进行了一次企业用户调查 。调查结果显示,有94%的Hadoop用户表示他们现在实现了之前无法实现的大容量数据分析;有88%的用户表示他们提高了数据分析水平;有82%的用户表示现在能够掌握更多的数据。

24日更新
Hadoop MapReduce:数据科学家探索之路

大数据来袭!当企业准备把自己的MapReduce应用从实验环境迁移到生产环境时,共享式服务模型将为这种迁移提供许多重要功能,并加快迁移步伐

23日更新
标签: Hadoop PLATFORM
应对大数据挑战 企业需共享式服务模型

hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的,hadoop能够自动为我们 将压缩的文件解压,而不用我们去关心。

23日更新
标签: hadoop Java
hadoop对于压缩文件的支持及算法优缺点

从0.23.0开始,Hadoop开始支持分布式NameNode,通过NameNode federation的形式实现。这样实现了NameNode的横向扩展,使得Hadoop集群的规模可以达到上万台。

20日更新
标签: hadoop 数据库
Hadoop 0.23.x从原理详解到安装体验

2012年4月18日消息,由InfoQ主办的QCon大会于2012年4月18日到4月20日在北京召开。在今天下午举办的“大数据和NoSQL"分会场中,百度分布式高级研发专家杨栋发表主题演讲《Beyond MapReduce》,介绍了百度在MapReduce计算模型之外提出新的实时数据流计算模型。

19日更新
标签: hadoop 大数据
百度分享:超越MapReduce的实时计算模型

MapReduce是一种编程模式,在很大程度上借鉴了函数式语言。它主要的思想是分而治之(divide and conquer)。将一个大的问题切分成很多小的问题,然后在集群中的各个节点上执行,这既是Map过程。在Map过程结束之后,会有一个Ruduce的过程,这个过程即将所有的Map阶段产出的结果进行汇集。

19日更新
标签: hadoop
MapReduce编程模式原理及其算法设计

近几年,大数据日渐火爆,数据呈现非结构化趋势,据Gartner统计,数据中有80%是半结构化或非结构化数据。因此,如何应对大数据的新挑战成为数据库厂商面临的一大难题,对此IT168记者采访了Sybase中国技术总监卢东明先生,针对大数据这一热点话题进行深入探讨。

专访卢东明:Sybase IQ专注大数据分析

2012年4月13日,由IT168(ITPUB、IXPUB、ChinaUnix)主办的2012中国数据库技术大会(DTCC)在北京隆重召开。大会第三天,以“海量数据处理与Hadoop应用”为主题的圆桌讨论拉开了序幕。

2012 DTCC:海量数据处理与Hadoop应用

2012年4月13日,由IT168(ITPUB、IXPUB、ChinaUnix)主办的2012中国数据库技术大会(DTCC)在北京隆重召开。大会第三天,百度基础架构部高级工程师孙桂林发表了主题为“百度HDFS集群的数据压缩”的演讲。

大数据的储存:百度HDFS集群的数据压缩

Hadoop 具备出色的大数据集处理能力,在获取、存储、管理和分析数据方面远远超越传统的数据库软件工具。随着来自各种来源的数据日益增长,如何有效地利用这一信息成为了很多组织面临的一个难题。Hadoop 经常在构建大数据解决方案时被用作基础构架软件。

13日更新
IDF2012 hadoop构建全新大数据处理标准

2012年4月13日第三届“数据库技术大会”将在北京召开,本次大会是IT168、ITPUB、IXPUB、ChinaUnix联合主办。在过去两年里我们举办的前两届数据库技术大会都取得了很大的成功,参加会议的人员规模超过了800人。大会聚集了国内最顶级的数据库专家,是国内数据库工程师、架构师们一年一度的盛会。

05日更新
2012数据库技术大会之海量数据处理专场

HBase是从hadoop中分离出来的apache顶级开源项目。由于它很好地用java实现了google的bigtable系统大部分特性,因此在数据量猛增的今天非常受到欢迎。对于淘宝而言,随着市场规模的扩大,产品与技术的发展,业务数据量越来越大,对海量数据的高效插入和读取变得越来越重要。

05日更新
标签: NoSQL hadoop
HBase在淘宝的应用和优化小结

Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室开发。那么Spark和Hadoop有什么不同呢?1,Spark的中间数据放到内存中,对于迭代运算效率比较高。2,Spark比Hadoop更通用。3,容错性。4,关于Spark和Hadoop的融合。

01日更新
标签: hadoop 数据挖掘
Spark与Hadoop计算模型的比较分析

开源的数据处理平台凭借其低成本、高扩展性和灵活性的优势已经赢得了多数网络巨头的认可。现在Hadoop将进入更多企业。IBM将在明年推出内置NoSQL技术的DB2旗舰级数据库管理系统。上个月Oracle和Microsoft也分别透露了将计划在明年发布基于Hadoop的产品。

22日更新
标签: hadoop 大数据
Hadoop掀起大数据革命 三巨头齐发力

Microsoft已经将Hadoop作为自身大数据战略的核心。Microsoft此举的理由就是看中了Hadoop的潜力,在大数据领域Hadoop已经成为分布式数据处理的标准。通过集成Hadoop技术,Microsoft允许客户访问快速增长的Hadoop生态系统。同时随着越来越多善于在Hadoop平台进行开发的人才涌出,这对Hadoop发展有利。

12日更新
Hadoop——Microsoft大数据战略的核心

开源这块甜蜜的巧克力酱备受宠爱,似乎人人都想尝尝。这一次,我为开发者们贡献十款开源编程工具,它们分别是这十款开源工具会越来越流行。

十大精选开源软件推荐:编程化繁为简

Hadoop的发展基本上经历了这样一个过程:从一个开源的Apache基金会项目,随着越来越多的用户的加入,不断地使用、贡献和完善,形成一个强大的生态系统,从2009年开始,随着云计算和大数据的发展,Hadoop作为海量数据分析的最佳解决方案开始受到许多IT厂商的关注

03日更新
2011-12年 中国Hadoop应用趋势调查报告

HBase(Hadoop Database)是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群,Hypertable则是搜索引擎公司Zvents以Google发布的BigTable为基础,推出的一款开源分布式数据存储系统。

01日更新
Hypertable对决HBase!谁是云开源利器
金秋十月 与你饮酒论道
热门文章
it168文库会议频道上线

热门标签

热点推荐