IT168首页 | 产品报价 | ChinaUnix社区 | ITPUB社区 | OA维修站 | 文库 | 博客 | 会议 | 自测 | 专题 | 订阅 | IT选型顾问
热点推荐 加盟IT168选型顾问俱乐部 获享5大权益

Hadoop

Twitter将Storm正式开源了,这是一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循 Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统,BackType现在已在Twitter麾下。GitHub上的最新版本是Storm 0.5.2,基本是用Clojure写的。

30日更新
标签:互联网 Hadoop

随着Last.fm服务的发展,用户数目从数千增长到数百万,这时,存储、处理和管理这些用户数据渐渐变成一项挑战。幸运的是,当大家认识到Hadoop技术能解决众多问题之后,Hadoop的性能迅速稳定下来,并被大家积极地运用。

22日更新
标签:Hadoop
Hadoop应用实例

MapReduce是一种可用于数据处理的编程模型。该模型比较简单,但用于编写有用的程序并不简单。Hadoop可以运行由各种语言编写的MapReduce程序。

22日更新
标签:Hadoop
关于MapReduce-Hadoop权威指南连载

古代,人们用牛来拉重物。当一头牛拉不动一根圆木时,他们不曾想过培育更大更壮的牛。同样,我们也不需要尝试开发超级计算机,而应试着结合使用更多计算机系统。

22日更新
标签:Hadoop

随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常重要且紧迫的需求。

14日更新
海量数据的挑战:数据分析平台架构

在互联网这个领域一直有这样的说法:“如果老二无法战胜老大,那么就把老大赖以生存的东西开源吧”。当年Yahoo!与Google还是处在强烈竞争关系时候,招聘了Doug(Hadoop创始人),把Google老大赖以生存的DFS与Map-Reduce开源了,开始了Hadoop的童年时期。差不多在2008年的时候,Hadoop才算逐渐成熟。

13日更新
标签:开源 Hadoop
大象的崛起!Hadoop七年发展风雨录

人物简介:在被任命为Hortonworks CEO之前,Eric Baldeschwieler在雅虎负责Apache Hadoop项目,将其从20个节点的原型系统发展为42000个节点的服务。

09日更新
标签:Hadoop

在互联网这个领域一直有这样的说法:“如果老二无法战胜老大,那么就把老大赖以生存的东西开源吧”。当年与Google还是处在强烈竞争关系的Yahoo!于是招了Doug(Hadoop创始人)进来,把Google老大赖以生存的DFS与Map-Reduce开源了,开始了Hadoop的童年时期。差不多在2008年的时候,Hadoop才算逐渐成熟。

07日更新
标签:Hadoop
大象的崛起!Hadoop七年发展风雨录

在企业中部署Hadoop时,如何从数据中获取商业价值,而不用担心如何管理Hadoop软件框架。为了实现这样的愿望,Dell和Cloudera联合推出了Hadoop解决方案Cloudera Enterprise。

05日更新
标签:Hadoop

今天听同事分享了一篇很有意思的讲座,叫做"Why Map-Reduce Is Not The Solution To Your Big-Data Problem"(为什么Map-Reduce不是你的“大数据”问题的解决方案)。同事很牛,也分享了很多非常有价值的观点,不过他预言Map-Reduce将会在5年之内消失。

30日更新
标签:开源 Hadoop
为什么Hadoop一定是分布式计算的未来?

Apache Hadoop 是一个软件框架,它可以分布式地操纵大量数据。它于2006年首次提及,由 Google、Yahoo! 和 IBM 等公司支持。可以认为它是一种 PaaS 模型。它的设计核心是 MapReduce 实现和 HDFS (Hadoop Distributed File System),它们源自 MapReduce(由一份 Google 文件引入)和 Google File System。

29日更新
云计算的利刃:快速部署Hadoop集群

现在MapReduce/Hadoop以及相关的数据处理技术非常热,因此我想在这里将MapReduce的优势汇总一下,将MapReduce与传统基于HPC集群的并行计算模型做一个简要比较,也算是对前一阵子所学的MapReduce知识做一个总结和梳理。

MapReduce和HPC集群并行计算优劣对比

越来越多的大企业的数据集以及创建需要的一切技术,包括存储、网络、分析、归档和检索等,这些被认为是海量数据。这些大量信息直接推动了存储、服务器以及安全的发展。同时也是给IT部门带来了一系列必须解决的问题。

大数据时代 Hadoop解决数据处理三瓶颈

本文主要是以安装和使用hadoop-0.12.0为例,指出在部署Hadoop的时候容易遇到的问题以及如何解决。

19日更新
标签:Hadoop

Hadoop并不仅仅是一个用于存储的分布式文件系统,而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。

19日更新
标签:Hadoop
Hadoop学习笔记之:Hadoop的两个部分

海量数据主要来源于企业中日益增长的数据,特别是Web流量等。微软在其博客上表示“我们的客户一直要求我们帮助其存储、管理并分析结构化和非结构化数据,特别是在Hadoop环境中存储的数据。”

12日更新
微软SQL Server增加对Hadoop的支持

Platform将加入HDFS项目和开源社区,为Platform MapReduce这一企业级分布式运行引擎提供支持

14日更新
标签:Hadoop Platform

除此之外,纽曼XD50录音笔秉承环保设计理念,外观设计取得了多项创新。机身采用IMD绿色环保工艺,经过处理后,整个机身高亮美观。

13日更新

来自IBM 、facebook、yahoo、中科院计算所、百度、江南所等十大技术专家聚为一堂,对如何壮大Hadoop的话题进行了如火如荼的讨论。

09日更新

日前,由中科院计算所主办的“Hadoop 中国2010云计算大会 - Hadoop in China 2010”于9月4日在京落下帷幕。

金秋十月 与你饮酒论道
热门文章
it168文库会议频道上线

热门标签

热点推荐