hadoop

大数据的泡沫在毫无止境的膨胀，它给IT企业带来了颠覆性的改革。 Hortonworks的CEO Eric Baldeschwieler表示，目前企业中80%的数据是非结构化数据。大数据的急剧蔓延使得企业在存储架构方面逐渐面临着史无前例的考验，由此引发了数据仓库、数据挖掘、商业智能、云计算等应用的一连串连锁反应。

Apache软件基金会(ASF)在本周四宣布发布Apache的2.4版本，这是自2005年12月1号来，Apache的首次重大更新。

随着企业大数据分析业务的增长，同时也驱动了传统关系数据库管理技术厂商与开源Apache Hadoop供应商寻求合作的趋势。

如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字(如Oozie，ZooKeeper、Flume)。Hadoop带来了廉价的处理大数据(大数据的数据容量通常是10-100GB或更多，同时数据种类多种多样，包括结构化、非结构化等)的能力。

如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字(如Oozie，ZooKeeper、Flume)。

Hadoop似乎火了。150家各种规模的企业都在使用Hadoop，包括大公司摩根大通、谷歌和雅虎等，相信这个开源大数据管理系统很快将出现在你的公司里。

思科将和EMC合作在其UCS服务器上新增支持Greenplum Hadoop。思科的服务器访问及虚拟技术群组架构师Raghunath Nambiar在博文中表示，这两个虚拟计算环境公司采取迂回的方式，提供预配置Hadoop堆栈，结合思科的C系列机架服务器和Greenplum同名的Greenplum MR Hadoop 分布。

最近Aaron Cordova在其博客上发表了一张流程图，对不同数据场景下，如何选择正确的数据存储处理工具的问题，进行了详尽的描述。

本文的目标是通过列举 Indeed 的前十名职位，来看看新的一年里企业需要的前十位开发者和工程师的开发技能。

《连线》杂志网络版周一刊文称，随着云计算的快速发展，微软开始逐渐支持开源运动，微软的一些程序员甚至直接向开源项目贡献代码。而推动这一改变的包括微软多名高管，以及比尔·盖茨(Bill Gates)本人。

当甲骨文联合创始人兼首席执行官 Larry Ellison 在去年 10 月爬上他自己的大数据“大象”的背上——他的公司在去年 10 月宣布 Big Data Appliance，甲骨文公司给人的印象，这将是积累他们自己的开放源码的 Apache Hadoop 的数据实施。这原来是不正确的。

在2012年即将到来之际，我们一起来盘点一下年度最佳十大开源软件。

2011年，云计算带热大数据，2012年，大数据则将炒高Hadoop。2011年大数据技术已经站在了存储领域的风口浪尖上，各种分析研究所指的数据爆炸趋势，使得大数据不可避免地成了众多厂商的一个新宣传点以及战略目标，提醒人们要换个角度思考PB级存储。 　　

在这一年里，出现了很多围绕提高NoSQL和Hadoop基础存储和数据处理引擎的兼并和项目。这些无疑会继续下去，就像我们看到Hadoop正逐渐将其整体封装成套件、工具以及按需的云服务。希望不久后这些都会成为必需的基础架构。

当“大数据”和“高性能数据分析”这些词汇成为SAS 2011年度分析系列会议的流行语时，与会者表示，目前主要的分析障碍仍然可概括为一个词：数据质量。这个问题也并不是什么惊人的发现了。2010年英国商业应用软件研究中心发起过一次2000人以上的调查，该调查中发现BI项目的头号障碍就是低劣的数据质量。

本次大会，IT168记者采访到了来自eBay的HBase专家，也是中国第一个HBase Committer于志宏。他在采访中介绍了HBase在eBay的应用，以及成为一个HBase Committer所需要具备的条件，同时他还对HBase未来的发展做了展望。

在最早的时候，做硬件开发的时候有冯诺依曼的计算机模型，在做并行计算的时候有BSP模型，当大数据来临的时候，并没有模型的指导，是否能够找到一个统一的、普遍的，能够代表很普遍意义的这样一个软件的开发模型，来指导大数据分析软件的开发，DOT模型就是在这样的背景下诞生的。

全球Hadoop大会于11月8日在纽约成功举行。众多专家纷纷表示，Hadoop在面对多数据源的数据聚合与数据分析方面性能表现得十分高效，但也不能忽视由此带来的安全性风险。

2011年12月2日、3日，Hadoop in China 2011在北京会议中心成功举办。本次大会以“海量数据掘宝”为主题，吸引了来自世界各地的一千余名关注Hadoop的专家、开发者和使用者。本次大会最大的亮点就是Hadoop的创始人Doug Cutting亲临大会现场发表主题演讲。

IT168编辑在现场有幸采访了ebay公司自动化架构总监Juhan Lee，以下是采访实录