大数据/Big Data

企业内部数据信息正以爆炸式的速度不断增长，给企业带来极大的难题。那么这些海量的企业数据究竟从和而来?利用这些数据可以给企业带来什么样的好处?处理不当会给企业带来什么损失?我们应当如何完美地解决海量数据处理难题?SAP中国方案与架构设计部资深架构师、总监和轶东将为我们一一解答。

随着硬件技术的不断发展，内存容量与日俱增，价格也越来越低，这些条件已允许在服务器内存中处理超大量的v数据，并提供即时的结果成为可能。那么随着科技的不断发展，内存技术未来将向何方发展?在本次课程中，SAP公司内存技术研发项目经理周曦炜将向我们介绍SAP内存技术的发展线路图。

“感知塑造现实。”环保主义者可能会认为风电和太阳能电力正在成功地排挤化石燃料并将在未来几年内大行其道，而如果你参加石油天然气会议的话，你会感觉石油和天然气在未来几十年内还会持续增长。

我们正逐步迈向云存储，云存储和所谓的“大数据”碰撞在了一起。不过越来越多的磁带、存储和数据库供应商，甚至是数据存储行业中的任何人，都将注意力转向了大数据。很显然，只要你销售设备，你就会钟情于“大数据”这个想法，这意味着用户将会需要更多的设备来处理这些大数据。

Forrester估计，在一般情况下，公司企业仅仅使用了他们所能获得的数据中不到5%的数据。另据估计，数据每年以40%~50%的速度增长，但企业平均只捕获到了其中25%~30%数据。这意味着大量数据未被获取以及使用，而且这个差距正在随着时间的推移逐渐加大。

你已经在为“大数据”做筹备了吗?如果还没有，或许也想了解一下如何开始进行部署。现在对大数据的宣传非常高调，大有成为未来重要的策略性商业资产的架势。这意味着其他人不久也将要获取有关大数据的知识。那么怎样向他们作介绍呢?

参加最近一次调查的亚太地区大型企业中，超过一半的企业未预测到或者计划迎接“大数据”时代的到来。调查结果清楚地表明，企业需要利用先进的云技术和解决方案来管理数据增长，将数据转化为可操作的信息，并驾驭这些信息，使其成为提供对业务洞察和带来创新的战略性资产。

Forrester估计，在一般情况下，公司企业仅仅使用了他们所能获得的数据中不到5%的数据。另据估计，数据每年以40%~50%的速度增长，但企业平均只捕获到了其中25%~30%数据。这意味着大量数据未被获取以及使用，而且这个差距正在随着时间的推移逐渐加大。

2010年存储第一标语“虚拟化”已经被2011年最受关注词语所代替，这就是看起来有些关系的“大数据”。非常有趣的是，这个词语在短时间内被反复谈论，并且似乎已经背离了这次词语的本身的意思。这就是我在书中写道的可以打破记录的滥用，可以获得技术市场知识分子提名，并进入Cunning Marketers名人堂。

大数据似乎无处不在，但现实中这一新趋势某些方面并不新，我们知道有些环境数据量是呈指数级增长的，据IDC 2011年6月发布的数字宇宙研究报告显示，2011年创建和复制的信息将超过1.9ZB(1.8万亿GB)，5年内几乎增长了9倍。

在企业内部，为了支撑信息系统的运行，我们需要一种数据用来描述或者提供数据的上下文信息、相关内容、业务流程服务场景以及业务规划。这种数据就是元数据，其包括设计工具数据、管理信息数据、监控数据、数据表、索引分区、数据类型等等，种类繁多，不一而论。

大数据面临着大挑战。不过，如果企业可以解决这些问题，那摆在他们前面的机会仍旧很多。第一次听到大数据这个词的时候，我们都怀疑存储公司是否在摆弄小孩子的节目。而再细看的时候，发现这一词汇非常精炼地概括了我们生活和工作中所遭遇的数据洪流。

对于企业的决策所起到的支持作用越来越大。随着新的数据源不断产生，以及数据量的持续增长，采用传统的业务分析模式来分析新数据在实际扩展或经济性上而言，都颇具难度。企业已经认识到，软件即服务(SaaS)的下一代数据分析平台能够有效地缓解与采购和实施内部部署解决方案相关的潜在成本和风险。

295艾字节(exabyte)的数据就会让地球偏离自转轨道!好，也许我们仅仅是晃动了地轴一点点，但是面对如此天文数字般得数据量，你需要大量的硬盘、磁带、纸张等等来记录，而且恐怕也只是记下了几兆字节。

在《大数据将给我们带来怎样的变化?(上)》中，我们分析了大数据的真正含义，以及业内对其的误解。下面，我们将通过一些具体的案例来展现，大数据时代的来临，将给我们的商业模式带来怎样的变化。

我们都听过这个预测：到2020年，电子数据存储量将在2009年的基础上增加44倍，达到35万亿GB。根据IDC数据显示，截止到2010年，这个数字已经达到了120万PB，或1.2ZB。如果把所有这些数据都存入DVD光盘，光盘高度将等同于从地球到月球的一个来回——也就是大约480,000英里。

运行SQL Server的微软客户将通过Hadoop的引入获得真正的大数据处理能力。微软已经发布了早期代码，让客户可以将这个Java架构接入到SQL Server 2008 R2、SQL Server Parallel Data Warehouse以及下一代微软数据库。

随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代，数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求。

一个正在形成的共识是：大数据不仅仅是指大量数据，而是特指无法用传统方法处理的大型数据集。那么这里所说的传统方法是指哪些呢?要回答这个问题，就要看一看这些方法本来是为了解决什么问题。

在市场如此活跃的情况下，这种分散是很有意义的。计算机平台升级很快，单个的大型主机需要有高昂的维护费用来作支持，这还不如追加投资给低耗能的设备了，所以说大型主机是在不断贬值的，其效率也就相应降低了(比如，以每年每美元可实现的MIPS为标准进行考量)。