IT168首页 | 产品报价 | ChinaUnix社区 | ITPUB社区 | 文库 | 博客 | 自测 | 专题 | ITPUB学院

MapReduce

人们曾普遍认为传统数据库支持ACID和SQL等特性限制了数据库的扩展和处理海量数据的性能,因此尝试通过牺牲这些特性来提升对海量数据的存储管理能力,但是现在一些人则持有不同的观念,他们认为并不是ACID和支持SQL的特性,而是其他的一些机制如锁机制、日志机制、缓冲区管理等制约了系统的性能,只要优化这些技术,关系型数据库系统在处理海量数据时仍能获得很好的性能。

05日更新
标签: hadoop MapReduce
大数据管理系统: NewSQL数据库概述

作为最具代表性的大数据技术之一,Hadoop对那些准备探索业务影响力数据的IT部门非常有吸引力。Hadoop的分布式处理方法更适合处理海量非结构化数据,但是Hadoop及其相关的MapReduce编程模型并不是万灵药,MapReduce和Hadoop的问题时刻影响着大数据新手们。

09日更新
直面Hadoop MapReduce问题与复杂性

Facebook已经开源了Corona,这是一款内部开发的用以改善Hadoop MapReduce调度的软件。Corona将集群管理和作业跟踪这两个关键任务分开。这与Apache YARN在概念上不谋而合,YARN也是MapReduce调度器和资源管理器的一个改进版本。

22日更新
标签: hadoop MapReduce
Facebook用Corona提升Hadoop的可伸缩性

MapReduce是Google公司的核心计算模型,它将运行于大规模集群上的复杂的并行计算过程高度地抽象为了两个函数:map和reduce。Hadoop是Doug Cutting受到Google发表的关于MapReduce的论文的启发而开发出来的。

15日更新
标签: hadoop MapReduce
Hadoop计算模型MapReduce及其体系结构

我们通常说的分布式系统其实是分布式软件系统,即支持分布式处理的软件系统,它是在通信网络互联的多处理机体系结构上执行任务的,包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。

08日更新
标签: hadoop MapReduce
Hadoop并行计算原理与分布式并发编程

HDFS和MapReduce是Hadoop的两大核心。而整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持的,并且它会通过MapReduce来实现对分布式并行任务处理的程序支持。

02日更新
浅析Hadoop两大核心组件的体系结构

由于这些数据很多都是PB级别,导致处理工作不得不尽可能的并行化,而Google为了解决这个问题,引入了MapReduce这个分布式处理框架。

16日更新
云计算关键技术解析系列之一:MapReduce

在2010年1月的ACM上,有两篇文章非常吸引人注意。《MapReduce:一个灵活的数据库处理工具》和《MapReduce和并行数据库:是朋友还是敌人?》。

15日更新
MapReduce和并行数据库:朋友还是敌人?
金秋十月 与你饮酒论道
热门文章
it168文库会议频道上线

热门标签

热点推荐