《Bigtable: A Distributed Storage System for Structured Data》 2006年[7]
应用程序
Hadoop 的最常见用法之一是 Web 搜索。虽然它不是唯一的框架，但作为一个并行引擎，它的表现非常突出。Hadoop 最有趣的方面之一是 Map and Reduce 流程，它受到开发的启发。这个流程称为创建索引，它将 Web检索到的文本 Web 页面作为输入，并且将这些页面上的单词的频率报告作为结果。然后可以在整个 Web 搜索过程中使用这个结果从已定义的搜索参数中识别内容。
最简单的 MapReduce至少包含 3 个部分：一个 Map 、一个 Reduce 函数和一个 main 函数。main 函数将和文件输入/输出结合起来。在这点上，Hadoop 提供了大量的接口和，从而为 Hadoop人员提供许多工具，可用于调试和性能度量等。
MapReduce 本身就是用于大数据集的框架。MapReduce 的根源是函数性编程中的 map 和 reduce 函数。它由两个可能包含有许多实例（许多 Map 和 Reduce）的操作组成。Map 函数接受一组数据并将其转换为一个键/值对列表，输入域中的每个元素对应一个键/值对。Reduce 函数接受 Map 函数生成的列表，然后根据它们的键（为每个键生成一个键/值对）缩小键/值对列表。
这里提供一个示例，帮助您理解它。假设输入域是 one small step for man,one giant leap for mankind。在这个域上运行 Map 函数将得出以下的键/值对列表：
（one,1） (small,1） (step,1） (for,1） (man,1）
MapReduce 流程的概念流
(one,1） (giant,1） (leap,1） (for,1） (mankind,1）
如果对这个键/值对列表应用 Reduce 函数，将得到以下一组键/值对：
（one,2） (small,1） (step,1） (for,2） (man,1）（giant,1） (leap,1） (mankind,1）
结果是对输入域中的单词进行计数，这无疑对处理索引十分有用。但是，假设有两个输入域，第一个是 one small step for man，第二个是 one giant leap for mankind。您可以在每个域上执行 Map 函数和 Reduce 函数，然后将这两个键/值对列表应用到另一个 Reduce 函数，这时得到与前面一样的结果。换句话说，可以在输入域并行使用相同的操作，得到的结果是一样的，但速度更快。这便是 MapReduce 的威力；它的并行功能可在任意数量的系统上使用。图 2 以区段和迭代的形式演示这种思想。
回到 Hadoop 上，
显示处理和存储的物理分布的 Hadoop 集群
它是如何实现这个功能的？一个代表客户机在单个主系统上启动的 MapReduce称为 JobTracker。类似于 NameNode，它是 Hadoop 集群中惟一负责控制 MapReduce的系统。在提交之后，将提供包含在 HDFS 中的输入和输出目录。JobTracker 使用文件块信息（物理量和位置）确定如何创建其他 TaskTracker 从属任务。MapReduce被复制到每个出现输入文件块的节点。将为特定节点上的每个文件块创建一个惟一的从属任务。每个 TaskTracker 将状态和完成信息报告给 JobTracker。图 3 显示一个示例集群中的工作分布。
Hadoop 的这个特点非常重要，因为它并没有将存储移动到某个位置以供处理，而是将处理移动到存储。这通过根据集群中的节点数调节处理，因此支持高效的。
区别：
是一种分布式数据和计算的框架。它很擅长存储大量的半结构化的数据集。数据可以随机存放，所以一个磁盘的失败并不会带来数据丢失。Hadoop也非常擅长分布式计算——快速地跨多台机器处理大型数据集合。
是处理大量半结构化数据集合的编程模型。编程模型是一种处理并结构化特定问题的方式。例如，在一个关系数据库中，使用一种集合语言执行查询，如SQL。告诉语言想要的结果，并将它提交给系统来计算出如何产生计算。还可以用更传统的语言(，Java)，一步步地来解决问题。这是两种不同的编程模型，MapReduce就是另外一种。
MapReduce和Hadoop是相互独立的，实际上又能相互配合工作得很好。[9]
开源实现：
Hadoop是项目的总称。主要是由HDFS和MapReduce组成。
HDFS是Google File System（GFS）的开源实现。
MapReduce是Google MapReduce的开源实现。
这个分布式框架很有创造性，而且有极大的扩展性，使得Google在系统吞吐量上有很大的竞争力。因此Apache基金会用Java实现了一个开源版本，支持Fedora、Ubuntu等Linux平台。雅虎和硅谷风险投资公司Benchmark Capital 联合成立一家名为Hortonworks的新公司，接管被广泛应用的数据分析Hadoop的开发工作。
Hadoop实现了HDFS文件系统和MapRecue。用户只要继承MapReduceBase，提供分别实现Map和Reduce的两个类，并注册Job即可自动分布式运行。
至今为止是2.4.1，稳定版本是1.2.1 和 yarn 的 2.4.0。
HDFS把分成两类：NameNode和DataNode。NameNode是唯一的，程序与之通信，然后从DataNode上存取文件。这些操作是透明的，与普通的文件系统API没有区别。
MapReduce则是JobTracker节点为主，分配工作以及负责和通信。
HDFS和MapReduce实现是完全分离的，并不是没有HDFS就不能MapReduce运算。
Hadoop也跟其他项目有共同点和目标：实现海量数据的计算。而进行海量计算需要一个稳定的，安全的数据容器，才有了Hadoop（HDFS，Hadoop Distributed File System）。
HDFS通信部分使用org.apache.hadoop.ipc，可以很快使用RPC.Server.start()构造一个节点，具体业务功能还需自己实现。针对HDFS的业务则为数据流的读写，NameNode/DataNode的通信等。
MapReduce主要在org.apache.hadoop.mapred，实现提供的接口类，并完成节点通信（可以不是hadoop通信接口），就能进行MapReduce运算。
子项目：
Hadoop Common: 在0.20及以前的版本中，包含HDFS、MapReduce和其他项目公共内容，从0.21开始HDFS和MapReduce被分离为独立的子项目，其余内容为Hadoop Common
: Hadoop(Distributed File System) － HDFS (Hadoop Distributed File System)
：框架，0.20前使用 org.apache.hadoop.mapred 旧接口，0.20版本开始引入org.apache.hadoop.mapreduce的新API
: 类似Google BigTable的分布式NoSQL列数据库。（和已经于2010年5月成为顶级 Apache 项目）
：数据仓库工具，由Facebook贡献。
：分布式锁设施，提供类似Google Chubby的功能，由Facebook贡献。
：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制。
Pig: 大数据分析平台，为用户提供多种接口。
Ambari：Hadoop管理工具，可以快捷的监控、部署、管理集群。
