github.com/littlecat-git/map_reduce

MapReduce Model

MapReduce 模型 本项目实现了一个简单的 MapReduce 模型，用于在分布式系统中并行处理大规模数据集。

功能特性

支持自定义的 Map 和 Reduce 函数，用户可以根据实际需求编写自己的 Map 和 Reduce 逻辑。
可以在多台计算节点上并行执行 Map 和 Reduce 任务，充分利用分布式系统的计算资源。
提供了容错机制，当计算节点发生故障时，任务可以自动重试并继续执行，确保任务的完整性和正确性。

使用方法

准备数据： 将需要处理的数据集存储在分布式文件系统中，确保所有计算节点都可以访问到数据。
编写 Map 和 Reduce 函数： 根据实际需求编写 Map 和 Reduce 函数，并确保它们符合 MapReduce 模型的要求。
配置任务参数： 根据数据规模和任务需求，配置 MapReduce 任务的参数，包括输入路径、输出路径、Map 和 Reduce 函数等。
启动任务： 使用提供的启动脚本或命令行工具，启动 MapReduce 任务并监控任务的执行情况。
查看结果： 在任务执行完成后，可以查看输出路径下生成的结果文件，以及任务执行日志，验证任务的正确性和完整性。

模型工作流程

在构建MapReduce模型时，各个结点分为特殊的主节点（负责分发任务，记录中间键值对的存储位置 等）和工作结点（负责数据处理）。
工作节点负责处理 map 任务，从输入数据中解析出键/值对，并将每对传递给用户定义的 Map 函数。
Map 函数生成的中间键/值对被缓存在内存中，存储位置经由主节点传递给 Reduce 工作节点，使其能够通过远程过程调 用从 Map 工作节点的本地磁盘读取缓冲数据。
Reduce 工作节点使用远程过程调用读取缓冲数据 。
Reduce 工作节点遍历排序后的中间数据，并对每个唯一中间键调用用户定义的 Reduce 函数，将键和相应的中间值集传 递给它。
Reduce 函数的输出最终被追加到相应的输出文件中，完成整个 MapReduce 任务的处理过程。

遇到的困难

网络带宽限制

数据传输可能会成为性能瓶颈，特别是在大型集群中。
解决方法：
可以通过使用本地磁盘进行数据存储和中间结果的持久化来减少网络传输量。

拖延者问题

在计算中，某台机器可能会异常地花费较长时间来完成最后几个 map 或 reduce 任务之一，通常称为“拖延者”。
造成这种情况的原因多种多样，比如坏磁盘导致读取性能大幅下降，或者集群调度系统在该机器上安排了其他任务，导致资源竞争减慢了执行速度。

解决方法： 有一种通用机制来缓解拖延者的问题。当 MapReduce 操作接近完成时，主节点会调度剩余进行中任务的备份执行。只要主执行或备份执行完成，任务就被标记为已完成。 这显著减少了完成大型 MapReduce 操作所需的时间。