博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
MapReduce的编程思想(1)
阅读量:6555 次
发布时间:2019-06-24

本文共 743 字,大约阅读时间需要 2 分钟。

1. MapReduce采用分而治之的思想,将数据处理拆分为主要的Map(映射)与Reduce(化简)两步,MapReduce操作数据的最小单位是一个键值对。

2. MapReduce计算框架为主从架构,分别是JobTracker与TaskTracker。

  • JobTracker在集群中为主的角色,它主要负责任务调度和集群资源监控,并不参与具体的计算。
  • TaskTracker在集群中为从的角色,它主要负责汇报心跳和执行JobTracker的命令(启动任务、提交任务、杀死人物、杀死作业和重新初始化)。
  • 客户端,用户编写MapReduce程序通过客户端提交到JobTracker。

3. MapReduce作业(job)是指用户提交的最小单位,而Maop/Reduce任务(task)是MapReduce计算的最小单位。

  • MapReduce作业由JobTracker的作业分解模块分拆为任务交给各个TaskTracker执行,在MapReduce计算框架中,任务分为两种,Map任务和Reduce任务。

4. MapReduce的计算资源划分

  • Hadoop的资源管理采用了静态资源设置方案,即每个节点配置好Map槽和Reduce槽的数据量,一旦Hadoop启动后将无法动态更改。
  • TaskTracker能启动的任务数量是由TaskTracker配置的任务槽(slot)决定。
  • Map任务只能使用Map槽,Reduce任务只能使用Reduce槽。

5. MapReduce的局限性

  • MapReduce的执行速度慢。
  • MapReduce过于底层。
  • 不是所有算法都能用MapReduce实现。

转载于:https://www.cnblogs.com/lanzhi/p/6467715.html

你可能感兴趣的文章
Flex创建带有空间信息的椭圆(Polygon)
查看>>
【转】参照protobuf,将json数据转换成二进制在网络中传输。
查看>>
wpf 输入停止一段时间后。执行事件
查看>>
享元模式
查看>>
Python中的str与bytes之间的转换的三种方法
查看>>
java异常常见面试问题
查看>>
课后作业5
查看>>
Centos7.1环境下搭建BugFree
查看>>
共用y轴的双图形绘制
查看>>
(错误) Eclipse使用Maven创建Web时错误
查看>>
第31讲 | 数字货币钱包服务
查看>>
P2073 送花
查看>>
iOS端项目注释规范附统一代码块
查看>>
c语言编程的限制,关于NOI系列赛编程语言使用限制的规定
查看>>
32个c语言关键字发音,C语言的32个关键字(读音、用法、注释)转来的,给刚接触C的...
查看>>
为煮酒新书《构建高可用Linux服务器》作序!
查看>>
Windows Azure中文博客 Windows Azure入门教学系列 (一): 创建第一个WebRole程序
查看>>
Linux学习之CentOS(四)----Linux各目录的介绍
查看>>
MySQL 跳过同步错误方法
查看>>
MySQL 清理slowlog方法
查看>>