|
面向MapReduce的节点性能检测与任务调度方法研究 |
| |
| 论文目录 |
| |
【摘要】：近年来,云计算技术发展迅速,已经成为成IT产业发展的一个主流方向。Map Reduce是一个广泛应用于分布式计算环境中的编程模型。由于Map Reduce模型中Map与Reduce阶段的同步过程可能会导致长尾问题,使得部分计算节点即使在非常好的调度算法下,其资源利用率依然会降低。Map Reduce中现有的调度方法主要针对作业层次,任务层次的调度也仅在发现慢节点后采取事后补救措施。现有调度方法将计算节点作为同质的。事实上,考虑节点之间的差异性,能够获得更好的任务调度结果,并改善长尾问题的发生。本文分析了产生长尾问题产生的根本原因,即半失效节点的存在,并提出了一种分布式节点半失效检测方法来检测这些半失效节点。我们通过节点之间的交互过程,用以获取节点执行任务情况并评估节点的计算能力。根据节点的计算能力,我们基于奈尔检验法设计了一种针对节点的评估方法。最后根据节点的评估值,有针对性的筛选出半失效节点。本文根据对节点计算能力的评估,提出了基于节点性能的任务调度优化方法。我们在作业进行的过程当中,根据节点已执行的任务情况预测节点后续的工作能力,并提前预计在最优调度情况下的作业完成时间。根据作业完成时间的确定,我们将剩余任务在计算节点之间根据计算能力进行分配。通过模拟实验,减少了长尾问题的发生,提升了集群的资源利用率,减少了作业完成时间。
【关键词】：Map Reduce 半失效节点 长尾问题 任务调度
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP311.13
|
|
|
广告服务 
