Chinaunix首页 | 论坛 | 博客
  • 博客访问: 5302069
  • 博文数量: 1644
  • 博客积分: 16831
  • 博客等级: 上将
  • 技术积分: 12469
  • 用 户 组: 普通用户
  • 注册时间: 2011-02-25 07:23
  • 认证徽章:
个人简介

柔中带刚,刚中带柔,淫荡中富含柔和,刚猛中荡漾风骚,无坚不摧,无孔不入!

文章分类

全部博文(1644)

文章存档

2019年(3)

2018年(19)

2017年(69)

2016年(61)

2015年(51)

2014年(201)

2013年(224)

2012年(644)

2011年(372)

分类: HADOOP

2016-03-21 10:38:53

Hadoop虚拟化扩展(HVE)之资源扩展技术

作者:vBigData  发布日期:2013-11-07 10:22:29

背景

在虚拟化的云环境中,Hadoop可以有更好的“弹性”,这是云计算的一个重要优势,例如亚马逊的EMR(ElasticMapReduce)服务, 用户可以迅速的在云中根据需求部署一个Hadoop集群,运行计算任务,并且用户可以向集群动态的添加或删除计算节点。

这里存在着一个潜在问题,Haodop的数据节点并非天生的“有弹性”,删除一个数据节点意味着需要重新复制存储在这个节点的数据,这是一个缓慢的过程,并且占用网络带宽。

162135595.png

图1:存储计算分离

存储计算分离可以很好的解决这个问题,如上图所示,我们可以静态的为每个物理结点部署一个数据节点,动态的部署和调整每个物理节点上的计算节点。另外可以利用虚拟机更好的隔离性,为每个租户提供单独的计算节点,提供多租户(Multi-Tenancy)服务。

HVE的资源扩展技术就是对Hadoop计算层的扩展,通过增加Hadoop垂直扩展和水平扩展的动态性,配合资源共享,最终达到优化资源利用的目的。

 

技术

资源过量配置(Resource Overcommitment)

虚拟机之间的资源共享通常是通过资源过量配置来实现的。大多数的虚拟机Hypervisor,比如VMware和Xen,都支持资源过量配置。以VMware ESX为例,他允许为每个虚拟机配置预留资源(Reservation),最大资源(Limit)和共享(Share)来控制同一物理机上多个虚拟机之间的资源共享,以及资源不足时的分配策略。

162318542.png

图2:资源过量配置

有了这个技术,多个应用之间就可以共享资源,比如在其他应用繁忙的时候,可以使Hadoop计算节点少占用一部分资源,而在其他应用空闲的时候,Hadoop节点可以分配到更多资源。

 

Hadoop计算节点垂直扩展

仅仅通过Hypervisor的资源调度并不能很好的达到资源共享的目的,目前Hadoop的资源配置是静态的:

1. 在MapReduce v1中,资源通过每个TaskTracker的槽位数配置项配置,槽位就是一定量CPU和内存资源抽象

2. 在MapReduce v2中,资源通过每个NodeManager的CPU和内存配置项直接配置

这些配置已经启动是无法动态调整的,这样在计算节点虚拟机资源不足的情况下,Hadoop仍然会分配过量的任务到这个节点,任务的执行速度会大幅度降低,从而影响整个集群的性能。

HVE的资源扩展技术通过动态化Hadoop资源配置来解决这个问题:

1. 在计算节点运行过程中,用户可以动态设置每个计算节点的槽位数(MRv1)或者资源数(MRv2)

2. 当计算节点资源不足时,用户或者VHM(Virtual Hadoop Manager)可以自动调整其资源配置,尽量避免资源竞争导致的性能下降

  • 在MRv1中,调整槽位后,正在运行的任务如果超过了槽位数,任务也不会被杀死,而是不再接受新任务,直至多余的任务完成,所以资源回收的速度可能会比较慢

  • 在MRv2中,社区正在开发任务抢占功能,有了抢占功能后,预计可以提高资源回收的速度

162633630.png

图3:MRv1的动态资源调整

162722768.png

图4:MRv2的动态资源调整

 

Hadoop计算节点水平扩展

 

除了对每个计算节点内部的垂直式的资源伸缩,Hadoop广为人知的还是其良好的水平可扩展性,Hadoop可以动态的上线或者下线(Decommission)计算节点。在虚拟化环境中,为支持更好的弹性,计算节点的上下线操作会更加频繁。

163009921.png

图5:虚拟化环境下的Hadoop水平扩展

这样引发一个问题,就是在下线计算节点时,其上正在运行的任务会被杀死,已经完成的Map任务的中间结果也会丢失,所以强制下线节点会导致大量任务重新执行,延迟整个作业的执行。

HVE的资源扩展技术通过增加安全下线(Graceful Decommission)功能来解决这个问题:

1. 用户发出安全下线计算节点命令后,先将该计算节点的槽位数或者资源配置为0,使其不再接受新任务

2. 等待该计算节点上任务都执行完毕,中间数据也都被使用过之后,再停止该计算节点。

 

总结

HVE的资源扩展技术通过对Hadoop核心添加动态资源特性,以支持对Hadoop集群计算层的动态的水品和垂直扩展,为Hadoop部署在虚拟化环境中增加了如下优点:

1. 能够使Hadoop与其他应用,或者多个Hadoop集群之间动态共享资源,可以根据资源需求动态的扩展或者收缩集群,提高资源利用率;

2. 更好的多租户支持,通过将不同的用户的作业隔离在不同的虚拟节点,可以在保证资源利用率的基础上提高隔离性和安全性。

本文简要介绍了HVE资源扩展技术,详细的设计实现可以参考参考文档中的相关JIRA。

阅读(1260) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~
评论热议
请登录后评论。

登录 注册