联系我们
    插件电感_大电流电感
热门搜索
点击排行
推荐电感
推荐阅读
推荐电感
推荐电感
猜猜你喜欢的
常见问题 您所在的位置: 电感 > 常见问题

HBase集群中RegionServer崩溃后的快速恢复措施探索

来源:    作者:    发布时间:2015-10-21 06:21:43    浏览量:

  摘 要: 主要介绍了HBase RegionSer电感生产ver与Zookeeper间的交互过程,阐述RegionServer崩溃后的恢复机制,并在此基础上提出了几点优化的恢复措施。优化后的恢复措施大大缩短了RegionServer崩溃后的故障恢复时间和业务中断时间,从而提高了HBase集群的稳定性和可靠性。

  关键词: HBase;RegionServer;崩溃;恢复

0 引言

  随着互联网和通信行业的迅猛发展,积聚的各种数据呈急剧增长态势。这些海量数据既蕴含着丰富的信息和资源,又面临着信息有效管理和提取的难题。云计算是分布式处理、并行处理和网格计算的发展,可以提供近乎无限的廉价存储和计算能力,特别适合于日益暴增的海量数据的存储和处理。在云计算领域中,Hadoop体系独树一帜,其丰富的子系统可以满足多种领域和行业的应用需求,而其中的HBase作为一种非结构化数据库,特别适合于各种非结构化和半结构化的松散数据的存储和管理。

  HBase是一个高电感器直标法可靠性、高性能、面向列、可伸缩、实时读写的分布式存储数据库系统[1-3]。HBase建立在HDFS分布式文件系统基础之上,其中的数据最终以HFile的格式存储在HDFS之上;HBase可以通过内嵌的MapReduce组件实现复杂任务的并行和分布处理,具有很高的性能。

  1 HBase体系结构

  HBase主要由HMaster和RegionServer两部分组成,辅以Zookeeper协调集群中各网元之间的数据共享和访问,其组成插件电感工厂框图如图1所示[4]。

001.jpg

  (1)Client:访问HBase的接口,维护着一些加快HBase访问的缓存,比如Region的位置信息等。

  (2)Master:负责Region到RegionServer的分配以及映射关系维护;管理集群中的RegionServer及其负载均衡;维护数据表和其所在Region的元数据信息;处理表级的操作请求等。

  (3)RegionServer:维护Master分配给它的Region,处理对这些Region的读写请求;负责运行过程中过大的Region的Split和Compact操作。

  (4)Zookeeper:保证任何时候集群中只有一个激活的Master;存储RootRegion和Master的位置;存储所有RegionServer的位置并实时监控其状态;存储HBase的其他运行所需的信息[5]。

  HBase中的数据单元通过主键、列簇、列名和版本号唯一确定,所有行按字典顺序排列。HBase中的表在行的方向上分割为多个Region,每个Region只存储表中某一范围的数据,并且每个Region只能被一个RegionServer管理。Region由一个或者多个Store组成,每个Store保存一个列簇;Store又由一个MemStore和0至多个storefile组成,storefile以HFile的格式存储于HDFS上。

  由此可见,HBase中的表通常被划分为多个Region,而各个Region可能被不同的RegionServer所管理。客户端通过Master和相关操作获取目标Region的位置后,最终通过RegionServer完成对用户表的读写请求。因此,如果某个RegionServer异常,客户端对其所管理的Region的访问就会失败,造成了业务中断,这在在线系统中是不可接受的。虽然HBase中实现了RegionServer异常后的自动恢复机制,但是这种机制的时延很大,不能满足实际应用需求。因此,本文针对这部分进行了研究,并提出了一种可以快速、高效恢复业务的方法。

2 HBase集群与Zookeeper交互机制分析

  在HBase的使用过程中,Zookeeper起着至关重要的作用。正是Zookeeper的存在,使得HBase的运行更加稳定和高效。

  在配置环境中,Zookeeper集群中的HBase的目录如图2所示。

003.jpg

  HBase集群的相关信息存储在Zookeeper集群中的hbase目录(这个目录是可以配置的)下,其中master目录存储HMaster的位置等相关信息,rs目录存储所有的RegionServer的位置等相关信息。

  在HMaster启动时,会在Zookeeper集群中创建自己的ZNode临时节点并获得该节点的独占锁,该节点位于Zookeeper集群中的/hbase/master目录下。同时会在所有的其他目录上创建监听,这样当其他节点的状态发生变化时,HMaster就可以立即感知从而进行相应的处理。

  在RegionServer启动时,会在Zookeeper集群中创建自己的ZNode临时节点并获得该节点的独占锁,这个节点位于Zookeeper集群中的/hbase/rs目录下。

II型PLC简易采集器解决方案
方案简介


该采集器的主控芯片采用TI的ARM-Corthttp://www.ruishen.net.cn/电感器厂家ex-M3微控制器LM3S300,通过485接口实现对电表的数据采集,并且通过PLC载波模块

要求:220V输入,±5V输出,要求输出10W功率时,效率能220V输入,±5V输出,要求输出10W功率时,效率能达到90%。这个用反激能达到效率吗?用正激还是反激效果比较好?输出满负载功率要求多少?小功率还是反激有优势。一般的方案10W估计效率

基于PSoC的太阳自动跟踪器,可应用在太阳能灶及热
摘要


太阳能系统效率的高低在很大程度上取决于装置与太阳照射光线的对准程度。而太阳自动跟踪装置可有效提高太阳能系统的效率,从而降低光伏系统的成本。本文基于

大电流电感
 
在线客服