十年网站开发经验 + 多家企业客户 + 靠谱的建站团队
量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决
这篇文章主要讲解了“HBase是怎么做到毫秒级查询的”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“HBase是怎么做到毫秒级查询的”吧!
成都创新互联公司是一家集网站建设,马龙企业网站建设,马龙品牌网站建设,网站定制,马龙网站建设报价,网络营销,网络优化,马龙网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。
1. 缓存
HBase有两块主要的内存缓存,MemStore 和 BlockCache。
具体的过程如下:
一个查询过来 regionserver 后首先用 MemStoreScanner 搜索 MemStore 里是否有所查的 rowKey ,这一步在内存中,所以是很快的。
如果不在 memstore 中,会经过一系列的索引寻址会定位到 block 的位置。
如果 block 在 BlockCache 缓存中则可以直接在内存中操作,速度很快,不需要再进行一次 IO 将整个 block 读取到内存中。
2. 过滤
RegionServer 启动的时候就会把每个HFile的起止 rowkey 加载到内存中,在定位 HFile 的时候可以过滤掉大部分HFile;
同时同样是加载到内存的 Bloom Block 也会通过之前说的 bloomFilter 也会过滤掉大部分一定不包含所查rowKey的HFile。
3. 索引
经过了上面的过滤,其实只剩下很少一部分的HFile需要去检索了,HBase有三级索引,第一级索引会常驻内存,二三级的索引会以block的形式存在HFile中。
索引相关更细节的东西可以看下这篇 HBase篇(4)-你不知道的HFile
另外可以提一下,因为HBase是多版本共存的,所以结果可能是会有多个的,因此检索的过程不是找到一个就返回了,而是要找到所有的,然后将结果合并。
HBase的各个角色之间是怎么协调工作的?
先说说Hbase主要包含的角色: HMaster/HRegionServer/Zookeeper
1. HRegionServer
负责实际数据的读写. 当访问数据时, 客户端最终会直接与 RegionServer 通信。HBase的表根据Row Key的区域分成多个Region, 一个Region包含这这个区域内所有数据. 而Region server负责管理多个Region, 负责在这个Region server上的所有region的读写操作.
2. HMaster
负责管理Region的位置, DDL(新增和删除表结构);
协调 RegionServer,在集群处于数据恢复或者动态调整负载时,分配Region到某一个 RegionServer 中;
管控集群,监控所有 Region Server 的状态;
提供DDL相关的API, 新建(create),删除(delete)和更新(update)表结构;
3. Zookeeper
负责维护和记录整个Hbase集群的状态。
zookeeper探测和记录Hbase集群中服务器的状态信息.如果zookeeper发现服务器宕机,它会通知Hbase的master节点。master 节点宕机,则会通知 backup 变成 master。
说说 HBase 的 LSM Tree?
LSM Tree即是日志结构合并树。
先说日志结构:
日志的特点是它是顺序追加写的,可以保证非常好的写操作性能,但是从日志文件中读一些数据将会比写操作需要更多的时间,需要倒序扫描,直接找到所需的内容。
LSM tree是通过把随机写的数据写到内存,然后定期flush到磁盘,对于磁盘来说,让所有的操作顺序化,而不是随机读写。
再说说合并树:
LSM Tree的原理是把一棵大树拆分成N棵小树,它首先写入内存中即是小树,随着小树越来越大,会flush到磁盘中,磁盘中的树定期可以做merge操作,合并成一棵大树,以优化读性能。
感谢各位的阅读,以上就是“HBase是怎么做到毫秒级查询的”的内容了,经过本文的学习后,相信大家对HBase是怎么做到毫秒级查询的这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!