hbase 出现压缩队列和刷新队列过大的告警解决_hbase压缩队列告警-程序员宅基地

转载来自：https://blog.csdn.net/su20145104009/article/details/81457691

##问题
目前hbase 总是出现压缩队列和刷新队列过大的告警，导致数据的读写变慢。
首先说明一下目前集群的状况

regionServer数量：20
region 数量：6503
regionServer配置：-Xms10g -Xmx10g -Xmn3g

##原因
找到一些可能的原因。

region 数量过多
regionServer 堆大小为10G，有些小
regionServer 太少
###根据hbase官网配置（http://hbase.apache.org/book.html#ops.capacity.regions.count）

regionServer数量的计算公式为：

在我们公司中

Xmx=10*1024=10240M

hbase.regionserver.global.memstore.upperLimit=0.4

hbase.hregion.memstore.flush.size=128M

column families = 1

经过计算得到单个regionServer最适合管理的region数量为：regionNum = 32个。可以适当超出2～3倍。

而在实际中，我们的单个regionServer已经达到了300多个，是官方推荐的近10倍。

##解决方案

###调整堆大小（http://hbase.apache.org/book.html#ops.capacity.nodes.gc）
根据官方推荐（20-24），可以适当调整regionserver的堆大小,受限与gc与zk的关系，我们可以设置为20G.

###调整memstore百分比
根据官方推荐，在写工作量较大的regionServer，可以适当调大memstore的百分比，降低block cache的百分比。可以支持更多的region。

hbase.regionserver.global.memstore.upperLimit 调整为0.6

hfile.block.cache.size:调整为0 (关闭读缓存，在cloudera manager上看，hbase的读除了（H+1任务）几乎为0.所以我们几乎不需要缓存，不使用缓存对于葱白的链路监控，影响不大)

###增加阻塞倍率
属性hbase.hregion.memstore.block.multiplier的默认值为2,它是用来阻塞来自客户端更新数据请求的安全阈值，当memstore达到multiplier*flush的大小限制，会阻止进一步的更新。

当有足够的存储空间，我们增加这个值来平滑地处理写入突发流量。

对于我们公司，这个值还是默认。原因是：region数量太多，堆空间不足。

###减少最大日志文件限制

设置hbase.regionserver.maxlogs属性来控制刷写频率，默认32，

对于写压力较大的应用，这个值过大。降低这个值会强迫服务器更频繁地将数据刷写到磁盘上，这样已经刷写到磁盘上的数据所对应的日志就删除了。

尽管我们的应用没有使用wal，但是觉得还是应该设置一下。

增加hbase.hstore.blockingStoreFiles的个数
默认参数为10
当storefile的个数达到10个时，就会阻塞hbase的写入，强烈建议调大。比如3000.
##究极方案
#增加机器
由于增加机器，是无能的表现。。所以尽量先优化，在不能优化的情况下，再增加机器。

##结论
综上所述，我们需要增加的配置有

参数

-Xmx 20g -Xms20G
hbase.regionserver.global.memstore.upperLimit=0.6
hbase.regionserver.global.memstore.size=0.6
hfile.block.cache.size=0
hbase.regionserver.maxlogs=16
此时支持的region数量为：2010240.6/128=96 96*3=288 基本达到要求

本文链接：https://blog.csdn.net/qq_35440040/article/details/84859590

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

FX3/CX3 JLINK 调试_ezusbsuite_qsg.pdf-程序员宅基地

文章浏览阅读2.1k次。FX3 JLINK调试是一个有些麻烦的事情，经常有些莫名其妙的问题。设置参见 c:\Program Files (x86)\Cypress\EZ-USB FX3 SDK\1.3\doc\firmware 下的 EzUsbSuite_UG.pdf 文档。常见问题： 1.装了多个版本的jlink，使用了未注册或不适当的版本选择一个正确的版本。JLinkARM_V408l，JLinkA_ezusbsuite_qsg.pdf

用openGL+QT简单实现二进制stl文件读取显示并通过鼠标旋转缩放_qopengl如何鼠标控制旋转-程序员宅基地

文章浏览阅读2.6k次。** 本文仅通过用openGL+QT简单实现二进制stl文件读取显示并通过鼠标旋转缩放，是比较入门的级别，由于个人能力有限，新手级别，所以未能施加光影灯光等操作，未能让显示的stl文件更加真实。****效果图：**1. main.cpp```cpp#include "widget.h"#include <QApplication>int main(int argc, char *argv[]){ QApplication a(argc, argv); _qopengl如何鼠标控制旋转

刘焕勇&王昊奋｜ChatGPT对知识图谱的影响讨论实录-程序员宅基地

文章浏览阅读943次，点赞22次，收藏19次。以大规模预训练语言模型为基础的chatgpt成功出圈，在近几日已经给人工智能板块带来了多次涨停，这足够说明这一风口的到来。而作为曾经的风口“知识图谱”而言，如何找到其与chatgpt之间的区别，找好自身的定位显得尤为重要。形式化知识和参数化知识在表现形式上一直都是大家考虑的问题，两种技术都应该有自己的定位与价值所在。知识图谱构建往往是抽取式的，而且往往包含一系列知识冲突检测、消解过程，整个过程都能溯源。以这样的知识作为输入，能在相当程度上解决当前ChatGPT的事实谬误问题，并具有可解释性。

如何实现tomcat的热部署_tomcat热部署-程序员宅基地

文章浏览阅读1.3k次。最重要的一点，一定是degbug的方式启动，不然热部署不会生效，注意，注意！_tomcat热部署

用HTML5做一个个人网站，此文仅展示个人主页界面。内附源代码下载地址_个人主页源码-程序员宅基地

文章浏览阅读10w+次，点赞56次，收藏482次。html5 ，用css去修饰自己的个人主页代码如下：<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xh..._个人主页源码

程序员公开上班摸鱼神器！有了它，老板都不好意思打扰你！-程序员宅基地

文章浏览阅读201次。开发者（KaiFaX）面向全栈工程师的开发者专注于前端、Java/Python/Go/PHP的技术社区来源：开源最前线链接：https://github.com/svenstaro/gen..._程序员怎么上班摸鱼

随便推点

UG\NX二次开发改变Block UI界面的尺寸_ug二次开发调整对话框大小-程序员宅基地

文章浏览阅读1.3k次。改变Block UI界面的尺寸_ug二次开发调整对话框大小

基于深度学习的股票预测（完整版，有代码）_基于深度学习的股票操纵识别研究python代码-程序员宅基地

文章浏览阅读1.3w次，点赞18次，收藏291次。基于深度学习的股票预测数据获取数据转换LSTM模型搭建训练模型预测结果数据获取采用tushare的数据接口（不知道tushare的筒子们自行百度一下，简而言之其免费提供各类金融数据 , 助力智能投资与创新型投资。）python可以直接使用pip安装tushare!pip install tushareCollecting tushare Downloading https://files.pythonhosted.org/packages/17/76/dc6784a1c07ec040e74_基于深度学习的股票操纵识别研究python代码