Hbase集群监控

Hbase Jmx监控

监控每个regionServer的总请求数,readRequestsCount,writeRequestCount,region分裂,region合并,Store

数据来源:

1
/jmx?qry=Hadoop:service=HBase,name=RegionServer,sub=Server

设计:

  • 1.定时调度Hbase Jmx去捞取数据,数据存放在Mysql,最新的一条数据存放到redis缓存中查(设置过期时间5分钟)并插入数据库中(定时每五分钟调度一次)
  • 2.每次获取Jmx数据后,从redis中获取5分钟前的数据,进行计算获取5分钟内的数据并保存到数据库中

查看详细图片:



Hbase对每张表的读写监控

数据来源:

通过Hbase Java Api

  • 连接HBASEorg.apache.hadoop.hbase.client.Connection connection
  • 然后获取org.apache.hadoop.hbase.client.Admin admin = connection.getAdmin();
  • 得到HBASE中的regionServer集合,
  • 获取每个regionServer中RegionsLoad();
  • 遍历RegionLoad获取每张表的Table Region

查看详细图片:



jmx常用监控指标

监控指标 范围 指标含义
OpenFileDescriptorCount Regionserver本机 当前机器打开文件数
FreePhysicalMemorySize Regionserver本机 空虚物理内存大小
AvailableProcessors Regionserver本机 可用cpu个数
Region前缀–storeCount 单个region Store个数
Region前缀–storeFileCount 单个region Storefile个数
Region前缀–memStoreSize 单个region Memstore大小
Region前缀–storeFileSize 单个region Storefile大小
Region前缀–compactionsCompletedCount 单个region 合并完成次数
Region前缀–numBytesCompactedCount 单个region 合并文件总大小
Region前缀– numFilesCompactedCount 单个region 合并完成文件个数
totalRequestCount Regionserver 总请求数
readRequestCount Regionserver 读请求数
writeRequestCount Regionserver 写请求数
compactedCellsCount Regionserver 合并cell个数
majorCompactedCellsCount Regionserver 大合并cell个数
flushedCellsSize Regionserver flush到磁盘的大小
blockedRequestCount Regionserver 因memstore大于阈值而引发flush的次数
splitRequestCount Regionserver region分裂请求次数
splitSuccessCounnt Regionserver region分裂成功次数
slowGetCount Regionserver 请求完成时间超过1000ms的次数
numOpenConnections Regionserver 该regionserver打开的连接数
numActiveHandler Regionserver rpc handler数
receivedBytes Regionserver 收到数据量
sentBytes Regionserver 发出数据量
HeapMemoryUsage —>>>used Regionserver 堆内存使用量
SyncTime_mean Regionserver WAL写hdfs的平均时间
regionCount Regionserver Regionserver管理region数量
memStoreSize Regionserver Regionserver管理的总memstoresize
storeFileSize Regionserver 该Regionserver管理的storefile大小
staticIndexSize Regionserver 该regionserver所管理的表索引大小
storeFileCount Regionserver 该regionserver所管理的storefile个数
hlogFileSize Regionserver WAL文件大小
hlogFileCount Regionserver WAL文件个数
storeCount Regionserver 该regionserver所管理的store个数
Name: java.lang:type=MemoryPool,name=Par Eden Space CollectionUsage—>>used Regionserver Eden区使用空间大小
Name: java.lang:type=MemoryPool,name=CMS Old Gen Regionserver 老年代内存大小
Name: java.lang:type=MemoryPool,name=Par Survivor Space CollectionUsageà> used Regionserver Survivor内存大小
GcTimeMillis Regionserver GC总时间
GcTimeMillisParNew Regionserver ParNew GC时间
GcCount Regionserver GC总次数
GcCountConcurrentMarkSweep Regionserver ConcurrentMarkSweep总次数
GcTimeMillisConcurrentMarkSweep Regionserver ConcurrentMarkSweep GC时间
ThreadsBlocked Regionserver Block线程数
ThreadsWaiting Regionserver 等待线程数