基于Redis内核的热key统计实现方案|得物技术

目录

一、Redis热key介绍

二、Redis热key常见探测方法

  1. Redis-cli的hotkeys参数
  2. monitor命令统计
  3. Redis节点抓包分析
  4. Client/Proxy端收集

    三、基于Redis内核的热key统计

  5. 实现原理简介
  6. 实现流程图
  7. 热key统计
  8. 热key通知
  9. 热key记录查询与重置命令

    四、总结

Redis热key介绍

Redis热key问题是指单位时间内,某个特定key的访问量特别高,占用大量的CPU资源,影响其他请求并导致整体性能降低。而且,如果访问热key的命令是时间复杂度较高的命令,会使得CPU消耗变得更加严重;或者,如果访问的热key同时也是一个大key,也可能使得访问流量达到节点所在机器带宽上限。

Redis热key常见探测方法

突发的热点新闻、爆款商品、或者促销活动都可能导致访问热key的出现,目前,Redis官方和业界也都有不少热key探测与发现方法。

先通过一个表格整体预览一下当前存在的热key探测方案优缺点

Redis-cli的hotkeys参数

Redis自4.0起在Redis-cli中提供了hotkeys参数来方便用户进行实例级的热key分析功能,Redis-cli通过向Redis-server节点发送scan + object freq命令以遍历的方式分析Redis实例中所有key,然后返回实例中热key信息。

该方式存在以下几个问题:

  1. 使用该方案的前提条件是需要将Redis-server的淘汰策略maxmemory-policy参数设置为LFU(volatile-lfu或allkeys-lfu)
  2. 实时性差。由于需要扫描整个keyspace,实时性较差,扫描时间与key数量正相关,如果key数量比较多,耗时可能会非常长。
  3. 信息不够丰富。首先记录的访问频率是一个与访问次数的对数成比例的相关近似值,不能够很直观的看出来热key的访问频率;另外,返回的信息中也没有key的类型和热key出现的时间等。

    monitor命令统计

Redis提供monitor命令可以实时抓取出Redis服务器接收到的命令,可以对抓取的数据结合一些现成的分析工具(比如Redis-faina)统计出抓取时间段内的访问热key。

该方式存在以下几个问题:

  1. 该命令在高并发的条件下,有内存增暴增的隐患,还会降低Redis的性能,只能紧急情况下短暂使用,不能长时间使用。
  2. 该方式只能统计开启monitor命令的期间访问热key情况,对于过去已经发生的访问热key无法获取,无法应对一些瞬时的突发热key等情况。

    Redis节点抓包分析

Redis客户端使用TCP协议与服务端进行交互,并且通信协议采用自定义的RESP协议,可以使用libpcap库对Redis-server监听端口抓包,然后按照RESP协议解析数据,并统计抓包期间内访问的热key。

该方式存在以下几个问题:

  1. 该方式实现相对比较复杂,有一定的开发成本。
  2. 同样只能统计开启抓包期间的访问热key情况,无法获取过去的热key。
  3. 开启期间对访问Redis-server性能有一定的损耗,而且ECS一般会部署多个Redis-server,全量开启会对系统负载有一定影响,因此无法长时间开启进行实时处理。

Client/Proxy端收集

可以对客户端工具进行封装,在发送请求前进行收集采集,同时定时把收集到的数据上报到统一的服务进行聚合计算。或者,如果业务通过Proxy访问缓存的话,可以在Proxy上进行收集,其他思路与Client端收集模式一致。

目前,比如,有赞自研分布式缓存系统zanKV、京东零售开源的热key探测框架(JD-hotkey)、得物热点探测框架(Burning)都是类似这种方案,在客户端进行收集,在聚合中心worker节点上进行热key统计,统计出来的热key可以推送到客户端进行本地缓存。

该方式存在以下几个问题:

  1. 在客户端收集的方案对客户端代码有一定的侵入,而且每种语言的SDK都需要进行开发,后期开发维护成本较高。
  2. 框架比较复杂,开发成本高。由于同一个key的访问可能同时出现在多个不同的客户端或者Proxy上,因此,在单个客户端或者Proxy上是无法统计热key的,因此,该方案需要一个聚合中心计算平台,收集不同Client/Proxy上访问的key,然后计算热key信息。

下图为京东开源的热key探测框架系统架构图:

基于Redis内核的热key统计

从上面的分析可以看到,目前存在的一些方案,要么无法高效快速的获取实时热key信息,要么架构比较复杂或者对业务有一定的侵入,得物自建Redis设计并研发基于Redis内核的热key统计方案,可以高效的统计并记录Redis实时热key信息,同时提供热key产生与热key失效的订阅通知。

实现原理简介

基于内核的Redis热key统计方案在Redis-server端实现,包含热key统计模块和热key通知模块两部分,另外提供热key日志记录查询与重置命令。

热key统计模块基于LRU队列实现统计key每秒内访问次数,当访问次数达到设置的热key阈值时,被判定为热key,热key加入热key队列用于提供实时查询。

基于内核的Redis热key统计方案提供热key订阅与主动通知功能,提供读热key、写热key、热key失效三个订阅通道channel,可用于Client/Proxy订阅热key消息,当key被判定为热key时,Redis-server主动向对应的消息通道广播热key消息。

实现原理图如下所示:

实现流程图

热key统计

为了能够高效进行热key统计,并且不消耗过多内存资源,在Redis中使用一个固定大小的LRU队列(大小可配置)来进行热key统计,记录数据结构采用了非常紧凑的格式设计,每个key的统计操作都是O(1)时间复杂度,保证高效统计的同时,统计工作消耗的内存资源不会随着Redis中存储的key数量增长而增长。

LRU队列中用于统计key访问记录的数据结构如下:

#define HOTKEY_NOTIFIED_BIT 1 
#define ACCESS_COUNT_BITS 16 
#define ACCESS_TIME_BITS 46 
typedef struct hotkeyRecord { 
    uint64_t notified:HOTKEY_NOTIFIED_BIT;      // 热key是否通知或记录日志 
    uint64_t same_period:HOTKEY_NOTIFIED_BIT;   // 每秒一个统计周期,同一个key每秒最多发送一次热key通知 
    uint64_t count:ACCESS_COUNT_BITS;           // 热key计数 
    uint64_t access_time:ACCESS_TIME_BITS;      // 热key计数记录起始时间,单位:毫秒 
} hotkeyRecord;

热key统计默认以每秒一个周期,统计每个key在每秒时间内的访问次数,当每秒访问次数达到一定的阈值(阈值大小可配置)时,认定为是热key;同时,同一个时间周期内(即同一秒内)同一个key只记录一次热key,连续多次的不同时间周期内,同一个key连续出现热key现象会多次记录,同时,记录热key出现的时间与访问次数。

热key统计区分读热key与写热key,方便业务进行缓存或者其他相关处理。

被判定为热key的记录,会加入热key队列记录日志,可供查询,管控平台通过查询热key日志队列可以展示Redis-server节点实时热key信息;热key日志记录包括热key出现的时间、访问次数、key类型、读操作还是写操作等信息。

热key日志队列记录数据结构如下所示:

#define HOTKEY_NOTIFIED_BIT 1 
#define ACCESS_COUNT_BITS 16 
#define LOG_TIME_BITS 46 
typedef struct hotkeyLogEntry { 
    uint64_t notified:HOTKEY_NOTIFIED_BIT; 
    uint64_t access_count:ACCESS_COUNT_BITS; // 热key计数 
    uint64_t access_time:LOG_TIME_BITS;   // 热key计数记录起始时间,单位:毫秒 
    unsigned type; 
    void *key; 
} hotkeyLogEntry;

热key通知

基于内核的Redis热key统计方案支持订阅模块与热key主动通知功能。

Redis-server提供读热key、写热key、热key失效三个订阅通道channel,可用于Client或者Proxy订阅热key相关消息;当出现读写热key时,Redis-server主动向对应的订阅通道广播热key消息;当一个热key出现写操作时,会向热key失效订阅通道广播key失效消息。

热key类型定义数据结构如下所示:

/* hotkey type */ 
#define READ_HOTKEY_NOTIFY 0 
#define READ_HOTKEY_INVALID 1 
#define WRITE_HOTKEY_NOTIFY 2

热key记录查询与重置命令

除了通过订阅通道主动通知外,Redis-server提供热key日志记录查询与重置命令,可供平台查询进行展示或者操作。

读命令热key查询与重置

可以查询指定长度的日志、或者从指定位置查询指定长度的日志:

// 查询读热 key 日志长度 
readHotkeyLog len 
// 重置清空读热 key 日志 
readHotkeyLog reset 
// 查询读热 key 日志 
readHotkeyLog get                   // 查询默认长度,从日志队列头部开始查询数据 
readHotkeyLog get [len]             // 查询指定长度,从日志队列头部开始查询数据 
readHotkeyLog get [index] [len]     // 从指定 index 开始查询指定长度

写命令热key查询与重置

可以查询指定长度的日志、或者从指定位置查询指定长度的日志:

// 查询写热 key 日志长度 
writeHotkeyLog len 
// 重置清空写热 key 日志 
writeHotkeyLog reset 
// 查询写热 key 日志 
writeHotkeyLog get                   // 查询默认长度,从日志队列头部开始查询数据 
writeHotkeyLog get [len]             // 查询指定长度,从日志队列头部开始查询数据 
writeHotkeyLog get [index] [len]     // 从指定 index 开始查询指定长度

总结

Redis热key是在Redis使用过程中一个比较常见的现象,同时,热key的实时探测与解决一直是业界的一个难点问题。得物自建Redis结合当前各种热key探测方案的优缺点,实现基于Redis内核的高性能实时热key统计方案。该方案具备如下优点:

  • 实时性强:可实时统计热key信息,统计粒度为每秒
  • 热key信息详细:热key信息包含热key出现的时间、访问次数、key类型、读操作或写操作等信息
  • 支持订阅与查询:支持读热key、写热key、热key失效三种类型通知,可查询热key日志记录
3