Redis原理篇（四）内存回收

Redis之所以性能强最主要原因是基于内存存储。但是单节点的Redis其内存大小不宜过大会影响持久化或主从同步性能。

可以通过配置文件来设置最大内存

# maxmemory <bytes>
maxmemory  1gb

一、过期策略

可以通过expire命令给Redis的key设置TTL

思考
1、Redis是如何知道一个key是否过期
答利用两个Dict分别记录key-value对及key-ttl对。从key-value中获取到key再到key-ttl对中查询。

2、是不是TTL到期就立即删除了
答惰性删除和周期删除

1、DB结构

Redis本身是一个典型的key-value内存存储数据库因此所有的key、value都保存在Dict结构中。有两个Dict一个记录key-value另一个记录key-TTL

2、惰性删除

1定义

不是在TTL到期后就立刻删除而是在访问一个key的时候检查该key的存活时间如果已经过期才执行删除。

// 查找一个key执行写操作
robj *lookupKeywritewithFlags(redisDb *db, robj *key, int flags) {
	// 检查key是否过期
	expireIfNeeded(db , key);
	return lookupkey(db , key, flags);
// 查找一个key执行读操作
robj *lookupKeyReadwithFlags(redisDb *db, robj *key int flags) {
	robi *val;
	// 检查key是否过期
	if (expireIfNeeded(db,key) == 1) {
		// ...略
	}
	return lookupKey(db ,key,flags);
}

int expireIfNeeded(redisDb *db, robj *key) {
    // 判断是否过期如果未过期直接结束并返回0
	if (!keyIsExpired(db,key)) {
		return 0;
	} 
	// 删除过期key
	deleteExpiredKeyAndPropagate(db , key);
	return 1;
}

3、周期删除

1定义

通过一个定时任务周期性的抽样部分过期的key然后执行删除。执行周期有两种

• Redis会设置一个定时任务serverCron()按照server.hz的频率来执行过期key清理模式为SLOW
• Redis的每个事件循环前会调用beforesleep0)函数执行过期key清理模式为FAST

SLOW源码

//server .c
void initServer(void){
	// 创建定时器关联回调函数serverCron处理周期取决于server,hz默认10
	aeCreateTimeEvent(server.el1serverCronNULLNULL)
}

//server.c
int serverCron(struct aeEventLoop *eventLoop, long long id, void *clientData){
	// 更新Lruclock到当前时间为后期的LRU和LFU做准备
	unsigned int lruclock = getLRUClock();
	atomicSet(server.lruclock,lruclock);
	// 执行database的数据清理例如过期key处理
	databasesCron();
	return 1000/server.hz:
}

void databasesCron(void) {
	// 尝试清理部分过期key清理模默认为SLOW
	activeExpireCycle(ACTIVE_EXPIRE_CYCLE_SLOW);
}

FAST源码

void beforeSleep(struct aeEventLoop*eventLoop){
	// 尝试清理部分过期key清理模式默认为FAST
	activeExpireCycle(ACTIVE_EXPIRE_CYCLE_FAST);
}

void aeMain(aeEventLoop *eventLoop) {
	eventLoop->stop = 0;
	while (!eventLoop->stop) {
		// beforesleep() --> Fast模式清理
		// n = aeApiPoll()
		//如果n > 0FD就绪处理IO事件
		//如果到了执行时间则调用serverCron() --> SLOW模式清理

2模式规则

SLOw模式规则:

1. 执行频率受server.hz影响默认为10即每秒执行10次每个执行周期100ms。
2. 执行清理耗时不超过一次执行周期的25%.
3. 逐个遍历db逐个遍历db中的bucket抽取20个key判断是否过期
4. 如果没达到时间上限(25ms)并且过期key比例大于10%再进行一次抽样否则结束

FAST模式规则(过期key比例小于10%不执行):

1. 执行频率受beforeSleep()调用频率影响但两次FAST模式间隔不低于2ms
2. 执行清理耗时不超过1ms
3. 逐个遍历db逐个遍历db中的bucket抽取20个key判断是否过期
4. 如果没达到时间上限(1ms)并且过期key比例大于10%再进行一次抽样否则结束

4、总结

1、RedisKey的TTL记录方式
在RedisDB中通过一个Dict记录每个Key的TTL时间
2、过期key的删除策略:

1. 惰性删除:每次查找key时判断是否过期如果过期则删除
2. 周期删除:定期抽样部分key判断是否过期如果过期则删除。

3、周期删除的两种模式

1. SLOW模式执行频率默认为10每次不超过25ms
2. FAST模式执行频率不固定但两次间隔不低于2ms每次耗时不超过1ms

二、内存淘汰策略

1、定义

内存淘汰就是当Redis内存使用达到设置的阈值时Redis主动挑选部分key删除以释放更多内存的流程。

1什么时候检查内存超出阈值

答任何Redis客户端命令执行时都去检查内存尝试做内存淘汰。

2如何挑选key

Redis支持8种不同策略来选择要删除的key

策略	说明
noeviction	不淘汰任何key但是内存满时不允许写入新数据默认就是这种策略。
volatile-ttl	对设置了TTL的key比较key的剩余TTL值TTL越小越先被淘汰。
allkeys-random	对全体key随机进行淘汰。也就是直接从db->dict中随机挑选。
volatile-random	对设置了TTL的key 随机进行淘汰。也就是从db->expires中随机挑选。
allkeys-lru	对全体key基于LRU算法进行淘汰。
volatile-lru	对设置了TTL的key基于LRU算法进行淘汰。
allkeys-lfu	对全体key基于LFU算法进行淘汰。
volatile-lfu	对设置了TTL的key基于LFI算法进行淘汰。

比较容易混淆的有两个:

• LRU(Least Recently Used)最少最近使用。用当前时间减去最后一次访问时间这个值越大则淘汰优先级越高。
• LFU (Least Frequently Used)最少频率使用。会统计每个key的访问频率值越小淘汰优先级越高。

备注
LFU的访问次数之所以叫做逻辑访问次数是因为并不是每次key被访问都计数而是通过运算:
1、生成0~1之间的随机数R
2、计算1/(旧次数*lfu_log_factor+ 1)记录为Plfu_log_factor默认为10
3、如果R<P则计数器+1且最大不超过255
4、访问次数会随时间衰减距离上一次访问时间每隔lfu_decay_time 分钟(默认1)计数器-1

修改策略

# conf配置文件
maxmemory-policy noeviction

2、淘汰策略流程