Redis实现排行榜实时更新

February 12, 2019

9274 views

4078 words

基本介绍
Redis 有序集合和集合一样也是 string 类型元素的集合，且不允许重复的成员。
不同的是每个元素都会关联一个 double 类型的分数。redis 正是通过分数来为集合中的成员进行从小到大的排序。
有序集合的成员是唯一的，但分数 (score) 却可以重复。
集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是 O (1)。集合中最大的成员数为 2^32 - 1^ (4294967295, 每个集合可存储 40 多亿个成员)。
有序集合首先是集合，其成员（member）具有唯一性，其次，每个成员关联了一个分数（score），使得成员可以按照分数排序。

需求描述
设想在一个游戏中，有上百万的玩家数据，如果现在需要你根据玩家的经验值整理一个前 10 名的排行榜，你会怎么做呢？一般的做法是写一条类似下面这条 sql 语句的方式来获取：

select * from game_socre order by score desc limit 0,10

这种方式在数据量较小的情况下可行，但是在数据量大的情况下查询速度将变慢，特别是还需要联表查询时，速度下降的就更明显了。

实现
这时你可以考虑使用 redis 来实现这个功能。
实现这个功能主要用到的 redis 数据类型是 redis 的有序集合 zset。zset 是 set 类型的一个扩展，比原有的类型多了一个顺序属性。此属性在每次插入数据时会自动调整顺序值，保证 value 值按照一定顺序连续排列。
主要的实现思路是：
1、在一个新的玩家参与到游戏中时，在 redis 中的 zset 中新增一条记录（记录内容看具体的需求）score 为 0
2、当玩家的经验值发生变化时，修改该玩家的 score 值
3、使用 redis 的 ZREVRANGE 方法获取排行榜
返回有序集 key 中，指定区间内的成员。其中成员的位置按 score 值递减 (从大到小) 来排列。具有相同 score 值的成员按字典序的反序排列。除了成员按 score 值递减的次序排列这一点外，ZREVRANGE 命令的其他方面和 ZRANGE 命令一样。

redis 127.0.0.1:6379> ZADD KEY_NAME SCORE1 VALUE1.. SCOREN VALUEN

1、数据准备

redis 127.0.0.1:6379> ZAdd game_list 10 a
(integer) 1
redis 127.0.0.1:6379> ZAdd game_list 4 b
(integer) 1
redis 127.0.0.1:6379> ZAdd game_list 33 c
(integer) 1
redis 127.0.0.1:6379> ZAdd game_list 21 d
(integer) 1
redis 127.0.0.1:6379> ZAdd game_list 1 e
(integer) 1
redis 127.0.0.1:6379> ZAdd game_list 5 f
(integer) 1
redis 127.0.0.1:6379> ZAdd game_list 98 j
(integer) 1
redis 127.0.0.1:6379> ZAdd game_list 66 k
(integer) 1
redis 127.0.0.1:6379> ZAdd game_list 37 m
(integer) 1
redis 127.0.0.1:6379> ZAdd game_list 12 n
(integer) 1
redis 127.0.0.1:6379> ZAdd game_list 34 q
(integer) 1
redis 127.0.0.1:6379> ZREVRANGE game_list 1 10
 1) "k"
 2) "m"
 3) "q"
 4) "c"
 5) "d"
 6) "n"
 7) "a"
 8) "f"
 9) "b"
10) "e"

2、获取 score 高分 top10 排名 (ZREVRANGE 为降序，ZRANGE 为升序)

redis 127.0.0.1:6379> ZREVRANGE game_list 1 10
 1) "k"
 2) "m"
 3) "q"
 4) "c"
 5) "d"
 6) "n"
 7) "a"
 8) "f"
 9) "b"
10) "e"

3、查看用户 ee 的实际排名 (ZREVRANK 为降序，ZRANK 为升序)、实时分数

redis 127.0.0.1:6379> ZSCORE game_list e
"1"
redis 127.0.0.1:6379> ZRANK game_list e
(integer) 0
redis 127.0.0.1:6379> ZREVRANK game_list e
(integer) 10

进一步需求
需要实现最近的 24 小时用户积分排行榜，并统计前 10 名的玩家和积分
实现
主要的实现思路是：
利用 ZADD 按小时划分添加用户的积分信息，然后用 ZUNIONSTORE 并集实现 24 小时的游戏积分总和，实现 “24 小时排行榜”；（如果有更好的思路，能够在下方留言不吝赐教一下就更好了）

ZUNIONSTORE destination numkeys key [key ...]

Redis Zunionstore 命令计算给定的一个或多个有序集的并集，其中给定 key 的数量必须以 numkeys 参数指定，并将该并集(结果集)储存到 destination 。
默认情况下，结果集中某个成员的分数值是所有给定集下该成员分数值之和。

redis 127.0.0.1:6379> ZADD game_list_1 10 a
(integer) 1
redis 127.0.0.1:6379> ZADD game_list_1 29 b
(integer) 1
redis 127.0.0.1:6379> ZADD game_list_1 2  c
(integer) 1
redis 127.0.0.1:6379> ZADD game_list_2 2  a
(integer) 1
redis 127.0.0.1:6379> ZADD game_list_2 4 b
(integer) 1
redis 127.0.0.1:6379> ZADD game_list_2 7 c
(integer) 1
redis 127.0.0.1:6379> ZUNIONSTORE game  2  game_list_1 game_list_2
(integer) 3
redis 127.0.0.1:6379> ZRANGE  game  0 -1 WITHSCORES
1) "c"
2) "9"
3) "a"
4) "12"
5) "b"
6) "33"

可能碰到的问题
1、相同分数问题
Redis 在遇到分数相同时是按照集合成员自身的字典顺序来排序，这里即是按照”user2″和”user3″这两个字符串进行排序，以逆序排序的话 user3 自然排到了前面。要解决这个问题，我们可以考虑在分数中加入时间戳，计算公式为：

带时间戳的分数 = 实际分数*10000000000 + (9999999999 – timestamp)

timestamp 我们采用系统提供的 time () 函数，也就是 1970 年 1 月 1 日以来的秒数，我们采用 32 位的时间戳（这能坚持到 2038 年），由于 32 位时间戳是 10 位十进制整数（最大值 4294967295）;
所以我们让时间戳占据低 10 位（十进制整数），实际分数则扩大 10^10 倍，然后把两部分相加的结果作为 zset 的分数。考虑到要按时间倒序排列，所以时间戳这部分需要颠倒一下，这便是用 9999999999 减去时间戳的原因。
当我们要读取玩家实际分数时，只需去掉后 10 位即可。
初步看起来这个方案还不错，但这里面有两个问题。
第一个问题是小问题，采用秒为时间戳可能区分度还不够，如果同一秒出现两个分数相同的仍然会出现前面的问题，当然我们可以选择精度更高的时间戳，但在实际场景中，同一秒谁排前面已经无关紧要。
第二个问题是大问题，因为 Redis 的分数类型采用的是 double，64 位双精度浮点数只有 52 位有效数字，它能精确表达的整数范围为 - 2^53 到 2^53，最高只能表示 16 位十进制整数（最大值为 9007199254740992，其实连 16 位也不能完整表示）。
这就是说，如果前面时间戳占了 10 位的话，分数就只剩下 6 位了，这对于某些排行榜分数来说是不够用的。我们可以考虑缩减时间戳位数，比如从 2015 年 1 月 1 日开始计时，但这仍然增加不了几位。
或者减少区分度，以分钟、小时来作为时间戳单位。
如果 Redis 的分数类型为 int64，我们就没有上面的烦恼。
说到这里，其实 Redis 真应该再额外提供一个 int64 类型的 ZSet，但目前只能是幻想，除非自己改其源码。

Redis实现排行榜实时更新