用redis的bitmap方式统计上亿访问量的周活跃用户

提出问题

网站每天有1亿的访问量，产品提出要统计每个uid的周活跃,目前是日志分析解决的，每天有20G的日志，公司有dip平台会用日志去计算，每次要计算两小时才能处理完。

分析问题

考虑了一下是否可以用redis的bitmap的方式来做一个统计周活跃的功能

先简单说下bitmap的原理：
假设有3个同学：

小明 1	小明 2	小明 3
男	女	女

如果有三间房，0是男，女是1，

房1	房2	房2
0	1	1

如果要统计现在班上有几位女生，就可以看到两个1就是两位女生

在计算机里，一个字节里有8个二进制位，即1byte=8bit
假设有7个数字，我们可以按照编号放进一段连续内存里，对应位置中存在就显示1，其它默认都显示0
比如 3，5，1，7，11，15，4，1
那对应的位置为：

byte0  0 1 0 1 0 1 0 1
byte1  0 0 0 1 0 0 0 1

很明显我们已经方便的对这些数字做了排序了，甚至还做了排重
如果我们要找7是否存在这个数组中，

只需要7/8 对应到第一个字节byte0中
7%8对应到第7位上，如果是1就存在，0就不存在。

如果两亿的数字做排序排重，我们大概要占用好几G的空间，如果用bitmap方式，最少只需要200000000/8/1024/1024 = 24M的空间就够了

接下来我们看看bitmap在redis上的应用：

假设这是我们uid的登录情况
0代表未登录，1代表登录

Monday
8987129 0
8298191 1
8892198 1

Tuesday
8987129 0
8298191 0
8892198 1

Wednesday
8987129 0
8298191 1
8892198 1

Thursday
8987129 0
8298191 0
8892198 0

Friday
8987129 0
8298191 1
8892198 1

Saturday
8987129 0
8298191 1
8892198 0

Sunday
8987129 1
8298191 1
8892198 0

用setbit方法，将这些数据录入到redis中：

setbit key offset value
设置offset对应二进制上的值，返回该位上的旧值

注意：如果offset过大，则会在中间填充0
　　　offset最大到2^32-1，即可推出最大的字符串为512M

127.0.0.1:6379> setbit Monday 8987129 0
(integer) 0
127.0.0.1:6379> setbit Monday 8298191 1
(integer) 0
127.0.0.1:6379> setbit Monday 8892198 1
(integer) 0
127.0.0.1:6379> setbit Tuesday 8987129 0
(integer) 0
127.0.0.1:6379> setbit Tuesday 8298191 0
(integer) 0
127.0.0.1:6379> setbit Tuesday 8892198 1
(integer) 0
127.0.0.1:6379> setbit Wednesday 8987129 0
(integer) 0
127.0.0.1:6379> setbit Wednesday 8298191 1
(integer) 0
127.0.0.1:6379> setbit Wednesday 8892198 1
(integer) 0
127.0.0.1:6379> setbit Thursday 8987129 0
(integer) 0
127.0.0.1:6379> setbit Thursday 8298191 0
(integer) 0
127.0.0.1:6379> setbit Thursday 8892198 0
(integer) 0
127.0.0.1:6379> setbit Friday 8987129 0
(integer) 0
127.0.0.1:6379> setbit Friday 8298191 1
(integer) 0
127.0.0.1:6379> setbit Friday 8892198 1
(integer) 0
127.0.0.1:6379> setbit Saturday 8987129 0
(integer) 0
127.0.0.1:6379> setbit Saturday 8298191 1
(integer) 0
127.0.0.1:6379> setbit Saturday 8892198 0
(integer) 0
127.0.0.1:6379> setbit Sunday 8987129 0
(integer) 0
127.0.0.1:6379> setbit Sunday 8298191 1
(integer) 0
127.0.0.1:6379> setbit Sunday 8892198 0
(integer) 0

接下来要计算7天内有登录行为的用户，只需要将周一到周五的值做位或运算就可以了

补充下位与运算符：

按位与运算符（&）
参加运算的两个数据，按二进制位进行“与”运算。
运算规则：0&0=0;  0&1=0;   1&0=0;    1&1=1;
    即：两位同时为“1”，结果才为“1”，否则为0
      
按位或运算符（|）
参加运算的两个对象，按二进制位进行“或”运算。
运算规则：0|0=0；  0|1=1；  1|0=1；   1|1=1；
    即 ：参加运算的两个对象只要有一个为1，其值为1。
     
异或运算符（^）
参加运算的两个数据，按二进制位进行“异或”运算。
运算规则：0^0=0；  0^1=1；  1^0=1；   1^1=0；
即：参加运算的两个对象，如果两个相应位为“异”（值不同），则该位结果为1，否则为0。

最后计算7天内登录过的活跃用户：

    127.0.0.1:6379> bitop OR result Monday Tuesday Wednesday Thursday Friday Saturday Sunday

bitop operation rs key1 [key2..]    
对key1 key2做opecation并将结果保存在rs上
opecation可以是AND（与） OR（或） NOT（非） XOR（异或）

8298191 1|0|1|0|1|1|1 = 1
8892198 1|1|1|0|1|0|0 = 1
8987129 0|0|0|0|0|0|0 = 0

这里计算的结果假设3个uid都是连续的话就是 110，其实真实的存储位置是
...1.....1....0......
也就是本周有两个活跃用户登录过。

就这样，一个上亿访问量的日志统计，在redis的bitmap方式轻松解决。