13《Python 原生爬虫教程》Redis的简单使用和配置

上一个小节我们简单学习了一下 MongoDB 数据库，这节课我们来学习下另外一个在爬虫开发中经常会用到的数据库，这就是我们大名鼎鼎的键值对数据库–Redis。

Redis 以它超快的读写速度受到爬虫开发程序员的青睐，在正式的爬虫开发中我们经常使用 Redis，比如我们的分布式爬虫通常会基于 Redis 进行设计。这个小节我们会介绍：

• Redis的基本概念；
• Redis的安装；
• Redis的连接；
• Redis的基本使用。

通过本节课的学习你会掌握：

• Redis基本概念；
• 可以动手安装配置Redis；
• 能够操作创建数据库，并且进行简单的增删改查功能。

1. Redis 数据库简介

Redis是高效，快捷的 key-value 型的数据库，一般会被用作缓存或者消息队列。Redis 有多种数据结构，可以应用与不同的场景。

队列：

• 普通队列：使用列表数据结构
• 延时队列： 使用哈希表来实现
• 优先级队列： 使用有序集合来实现

缓存：

• 使用字符串和哈希表来实现高速缓存。

去重：

• 使用集合的数据结构进行去重；
• 利用字符串数据结构，使用步隆过滤器，实现大规模的去重；
• 使用HyperLogLog数据结构，进行去重。

Redis安装：

首先需要安装并启动Redis的服务器，具体的不同系统的安装步骤，可参考慕课网关于 Redis 的学习资料进行操作，这里就不再赘述。

启动 Redis 服务器需要运行命令：

redis-server

服务启动成功后，会显示 Ready to accept connections。
效果展示：

5e8dbc6709ac87fe05700452.jpg

测试一下客户端能否使用

redis-cli ping

成功后，如下所示：

5e8dbc6f09ac258d05700452.jpg

2. Redis基本使用：

首先需要安装并启动 Redis 的服务器，具体的不同系统的安装步骤，可参考慕课网关于Redis的学习资料进行操作，这里就不再赘述。

2.1 字符串的增删改查

我们字符串进行增删改查，效果如下：

5e8dbc750976ba0905700452.png

2-2 List的增删改查

我们对List进行增删改查，效果如下：

5e8dbc7f0923dcbb05700452.png

2-3 Hash的增删改查

我们对Hash进行增删改查，效果如下：

5e8dbc8609b4cd4e05700452.png

3. 使用 python 操作 Redis

启动 Redis 服务器后,我们还需要安装 python 的 Redis 第三方包才能通过 python 来操作 Redis 数据库。Python 用来操作 Redis 数据库的第三包就叫做 redis，我们直接通过 pip 来安装：

pip install Redis

成功安装了 python 的 redis 包之后，效果展示：

5e8dbc8e099ee5ef05700452.jpg

接下来，连接数据库：

>>> import redis
>>> r = redis.Redis()

然后就可以直接进行操作

3.1 字符串的增删改查:

通过python，对字符串进行增删改查

• set 设置字符串
• delete 删除字符串

例子如下：

5e8dbc9f0958533205700452.jpg

3.2 Hash类型的增删改查

通过 python, 对 Hash 进行增删改查

• hset增加数据
• hdel更改数据
• lgetall查询数据

例子如下：

5e8dbcac090ed4e105700452.jpg

3.3 List类型的增删改查

通过python，对 List 进行增删改查

• lpush增加数据
• lset更改数据
• lrem删除数据

例子如下：

5e8dbcbb09587e5b05700452.jpg

4. 小结

Redis是一个基于内存的key-value数据库，支持的数据类型有string, lists, hash, sets等，我们这里讲述了字符串，列表和哈希的增删改查。