Python 编写知乎爬虫实践

2017-06-20  本文已影响775人  罗义的夏天

本文经作者授权发布。

文 | 程柳锋@Tencent

爬虫的基本流程

网络爬虫的基本工作流程如下：

爬虫的抓取策略

在爬虫系统中，待抓取 URL 队列是很重要的一部分。待抓取 URL 队列中的 URL 以什么样的顺序排列也是一个很重要的问题，因为这涉及到先抓取那个页面，后抓取哪个页面。而决定这些 URL 排列顺序的方法，叫做抓取策略。下面重点介绍几种常见的抓取策略：

了解了爬虫的工作流程和爬取策略后，就可以动手实现一个爬虫了！那么在 python 里怎么实现呢？

技术栈

基本实现

下面是一个伪代码

    

  1. 

    import Queue
    2. 

  2. 

    3. 

  3. 

    initial_page = "https://www.zhihu.com/people/gaoming623"
    4. 

  4. 

    5. 

  5. 

    url_queue = Queue.Queue()
    6. 

  6. 

    seen = set()
    7. 

  7. 

    8. 

  8. 

    seen.insert(initial_page)
    9. 

  9. 

    url_queue.put(initial_page)
    10. 

  10. 

    11. 

  11. 

    while(True): #一直进行
    12. 

  12. 

        if url_queue.size()>0:
    13. 

  13. 

            current_url = url_queue.get()              #拿出队例中第一个的 url
    14. 

  14. 

            store(current_url)                         #把这个 url 代表的网页存储好
    15. 

  15. 

            for next_url in extract_urls(current_url): #提取把这个 url 里链向的 url
    16. 

  16. 

                if next_url not in seen:      
    17. 

  17. 

                    seen.put(next_url)
    18. 

  18. 

                    url_queue.put(next_url)
    19. 

  19. 

        else:
    20. 

  20. 

            break
    21.

如果你直接加工一下上面的代码直接运行的话，你需要很长的时间才能爬下整个知乎用户的信息，毕竟知乎有 6000 万月活跃用户。更别说 Google 这样的搜索引擎需要爬下全网的内容了。那么问题出现在哪里？

布隆过滤器

需要爬的网页实在太多太多了，而上面的代码太慢太慢了。设想全网有 N 个网站，那么分析一下判重的复杂度就是 N*log(N)，因为所有网页要遍历一次，而每次判重用 set 的话需要 log(N) 的复杂度。OK，我知道 python 的 set 实现是 hash——不过这样还是太慢了，至少内存使用效率不高。

通常的判重做法是怎样呢？Bloom Filter. 简单讲它仍然是一种 hash 的方法，但是它的特点是，它可以使用固定的内存（不随 url 的数量而增长）以 O(1) 的效率判定 url 是否已经在 set 中。可惜天下没有白吃的午餐，它的唯一问题在于，如果这个 url 不在 set 中，BF 可以 100%确定这个 url 没有看过。但是如果这个 url 在 set 中，它会告诉你：这个 url 应该已经出现过，不过我有 2%的不确定性。注意这里的不确定性在你分配的内存足够大的时候，可以变得很小很少。

    

  1. 

    # bloom_filter.py
    2. 

  2. 

    3. 

  3. 

    BIT_SIZE = 5000000
    4. 

  4. 

    5. 

  5. 

    class BloomFilter:
    6. 

  6. 

    7. 

  7. 

        def __init__(self):
    8. 

  8. 

            # Initialize bloom filter, set size and all bits to 0
    9. 

  9. 

            bit_array = bitarray(BIT_SIZE)
    10. 

  10. 

            bit_array.setall(0)
    11. 

  11. 

    12. 

  12. 

            self.bit_array = bit_array
    13. 

  13. 

    14. 

  14. 

        def add(self, url):
    15. 

  15. 

            # Add a url, and set points in bitarray to 1 (Points count is equal to hash funcs count.)
    16. 

  16. 

            # Here use 7 hash functions.
    17. 

  17. 

            point_list = self.get_postions(url)
    18. 

  18. 

    19. 

  19. 

            for b in point_list:
    20. 

  20. 

                self.bit_array[b] = 1
    21. 

  21. 

    22. 

  22. 

        def contains(self, url):
    23. 

  23. 

            # Check if a url is in a collection
    24. 

  24. 

            point_list = self.get_postions(url)
    25. 

  25. 

    26. 

  26. 

            result = True
    27. 

  27. 

            for b in point_list:
    28. 

  28. 

                result = result and self.bit_array[b]
    29. 

  29. 

    30. 

  30. 

            return result
    31. 

  31. 

    32. 

  32. 

        def get_postions(self, url):
    33. 

  33. 

            # Get points positions in bit vector.
    34. 

  34. 

            point1 = mmh3.hash(url, 41) % BIT_SIZE
    35. 

  35. 

            point2 = mmh3.hash(url, 42) % BIT_SIZE
    36. 

  36. 

            point3 = mmh3.hash(url, 43) % BIT_SIZE
    37. 

  37. 

            point4 = mmh3.hash(url, 44) % BIT_SIZE
    38. 

  38. 

            point5 = mmh3.hash(url, 45) % BIT_SIZE
    39. 

  39. 

            point6 = mmh3.hash(url, 46) % BIT_SIZE
    40. 

  40. 

            point7 = mmh3.hash(url, 47) % BIT_SIZE
    41. 

  41. 

    42. 

  42. 

    43. 

  43. 

            return [point1, point2, point3, point4, point5, point6, point7]
    44.

BF 详细的原理参考我之前写的文章： 布隆过滤器(Bloom Filter) 的原理和实现

建表

用户有价值的信息包括用户名、简介、行业、院校、专业及在平台上活动的数据比如回答数、文章数、提问数、粉丝数等等。

用户信息存储的表结构如下：

    

  1. 

    CREATE DATABASE `zhihu_user` /*!40100 DEFAULT CHARACTER SET utf8 */;
    2. 

  2. 

    3. 

  3. 

    4. 

  4. 

    -- User base information table
    5. 

  5. 

    CREATE TABLE `t_user` (
    6. 

  6. 

      `uid` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
    7. 

  7. 

      `username` varchar(50) NOT NULL COMMENT '用户名',                      
    8. 

  8. 

      `brief_info` varchar(400)  COMMENT '个人简介',
    9. 

  9. 

      `industry` varchar(50) COMMENT '所处行业',             
    10. 

  10. 

      `education` varchar(50) COMMENT '毕业院校',             
    11. 

  11. 

      `major` varchar(50) COMMENT '主修专业',
    12. 

  12. 

      `answer_count` int(10) unsigned DEFAULT 0 COMMENT '回答数',
    13. 

  13. 

      `article_count` int(10) unsigned DEFAULT 0 COMMENT '文章数',
    14. 

  14. 

      `ask_question_count` int(10) unsigned DEFAULT 0 COMMENT '提问数',
    15. 

  15. 

      `collection_count` int(10) unsigned DEFAULT 0 COMMENT '收藏数',
    16. 

  16. 

      `follower_count` int(10) unsigned DEFAULT 0 COMMENT '被关注数',
    17. 

  17. 

      `followed_count` int(10) unsigned DEFAULT 0 COMMENT '关注数',
    18. 

  18. 

      `follow_live_count` int(10) unsigned DEFAULT 0 COMMENT '关注直播数',
    19. 

  19. 

      `follow_topic_count` int(10) unsigned DEFAULT 0 COMMENT '关注话题数',
    20. 

  20. 

      `follow_column_count` int(10) unsigned DEFAULT 0 COMMENT '关注专栏数',
    21. 

  21. 

      `follow_question_count` int(10) unsigned DEFAULT 0 COMMENT '关注问题数',
    22. 

  22. 

      `follow_collection_count` int(10) unsigned DEFAULT 0 COMMENT '关注收藏夹数',
    23. 

  23. 

      `gmt_create` datetime NOT NULL COMMENT '创建时间',   
    24. 

  24. 

      `gmt_modify` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '最后一次编辑',             
    25. 

  25. 

      PRIMARY KEY (`uid`)
    26. 

  26. 

    ) ENGINE=MyISAM AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 COMMENT='用户基本信息表';
    27.

网页下载后通过 XPath 进行解析，提取用户各个维度的数据，最后保存到数据库中。

反爬虫策略应对-Headers

一般网站会从几个维度来反爬虫：用户请求的 Headers，用户行为，网站和数据加载的方式。从用户请求的 Headers 反爬虫是最常见的策略，很多网站都会对 Headers 的 User-Agent 进行检测，还有一部分网站会对 Referer 进行检测（一些资源网站的防盗链就是检测 Referer）。

如果遇到了这类反爬虫机制，可以直接在爬虫中添加 Headers，将浏览器的 User-Agent 复制到爬虫的 Headers 中；或者将 Referer 值修改为目标网站域名。对于检测 Headers 的反爬虫，在爬虫中修改或者添加 Headers 就能很好的绕过。

    

  1. 

    cookies = {
    2. 

  2. 

        "d_c0": "AECA7v-aPwqPTiIbemmIQ8abhJy7bdD2VgE=|1468847182",
    3. 

  3. 

        "login": "NzM5ZDc2M2JkYzYwNDZlOGJlYWQ1YmI4OTg5NDhmMTY=|1480901173|9c296f424b32f241d1471203244eaf30729420f0",
    4. 

  4. 

        "n_c": "1",
    5. 

  5. 

        "q_c1": "395b12e529e541cbb400e9718395e346|1479808003000|1468847182000",
    6. 

  6. 

        "l_cap_id": "NzI0MTQwZGY2NjQyNDQ1NThmYTY0MjJhYmU2NmExMGY=|1480901160|2e7a7faee3b3e8d0afb550e8e7b38d86c15a31bc",
    7. 

  7. 

        "d_c0": "AECA7v-aPwqPTiIbemmIQ8abhJy7bdD2VgE=|1468847182",
    8. 

  8. 

        "cap_id": "N2U1NmQwODQ1NjFiNGI2Yzg2YTE2NzJkOTU5N2E0NjI=|1480901160|fd59e2ed79faacc2be1010687d27dd559ec1552a"
    9. 

  9. 

    }
    10. 

  10. 

    11. 

  11. 

    headers = {
    12. 

  12. 

        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.98 Safari/537.3",
    13. 

  13. 

        "Referer": "https://www.zhihu.com/"
    14. 

  14. 

    }
    15. 

  15. 

    16. 

  16. 

    r = requests.get(url, cookies = cookies, headers = headers)
    17.

反爬虫策略应对-代理 IP 池

还有一部分网站是通过检测用户行为，例如同一 IP 短时间内多次访问同一页面，或者同一账户短时间内多次进行相同操作。

大多数网站都是前一种情况，对于这种情况，使用 IP 代理就可以解决。这样的代理 ip 爬虫经常会用到，最好自己准备一个。有了大量代理 ip 后可以每请求几次更换一个 ip，这在 requests 或者 urllib2 中很容易做到，这样就能很容易的绕过第一种反爬虫。目前知乎已经对爬虫做了限制，如果是单个 IP 的话，一段时间系统便会提示异常流量，无法继续爬取了。因此代理 IP 池非常关键。网上有个免费的代理 IP API: http://api.xicidaili.com/free2016.txt

    

  1. 

    import requests
    2. 

  2. 

    import random
    3. 

  3. 

    4. 

  4. 

    class Proxy:
    5. 

  5. 

    6. 

  6. 

        def __init__(self):
    7. 

  7. 

            self.cache_ip_list = []
    8. 

  8. 

    9. 

  9. 

        # Get random ip from free proxy api url.
    10. 

  10. 

        def get_random_ip(self):
    11. 

  11. 

            if not len(self.cache_ip_list):
    12. 

  12. 

                api_url = 'http://api.xicidaili.com/free2016.txt'
    13. 

  13. 

                try:
    14. 

  14. 

                    r = requests.get(api_url)
    15. 

  15. 

                    ip_list = r.text.split('rn')
    16. 

  16. 

                    self.cache_ip_list = ip_list
    17. 

  17. 

                except Exception as e:
    18. 

  18. 

                    # Return null list when caught exception.
    19. 

  19. 

                    # In this case, crawler will not use proxy ip.
    20. 

  20. 

                    print e
    21. 

  21. 

                    return {}
    22. 

  22. 

    23. 

  23. 

            proxy_ip = random.choice(self.cache_ip_list)
    24. 

  24. 

            proxies = {'http': 'http://'   proxy_ip}
    25. 

  25. 

            return proxies
    26.

后续

爬虫源代码：zhihu-crawler 下载之后通过 pip 安装相关三方包后，运行$ python crawler.py 即可（喜欢的帮忙点个 star 哈，同时也方便看到后续功能的更新）

运行截图： 

题图：pexels，CC0 授权。

点击阅读原文，查看更多 Python 教程和资源。



阅读原文：http://mp.weixin.qq.com/s?timestamp=1497843478&src=3&ver=1&signature=XXQSyCeSJ0xNs*If4kBdACDlNyWpt*WIxVK56I9oVlZaIJ9yTiOCIRmrU1LluyeYYfRk4v0PhP6laAN3TsI4Cs8AkiuPNHUMMSbL41YL2xvUph5-ejFPvpvJ7LtiC1UbPunEfUcMN2znh914fSeYk9kPKwWcTCJHi9Gl9MH31zw=&devicetype=Windows-QQBrowser&version=61030004&pass_ticket=qMx7ntinAtmqhVn+C23mCuwc9ZRyUp20kIusGgbFLi0=&uin=MTc1MDA1NjU1&ascene=1
上一篇下一篇

猜你喜欢

热点阅读