爬虫知识合集（持续更新）
2020-02-10 本文已影响0人
会有猫惹
需要加强学习并持续复习的库
- urllib
- requests
- BeautifulSoup
- PyQuery(用的比较少)
- Selenium
- Scrapy
- peewee (ORM)
- pymysql
- 数据库结构设计
需要学习的库
- base4（加密解密）
- threading（多线程）
- multiprocessing（多进程）
- datetime/time（时间处理）
- PIL（图像处理）
- codecs
- hashlib
- Jquery
- Twisted（异步通信）
- pickle（序列化）
- fake_useragent（随机user agent）
- scrapy_crawlera (代理IP)
需要学习的方法
- bytes()
- BytesIO()
需要学习的知识
-
http协议，书籍：《HTTP权威指南》
-
进程线程协程
-
同步异步，阻塞非阻塞
-
Javascript
