超级行动课-作业03
2018-06-09 本文已影响28人
pnjoe
听完第3课。感觉能量满满。打算接下来的60天。火力全开 学 Python爬虫。
这门课已报名一段时间了。一直拖着没好好学。正好行动课有作业。就拿这个来开刀。昨晚兴致勃勃看完了“1-3节使用Requests爬取豆瓣短评”。
按作业要求，制定个计划吧。每三天学一节，如下表：
6月
| 日 | 一 | 二 | 三 | 四 | 五 | 六 |
|---|---|---|---|---|---|---|
|
10日 1-4使用Xpath解板豆瓣短评 |
11日 | 12日 |
13日 1-5使用pandas保存豆瓣短评数据 |
14日 | 15日 |
16日 1-6 浏览器抓包及headers设置（案例一：抓取知乎） |
| 17日 | 18日 |
19日 1-7 数据入库及MongoDB（案例二：爬取拉勾） |
20日 | 21日 |
22日 1-8 使用自动化神器Selenium爬取动态网页（案例三：爬取淘宝） |
23日 |
| 24日 |
25日 2-1 爬虫工程化及Scrapy框架初窥 |
26日 | 27日 |
28日 2-2 Scrapy安装及基本使用 |
29日 | 30日 |
7月
| 日 | 一 | 二 | 三 | 四 | 五 | 六 |
|---|---|---|---|---|---|---|
|
1日 2-3 Scrapy选择器的用法 |
2日 | 3日 |
4日 2-4 Scrapy的项目管道 |
5日 | 6日 |
7日 2-5 Scrapy的中间件 |
| 8日 | 9日 |
10日 2-6 Scrapy的Request和Response详解 |
11日 | 12日 |
13日 3-1 网络进阶之谷歌浏览器抓包分析 |
14日 |
| 15日 |
16日 3-2 数据入库之去重与数据库 |
17日 | 18日 |
19日 4-1 大规模并发采集——分布式爬虫 |
20日 | 21日 |
|
22日 4-2 实训项目（一）——58同城出租信息抓取（上） |
23日 | 24日 |
25日 4-3 实训项目（一）——58同城出租信息抓取（下） |
26日 | 27日 |
28日 4-4 实训项目（二）——去哪儿网模拟登陆 |
| 29日 | 30日 |
31日 4-5 实训项目（三）——京东商品数据抓取 |
