【爬虫成长之路】(二)各篇需要用到的库和工具
2021-04-19 本文已影响0人
keep1234quiet
本系列文章共十篇:
【爬虫成长之路】(一)爬虫系列文章导读
【爬虫成长之路】(二)各篇需要用到的库和工具
【爬虫成长之路】(三)【大众点评】selenium爬虫
【爬虫成长之路】(四)【大众点评】selenium登录+requests爬取数据
【爬虫成长之路】(五)【大众点评】浏览器扫码登录+油猴直接爬取数据
【爬虫成长之路】(六)【大众点评】mitmproxy中间人代理爬虫
【爬虫成长之路】(七)【大众点评】PC微信小程序+requests爬取数据
【爬虫成长之路】(八)【大众点评】安卓APP爬虫
一、各篇文章所用到的库和工具
序号 | 章节 | 库 | 工具 |
---|---|---|---|
1 | 第一章 | 无 | 无 |
2 | 第二章 | 无 | 无 |
3 | 第三章 | selenium |
chromedriver |
4 | 第四章 |
selenium 、requests
|
Fiddler 、chromedriver
|
5 | 第五章 | Django |
Fiddler 、油猴 |
6 | 第六章 |
requests 、Django
|
Fiddler 、油猴 |
7 | 第七章 |
requests 、Django 、mitmproxy
|
Fiddler 、mitmproxy
|
8 | 第八章 | requests |
Fiddler |
9 | 第九章 | requests |
Fiddler 、Frida 、Objection 、IDA 、JADX-GUI
|
10 | 第十章 | 无 | 无 |
注:只列出关键库和工具,全系列文章更新完成后更新此表格!
二、相关库安装及使用教程
-
selenium:
pip install selenium
selenium-python中文文档:包含库的安装方法和使用说明 -
requests:
pip install requests
-
mitmproxy:
pip install mitmproxy
-
frida:
pip install frida
- Frida 是什么?
- Frida官网
- [简书]Frida详细安装教程
- [CSDN]Hook神器: frida超详细安装教程
-
objection:
pip install frida
-
Django:
pip install django
三、相关工具下载及使用教程
注:这里提醒一下,下载软件时的顺序如下:
- 官方下载
- 国内镜像下载
- 论坛或网盘下载
- 不要去国内那些综合下载站下载!!!
1. chromedriver
- chromedriver淘宝镜像下载(推荐)
- chromedriver下载(地址1)
-
chromedriver下载(地址2)
chromedriver的版本和Chrome的版本要对应上,否则也是没用的。
[CSDN]ChromeDriver与Chrome版本对应参照表及ChromeDriver下载链接、官方参照表
2. Fiddler
- Fiddler 是什么?
Fiddler是一款抓包工具,同类抓包工具还有postman、burpsuite,任选一款适合自己的就好了,这里我选择我习惯的Fiddler。如果是简单的场景,也可以直接浏览器内F12解决。 - 官方下载地址(网站略卡,打不开的可以去论坛找找)
- [博客园]Fiddler教程
3. mitmproxy
- mitmproxy是什么?
mitmproxy是一款代理工具,其作用类似于Fiddler,不同之处在于mitmproxy可定制程度高。
mitmproxy官方下载地址
[简书]mitmproxy的下载及证书配置
4. JADX-GUI
- 这个软件可以将APK直接反编译成JAVA代码,绝大部分都能够还原回来,还支持跳转,很好用。
- JADX-GUI github 下载地址
5. IDA
- 这个软件去吾爱论坛下载,里面有大佬分享了。
FQA
如果你在学习过程中遇到任何问题,可在评论中留言、私信或发送邮件给我,看到会回复
注:
- 如果您不希望我在文章提及您文章的链接,或是对您的服务器造成了损害,请联系我对文章进行修改;
- 本文仅爬取公开数据,不涉及到用户隐私;