【爬虫成长之路】(二)各篇需要用到的库和工具

2021-04-19  本文已影响0人  keep1234quiet

本系列文章共十篇:

【爬虫成长之路】(一)爬虫系列文章导读
【爬虫成长之路】(二)各篇需要用到的库和工具
【爬虫成长之路】(三)【大众点评】selenium爬虫
【爬虫成长之路】(四)【大众点评】selenium登录+requests爬取数据
【爬虫成长之路】(五)【大众点评】浏览器扫码登录+油猴直接爬取数据
【爬虫成长之路】(六)【大众点评】mitmproxy中间人代理爬虫
【爬虫成长之路】(七)【大众点评】PC微信小程序+requests爬取数据
【爬虫成长之路】(八)【大众点评】安卓APP爬虫

一、各篇文章所用到的库和工具

序号 章节 工具
1 第一章
2 第二章
3 第三章 selenium chromedriver
4 第四章 seleniumrequests Fiddlerchromedriver
5 第五章 Django Fiddler、油猴
6 第六章 requestsDjango Fiddler、油猴
7 第七章 requestsDjangomitmproxy Fiddlermitmproxy
8 第八章 requests Fiddler
9 第九章 requests FiddlerFridaObjectionIDAJADX-GUI
10 第十章

注:只列出关键库和工具,全系列文章更新完成后更新此表格!

二、相关库安装及使用教程

  1. selenium:pip install selenium
    selenium-python中文文档:包含库的安装方法和使用说明

  2. requests: pip install requests

  3. mitmproxy: pip install mitmproxy

  4. frida: pip install frida

    • Frida 是什么?
      • Frida 是一个hook工具,也是全平台的hook工具
      • 使用Frida时建议用性能稍好的物理机、如果没有的话这里推荐逍遥安卓模拟器和木木模拟器,试过雷电、夜神,雷电直接闪退;夜神无法root,root之后卡在99.99%,无法启动模拟器;木木模拟器点击切换时也有卡顿现象,不过至少不闪退,综合体验最好的就是夜神安卓模拟器,有那么些广告还是要手动关一下才好,相关链接放下面。
      • 逍遥安卓模拟器木木模拟器雷电模拟器夜神模拟器
      • 如果在使用时,碰到ADB连接的问题,一般是报模拟器的ADB版本和手机内ADB版本不一致,这个自己去百度一下解决方法。
    • Frida官网
    • [简书]Frida详细安装教程
    • [CSDN]Hook神器: frida超详细安装教程
  5. objection: pip install frida

  6. Django: pip install django

三、相关工具下载及使用教程

注:这里提醒一下,下载软件时的顺序如下:

  1. 官方下载
  2. 国内镜像下载
  3. 论坛或网盘下载
  4. 不要去国内那些综合下载站下载!!!

1. chromedriver

2. Fiddler

3. mitmproxy

4. JADX-GUI

5. IDA

FQA

如果你在学习过程中遇到任何问题,可在评论中留言、私信或发送邮件给我,看到会回复

注:

  1. 如果您不希望我在文章提及您文章的链接,或是对您的服务器造成了损害,请联系我对文章进行修改;
  2. 本文仅爬取公开数据,不涉及到用户隐私;
上一篇下一篇

猜你喜欢

热点阅读