提高爬虫开发效率的几个小工具，学会之后很esay了！

前言

一般开发爬虫的时候，最心烦的不是它的反爬有多复杂，而是它的参数贼多，要一个个的复制进去。

所以自己写了一个小工具，把抓包抓到的 header、data、cookie 这些参数转换成 python 代码。

大大的提高开发效率，其实代码之前已经开源了，不过用起来不太方便，于是最近就把它弄到了线上，用起来方便多了。

涉及到的工具或技术

Python 3.7

Fiddler v5.0

Charles v4.2.8

小工具

在线转换的工具网站： alisen39.com/

将 webForms 的数据转成 dict 格式

工具地址：alisen39.com/FiddlerData

在 Fiddler 里面，webForms 的数据是 POST 请求所带的参数

可以直接将其复制出来然后转换成 dict 格式，如下：

然后将转换后的结果直接复制到你的爬虫代码里面就可以使用了！

将 Header 数据转成 dict 格式

工具地址：alisen39.com/FiddlerHead…

Fiddler 里的 Header 部分，在 Raw 选项里面：

将其复制出来，然后粘贴到左边：

将 Cookies 的数据转成 dict 格式

工具地址：alisen39.com/FiddlerCook…

Fiddler 里抓到的 Cookies 数据：

将其复制出来，然后粘贴到左边：

重磅工具！将 raw 的数据转成 reqeusts代码

最重磅的一个功能！直接将包的内容转成python代码，真心节省90%的时间。

工具地址：alisen39.com/HttpRaw

复制抓到的Raw信息，从Fiddler或者Charles里都可以。

将其复制出来，然后粘贴到左边：

再将右边的代码复制到你的IDE里面去

就这么esay了。

重点来了

小编今天的学习资料是给刚刚要开始学习Python的小伙伴准备的，也有一些Python开发技术、Python爬虫入门到实践、Python爬虫开发到项目实践的学习资料，需要的可以添加助理w❤：bjmsb07 免费获得。

Python学习路线及757.6MB视频

1.Python的自述

2.Python开发环境的搭建

3.print函数的使用

4.转义字符与原字符

5.二进制与字符编码

6.保留字_标识符_变量及其使用

7.数据类型

8.Python中的注释

10.input函数的使用

11.算术运算符

12.赋值运算符

13.比较运算符

14.布尔运算符

15.位运算符

16.运算符的优先级

17.程序的组织结构_对象布尔值

18.单分支_双分支_多分支结构

19.嵌套if

20.条件表达式_pass语句

Python基础学习路线

Python757.6MB视频

学习Python 需要掌握的6大PPT

学习Python需要学习的PDF技术文档

Python不管是从学习路线到视频，到PPT，再到PDF技术文档，小编在这里已经全部整理完了，需要获取的小伙伴就可以转发此文，关注小编，需要的可以添加助理w❤：bjmsb07 免费获得。~~