mitmproxy的下载及证书配置
一、mitmproxy的安装
image
mitmproxy是一个抓包工具，类似于WireShark、Filddler，并且它支持抓取HTTP和HTTPS协议的数据包。另外，它还有两个非常有用的组件，一个mitmdump，它是mitmproxy的命令行接口，利用它可以对接python脚本；另一个是mitmweb，它是一个web程序，通过它可以清楚的观察mitmproxy捕获的数据情况，优点类似于Chrome浏览器。
1、linux 安装mitmproxy
pip3 install mitmproxy
image
2、windows下安装mitmproxy
image
二、安装中可能出现的问题
在windows系统安装mitmproxy的时候，容易出现下面提示的错误
error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: http://landinghub.visualstudio.com/visual-cpp-build-tools
此时，可以在微软官网直接下载 c++ 库之类的软件，然后再在命令行进行安装 mitmproxy即可。也可以在网上搜索MicrosoftVCTools2017，进行下载。
三、mitmproxy证书配置
mitmproxy和Charles软件一样，需要进行证书配置，为什么要进行证书配置？由于我们要抓取的大部分App页面都采用了HTTPS，也就是经过加密，若没有证书，就无法识别抓取的数据。另外，需要注意的是，mitmproxy与Charles软件一样需要在PC和手机端安装证书。
1、首先cmd运行一下以下命令，以便在windows系统中产生CA证书
mitmdump
2、接着在.mitmproxy目录找到CA证书，如下图所示
image
3、双击mitmproxy-ca.p12进入导入证书的页面，点击“下一步”
image
4、不用输入密码，直接“下一步”
image
5、选择“将所有的证书都放入下列存储”，接着选择“受信任的根证书颁发机构”
image
6、最后，弹出警告窗口，直接点击“是”
image
7、接着在手机（IOS）上配置证书，先将mitmproxy-ca-cert.pem文件发送至iphone，推荐用邮箱方式，接着在iphone上可以把直接点击附件并安装。最后在手机（ios）“设置”、“通用”、“描述文件与设备管理”，找到“证书信任设置”，信任即可。
image
image
四、设置手机端代理
1、可以在pc（windows）中用cmd命令行，输入命令ipconfig，查看电脑ip，这里ip地址是192.168.31.43
image
2、接着在手机上设置代理，其实就是将pc电脑的ip192.168.31.43：8080，设置成代理即可。
image
3、配置代理，改为手动
image
image
五、脚本
addons机制具有一个速记，可以将模块作为一个整体作为addon对象。这使我们可以将事件处理函数放在模块范围内。例如，这是一个完整的脚本，可向每个请求添加标头。
def request(flow):
flow.request.headers["myheader"] = "value"
这是另一个截取对特定URL的请求并发送任意响应的示例：
from mitmproxy import http
def request(flow: http.HTTPFlow) -> None:
# pretty_url takes the "Host" header of the request into account, which
# is useful in transparent mode where we usually only have the IP otherwise.
if flow.request.pretty_url == "http://example.com/path":
flow.response = http.HTTPResponse.make(
200, # (optional) status code
b"Hello World", # (optional) content
{"Content-Type": "text/html"} # (optional) headers
)
六、命令行交互
1、mitmdump的启动
mitmdump
2、mitmdump指定端口的启动
mitmdump -p 8889
3、指定python脚本
mitmdump -p 8889 -s test.py
4、保存截获数据
mitmdump -w test.txt
七、常用接口
#http.HTTPFlow 实例 flow
flow.request.headers #获取所有头信息，包含Host、User-Agent、Content-type等字段
flow.request.url #完整的请求地址，包含域名及请求参数，但是不包含放在body里面的请求参数
flow.request.pretty_url #同flow.request.url目前没看出什么差别
flow.request.host #域名
flow.request.method #请求方式。POST、GET等
flow.request.scheme #什么请求 ，如https
flow.request.path # 请求的路径，url除域名之外的内容
flow.request.get_text() #请求中body内容，有一些http会把请求参数放在body里面，那么可通过此方法获取，返回字典类型
flow.request.query #返回MultiDictView类型的数据，url直接带的键值参数
flow.request.get_content()#bytes,结果如flow.request.get_text()
flow.request.raw_content #bytes,结果如flow.request.get_content()
flow.request.urlencoded_form #MultiDictView，content-type：application/x-www-form-urlencoded时的请求参数，不包含url直接带的键值参数
flow.request.multipart_form #MultiDictView，content-type：multipart/form-data
时的请求参数，不包含url直接带的键值参数
#以上均为获取request信息的一些常用方法，对于response，同理
flow.response.status_code #状态码
flow.response.text#返回内容，已解码
flow.response.content #返回内容，二进制
flow.response.setText()#修改返回内容，不需要转码
八、参考
1、https://docs.mitmproxy.org/stable/concepts-certificates/
2、https://mitmproxy.org/
3、https://github.com/mitmproxy/mitmproxy/tree/master/examples/simple
4、https://docs.mitmproxy.org/stable/addons-scripting/
5、https://docs.mitmproxy.org/stable/addons-events/
6、https://www.jianshu.com/p/a495cc016682
