网络爬虫
2019-01-19 本文已影响0人
阿提艾斯
自动抓取互联网信息的程序；利用互联网数据进行分析、开发产品。
步骤：
1、通过网络链接获取网页内容(其实就是字符串)
2、对获得的网页内容进行处理
requests模块
网络链接的模块
1、requests模块是一个简洁且简单的处理HTTP请求的工具。
2、支持非常丰富的链接访问功能，包括URL获取，HTTP会话，Cookie记录等。
3、requests网页请求
| 函数 | 含义 |
|---|---|
| get() | 对应HTTP的GET方式 |
| post() | 对应HTTP的POST方式，用于传递用户数据 |
4、request对象属性
| 函数 | 含义 |
|---|---|
| status_code | HTTP请求的返回状态，200表示连接成功，400表示失败 |
| text | HTTP相应内容的字符串形式，即url对应的页面内容 |
