爬虫案例

一、大型爬虫案例：抓取某电商网站的商品数据

1.1 第一步是观察页面特征和解析数据

切换到Headers（请求头）页面，在General（总体）信息中有以下两条重要信息：

（1）Request URL（请求链接）：将通过这个链接访问服务器获取数据。

（2）Request Method（请求方式）：决定使用的函数方法和上传参数。常见的请求方式有GET方式和POST方式，其中GET方式权限单一，只有查询数据的权限，只要访问URL就可以返回数据；POST方式需要权限验证和请求内容，服务器通过权限放行，通过请求内容返回客户端请求的数据，POST方式具有查询和修改数据的权限。