1.什么是爬虫

请求网站并提取数据的自动化程序

2.爬虫的基本流程

3.Resquest & Response

3.1Request

3.1.1GET请求

get请求中，提交的信息包含在网址中，无请求体

3.1.2POST请求

以表单的形式提交信息，相关信息不会在网址中体现出来，有请求体（form data）

3.2Response

4.能抓取什么样的数据

5.解析方式

5.1直接处理：简单处理一下格式等

5.2Json解析：解析Ajax的请求

。。。

6.抓取的数据和浏览器（审查元素）显示的不同？

网页经过了JavaScript渲染

7.如何解决JS渲染的问题

7.1分析Ajax请求：返回的是Json格式

7.2selenium/WebDriver:模拟浏览器（自动化测试）

。。。

8如何保存数据

8.1文本

8.2关系型数据库：有固定的格式

8.3非关系型数据库：无固定的格式