爬虫基础：21岁，妈妈，我恋爱了
@古同
你点的歌到了，请注意查收。
他想对自己说：吃了这么多年素，终于懂得开荤了。
image
今天上课的时候，总是不能很好地集中精神，想什么呢？少年。
莫非淫雨霏霏？
不可能！作为一个从小到大三好学生，老师同学全给五星好评的xxxx接班人。
我思想纯正，坚贞不屈，斗智斗勇，不怕流氓。
额，其实是这样的，我想出一期系列文章：运用拟人化的手法，讲述一位英姿飒爽的公子与一位倾国倾城的小姐如何相知、相恋再到相爱的浪漫爱情故事。
当然不是言情小说了，故事的总体构架是Python爬虫基础，用我们都能听得懂的语言来探索另一个世界。
1
湖边初识
还是和往常一样，天刚蒙蒙亮，P公子就来湖边开始跑步了。
今天又和往常不一样，P公子在湖边看到一个正在看水的姑娘，那姑娘在湖边静静的呆了一会儿，只留给P公子一副魂牵梦绕的背影，便悄然而去了。
悠哉悠哉，辗转反侧。漫漫长夜夹杂着苦涩的等待，深深叩问着P公子焦灼难耐的心。
她是谁？她家在哪？怎样才能联系到她？联系到她之后她会回复我吗？她又会回复什么呢？
image
2
苦苦寻觅
众里寻她千百度，经过无数次碰壁，无数次寻觅。
image
P公子终于找到了可以联系那位神秘女子的方式，通过一个神秘的组织，那个组织的名字就叫作URL（统一资源定位符）。
URL能帮你定位到你想要的信息，不过首先你要跟这个神秘组织签署一项协议，即http协议（超文本传输协议）。
这个协议对你并没有多大的害处，它是用来帮助你快速传输信息的。
此外还有https协议，此协议是在http的基础上进行SSL加密，保证你写的情书不被他人看到。
URL的基本格式为：https://姑娘住址/姑娘芳名，根据这个信息，公司就会帮你联系到这位姑娘。
取个栗子：https://www.baidu.com/这个URL便能让你联系到度娘，与度娘来一场甜蜜的邂逅之旅吧，惊不惊喜，意不意外？
3
鼓起勇气写情书
费尽千辛万苦，P公子找到了那位姑娘的具体住址，再经过内心一番煎熬挣扎，P公子终于鼓起勇气向那位姑娘表明自己的心意。
image
怎么发送自己的请求呢？
P公子想到了常用的两种方法：get（）方法，和post（）方法。
get方法是平时最常用的方法，就相当于写信，信纸的容纳能力是有限的，最多只有1024字节；此外所写的参数会出现信封上，例如向纯洁的bing故娘写封情书：https://cn.bing.com/search?q=Python，q便是一个参数，它的值便是Python。
而post方法则不同，就像email，它的容量没有限制，大不了上传附件嘛。而且它传递的参数都在信封里，再也不怕妈妈偷看我的日记了。
P公子选择了最常见的get方法，又有了姑娘的家庭住址（request url），在信封上写上那个自己的信息（request headers），情书的具体内容当然不能告诉你们了（request body）
OK，寄信。
requests.get(url,headers = headers) 注：requests 是URL公司的邮寄员。
4
峰回路转收回信
信通过URL公司寄出去了，接下来便是更加漫长的煎熬等待。
过了一段时间，P公子终于收到那位姑娘的回信了。
姑娘的第一句问候便是自己已经收到来信了，因此响应状态码（request status code）为200。
接下来是响应头（request headers），其中包含date（标识响应的时间），server（姑娘家的详细信息），set-cookies（下次可以接着这次对话继续聊天）
P公子最关注的信息当然是响应体（request body）了，其中包含了那位姑娘对P公子的全部看法，可不可以一起逛街、看电影、晒月亮。
image
那回信中写了些什么呢？
下期再说吧。
一段感情的起源皆来自于URL，那是P公子和姑娘感情的基石。
写情书是请求（request），请求之中一定要包含收信地址（url）和写信地址（headers）。
收到回信是响应（response），响应之中一点会包含收信人的状态（response status code）、信的内容（response）才是你最关心的。
你可能还想看
等你很久啦，长按加入古同社区
image
