大数据 爬虫Python AI SqlPython 大数据 爬虫 学习成为程序员

人生苦短之爬虫爬取网页的通用代码框架

2018-06-13  本文已影响7人  f4698891a569

我们首先打开IDLE选择File->new window命令(或者可以直接按键Ctrl+N键,在很多地方这个按键是新建文件的意思)

在这里还是要推荐下我自己建的Python开发学习群:725479218,群里都是学Python开发的,如果你正在学习Python ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有Python软件开发相关的),包括我自己整理的一份2018最新的Python进阶资料和高级开发教程,欢迎进阶中和进想深入Python的小伙伴

我们填入代码:

保存文件是按键快捷键Ctrl+S,将源代码保存为hello.py的文件

按键F5运行走起(同时我们可以选择Run->Run Module命令)

IDLE中显示出现错误

原因是name‘name’未定义

注意:这里需要一个长的下划线,才能使其正确,以用来区分python本身的语法

改正过后我们再次运行:

我们看到出现了和之前一样的结果

我们将网页连接修改一下看看会出现什么结果:

结果是“产生异常”

解释一下通用代码框架:get方法请求一个链接,r.raise_for_status用来判断请求是否正常(也就是200),否则就产生异常。r.encoding = r.apparent_encoding这一句是能够是我们请求返回网页解码是正确的,最后return返回网页的内容。

此框架用来解决我们访问网页的问题。

今天的内容就是这样,每天一点点,重在坚持。加油!!!

上一篇下一篇

猜你喜欢

热点阅读