你是如何用python写下第一个爬虫的?
大家好,我是鸟哥,今天不聊技术,主要想给大家分享一下我在第一次python爬虫之前的学习经历,因为最近总是有朋友在问我到底怎么才能快速入门python爬虫,希望我的经历能给初学者点启发。
从接触python到现在,也有三四年了,虽然算不上大牛,但也大大小小完成了数百个小项目,中间曾走过一些弯路,也曾有过迷茫,不过我感觉这些都是初学者的必经之路,毕竟学习总是痛苦的。
在我看来,python爬虫入门少不了以下4个阶段:
你要记住,没有哪一门编程语言是轻轻松松就能学会的,虽然python相对简单,但是也要下点功夫。
下面根据上图详细介绍一下我学习过程的4个阶段:
1.初识python基础
初次听说python,是在大学的某次讲座上,1位学长在讲台上侃侃而谈,说他怎么用python完成微信跳一跳的自动化测试脚本逗女朋友开心。说实话当时我心里羡慕极了,暗暗下定决心要学习python。
我的第一本学习资料是《python编程:从入门到实践》:
感觉这本书很适合小白学习,它的第一部分从浅入深讲解了python的基础知识,从python的安装到最终代码的测试,非常简单易懂,而且容易上手
作为小白中的小白,我连编辑器是什么都不知道,就靠python自带的IDLE敲完了整本书的代码(真的是一行一行的敲的),耗时1个月,硬啃下python的基础知识部分
(ps:现在觉得边学边敲代码是很有用的,因为单看书的效果是不太好的,最重要的是动手实践,只有实践了,才会发现自己哪里容易出错,才会让自己越学越有底气)
学完后,已经能够用python做1些简单的题目,例如做个猜数字的小游戏啊、计算少量的数据啊,但是整体还处于迷茫的状态,不知道下一步还能干些什么。
2.巩固基础知识
学python的人对下面这张图都不陌生,这就是经典的python游戏《飞机大战》
这是我第一个完成的python项目,也是对着书本一点一点敲的,虽然过程比较懵逼,但是当最后游戏动起来的时候,内心还是非常兴奋的,到处炫耀,开心的像个200斤的胖子。
其实写这种游戏项目对巩固基础知识是很有用的,虽然你敲代码的时候很难受,因为有很多不懂的地方,但是这在无形之中提高了你的编程能力,能帮助你系统地巩固之前学习的基础知识。
建议刚入门python的朋友可以试一下,当然也可以采取其他方式练手。
3.学习爬虫的基础知识
上面3方面知识是你在学习爬虫之前必须要了解掌握的,并不需要学的很深,如果仅仅为了入门爬虫,只需了解个大概就行,后续真正搞懂爬虫原理之后可以再深入学习一下。
学HTTP和HTML5是很有意思的,我当时学着学着差点想转行。
4.开始第一个爬虫
学完基础知识后,我特意在网上找了一个简单的爬虫教学视频,是爬贴吧美女图片的,老师讲的很详细,主要用到requests和Beatifulsoup库,然后再加上之前学的爬虫基础知识,按照以下步骤,很容易就搞定了:
这是我总结的入门爬虫基本流程,看起来还是很简单的,但是里面还要很多知识要学,不过迈出第一步后面就好办了。
我觉得爬虫的精髓在于分析数据接口,这也是爬虫最难的地方。简单的爬虫,例如静态网页,只需1个固定的url就可以获取数据;但是难的爬虫,它的url由各种加密的参数组成,爬这种网站不仅要学python,还要学习JavaScript逆向分析,因为这些参数都是通过它来加密的,后面更难的还有APP逆向分析,不过这些都是后话了。
好了,今天就先聊到这了,都是个人学习过程中的一些感悟,感觉对你有帮助的,请点个“在看”;若有不当之处,请在后台留言或者加我微信沟通交流。