学爬虫先学什么？写给小白的python爬虫入门方法论
不过，每个人的基础不同，这仅是一家之言，希望大家能有所收获。
我们并不缺少python爬虫的各类教程
学爬虫先学什么？
有人说是编程，对也不对。
对的是，爬虫是以一定的编程语言为基础的，对于连编程都不是很熟悉的纯小白来说，建议你去从编程学起。
不对的是，对于已经有些编程基础的爬虫小白来说，学到python爬虫的编程套路，你也不一定会真正了解爬虫，灵活运用。
事实上，我们并不缺少 python 爬虫的各类教程，在网络上搜索文章、视频，比比皆是。
什么“十分钟教会你用python爬取网页”、“**行代码就能让你学会爬虫”、“零基础爬虫速成指南”……还有scrapy框架的爬取策略，甚至也有根本不需要懂代码的爬虫工具等等。
各种爬虫实战的文章、案例、全程代码等等，也如漫天星斗，数不胜数。
有的爬豆瓣、知乎、大众点评，有的爬淘宝、京东、58同城，有的爬微信、博客、论坛……
在基础教材足够的条件下，貌似我们分分钟就可以学会爬虫，但是，事实如此吗？
我曾经的学习困惑：会模仿但不会应用
编程最好的一个学习方式，就是模仿。
我也曾经基于案例或实战去学习python爬虫，比如Urllib库、模拟浏览器、正则表达式、Beautiful Soup的用法……
但是，我学过n个案例之后，还是很困惑。~想要一起学习Python的可以加裙227-435-450，裙内有各种资料满足大家，欢迎加裙
我学会了爬豆瓣，但我只能爬豆瓣；我学会了爬百度贴吧，也只会爬百度贴吧。
我只能会一个案例就只会爬一个网站，世上网站千千万，换了一个陌生网站，我却不知道如何抓取信息。
我只会模仿别人的程序模式，却不会融会贯通。
我知道Urllib库是用来向网页发出请求，并实现解析；
我知道增加headers以及一些代理来应对反爬机制；
我知道使用Beautiful Soup、Xpath以及正则表达式来在解析文本中搜索、抓取具体信息；
…..
但我不知道，换了另一个网页，在茫茫的文本中，我所需要的信息（比如名称、标签）如何定位到，如何去掉多余信息，精准抓取出来？
就像下面两个图，左边是淘宝某件服装的信息（非广告，仅是举例），右边是该网页的编码。
我们在解析完网页之后，如何把139.00 的价格抓取出来？
即便我们可以用简单的 “find（）”函数把它找出来，那万一这个网页中还有另外一个139.00元的商品呢？怎么精确定位？
或者我们要把一系列类似商品的价格、名称、付款人数、地区等等一整套信息抓出来，怎么在同一个商品框架下，基于不同信息标签，构建一个信息列表？
更重要的是，当我们掌握了淘宝网页的信息爬虫模式，那么换一个网站，比如京东？我们还能套用之前的模式吗？
我所理解的爬虫
事实上，我犯了一个错误：
当拥有python这一爬虫工具后，我自以为掌握了爬虫的钥匙，无坚不摧，所向披靡，但是我忽视了所针对的对象——网页是千变万化，多种多样的，掌握了一种方法，不一定能用在其他地方。
只有掌握了对象的本质与共通点，你才能融会贯通。
有人把爬虫比喻成蜘蛛，我觉得这个比喻不甚恰当，因为蜘蛛的那个网结构很简单，一眼就能望穿。
但是现实中的网，是很巨大的，是很多样化的，也是结构复杂的，相比较于爬虫工具，我们所面临的解析对象很复杂，这也使得我们的工具、方法不断在升级。
曾经有个综艺节目《奔跑吧，兄弟》，经常出现一个游戏环节，在一座大厦里，有很多楼层、房间，在很多角落里都藏着包含信息或物件的盒子，让游戏者去找。
我所理解的爬虫与此类似，一个网站就相当于一座大厦，有很多相同的楼层及房间，每个楼层或房间都在同一位置隐藏着相关信息，如果单靠人力去找，可以找到，但是很累，很慢，也不能全部找到。
而爬虫就相当于我们手里有了一个机器人，它会代替我们去向这座大厦发送访问申请；会伪装自己来应对反爬虫机制；会将整个大厦的布局降维输出，形成平面图（文本）；会根据平面图精准定位每个房间里某个标记为price的盒子，并将所有房间的所有盒子里的信息抓取到。
但是这个机器人并不是完全智能的，它需要我们设置一些命令，才能完成这个工作，比如在精准定位上，它可能需要在我们对整个大厦布局了然如胸的基础上，发出定位指令，才能完成。
学爬虫之前不妨学一些简单的网页结构基础
学爬虫之前不妨学一些简单的网页结构基础知识，也就是认识一下网页的基本架构是什么，甚至还要自己去动手模仿做一个简单的网站。
磨刀不误砍柴工，我在学习很多python爬虫案例之后，仍然很迷惘，但是当我开始学习一些网页基本架构知识，动手做完一个简单静态网站之后，豁然开朗。
面对千变万化的网页，我知道它的一些共通点，我知道如何在各种资料的帮助下对于任何一个陌生网站，都可以去获取我想要的信息。
一般来说，网站由导航栏、栏目、及正文内容组成，每个部分都由iv元素、标题a元素、属性class、段落p等组成，万变不离其宗。
就像前边这幅图
右边的代码，就表示多个div结构性区域下，用不同class属性，并结合不同文字格式，把整个网页构建起来。
当我们爬取信息时，就要找到它在什么div下的什么class，以及什么块样式span下的某一块里。
这样我们使用起来解析函数或者正则表达式，也应心得手。
这样，也就可以既见树木又见森林。
树木是每一个网页的不同点，在python爬虫时，结合不同手段实现；
森林则是所有网页的内在构造，即相通之处，面对成千上万个不同网站，我们也能找到爬取的关键所在。
