Java爬虫Get校花网所有美女图片,附源代码
2018-06-07 本文已影响40人
朱潘
前言
作为一个宅男,每天看看美女图是必修课。那么——作为一个程序猿加宅男,如何收藏更多的美女图片呢?这就要用到爬虫了,哈哈,我仿佛看到了无穷无尽的美女在向我招手——怎么感觉写下这段话的时候自己略有一丝猥琐呢?啊呸,相当之猥琐!
我们的重点是学习写爬虫,嗯!
网络爬虫是做什么的?
他的主要工作就是 跟据指定的url地址 去发送请求,获得响应, 然后解析响应 , 一方面从响应中查找出想要查找的数据,另一方面从响应中解析出新的URL路径。
然后继续访问,继续解析;继续查找需要的数据和继续解析出新的URL路径
这就是网络爬虫主要干的工作. 下面是流程图:
通过上面的流程图 能大概了解到 网络爬虫 干了哪些活 ,根据这些 也就能设计出一个简单的网络爬虫出来。
一个简单的爬虫 必需的功能:
发送请求和获取响应的功能
解析响应的功能
过滤出的数据进行存储的功能
对解析出来的URL路径处理的功能
先看看运行效果
![](http://upload-images.jianshu.io/upload_images/11398717-7875a3efc1c1cb47.png)
下面是包结构
![](https://img.haomeiwen.com/i11398717/b3b6ec40512993a1.jpg)
获取源代码
1.加qq群727096055从群文件获取
2.加小编微信xili22xili备注代码获取
关注java工会,了解更多精彩