20行代码的爬虫爬取1000张车模
2019-07-30 本文已影响35人
躺着写代码
近日，团队内部需要做一次爬虫技术的分享，决定手写一个美女图片爬取程序。第一次写文章，希望大家能够多多指教，也能够相互学习。立帖为证！！！
目的：
1、提高大家的学习兴趣
2、展现出自我强大编程功底（哈哈）
技术：
1、java8 （stream、Lambda）
2、webmagic爬虫框架
3、xpath、jsoup文档解析
源码：
说明：
1、startUrl为7160网站的分类入口地址
2、dir是你需要存放路径
3、目录下拆分32子目录，避免单个文件数太多
