一个实现批量抓取淘女郎写真图片的爬虫

淘女郎，也被很多人称作“网络模特”，就是专门给淘宝、天猫等线上商家拍摄图片的平面模特。

我们将用Python3和Selenium Webdriver抓取每一个美眉的个人主页内的写真图片，把每一个美眉的写真图片按照文件夹保存到本地。

先说一下网页爬取的一般步骤：

1.查看目标网站页面的源代码，找到需要爬取的内容

2.用正则或其他如xpath/bs4的工具获取爬取内容

3.写出完整的python代码，实现爬取过程

查看网站源码，火狐浏览器右键-查看源代码即可获取：

代码编写的关键步骤：

①需要用到的模块

②解析目标网页的 Html 源码

bsObj = BeautifulSoup(driver.page_source, parser)

③用正则表达式获取美女图片

imagesUrl = re.findall('\/\/gtd\.alicdn\.com\/sns_logo.*\.jpg',driver.page_source)

④解析出个人主页地址等信息

girlsUrl = bsObj.find_all("a",{"href":re.compile("\/\/.*\.htm\?(userId=)\d*")})

⑤获取所有美女的图片url

girlsHURL = [('http:' + i['href']) for i in girlsUrl]

⑥判断路径文件夹是否创建，如果未创建则创建文件夹保存图片

defmkdir(path):

# 判断路径是否存在

isExists=os.path.exists(path)

# 判断结果

ifnotisExists:

# 如果不存在则创建目录

print("    [*]新建了文件夹",path)

# 创建目录操作函数

os.makedirs(path)

else:

# 如果目录存在则不创建，并提示目录已存在

print('    [+]文件夹',path,'已创建')

if__name__=='__main__':

ifnotos.path.exists(outputDir):

os.makedirs(outputDir)

main()

Python执行文件后抓取的效果如下图所示：