更多教程请移步至：洛凉博客

求助请移步至：Python自学技术交流

---

一、介绍

最近一直在写爬虫，前几天和老哥聊天。（老哥任职于某医疗公司）老哥也在研究爬虫。我就问他爬什么网站。然后老哥直接给我发了链接过来。我看了下：是个小网站。一看就挺好爬的。然后自己就写起代码来了。
网站为：http://www.weixinqun.com/。这个网站也真是绝了，各种行业个人，群信息都有。
有需要的也可以去试试。
这代码从周五晚上断断续续，一直写到今天上午才算真正调试完了。
晚上睡觉都在想出问题的地方改这么处理。

---

二、爬取思路

思路还是老套路。
用的模块我这里直接贴出来。1.requests，2.bs4，3.xlwt，4.md5，5.os
也就是一些定向爬虫常用的一些模块。
由于数据比较多。这里采用的是excel保存相关信息，二维码单独存在标题目录下。
之前没看过xlwt模块，昨天晚上一直在研究这模块，官方示例代码很好理解。
QQ群里有朋友介绍用CVS保存。据他说比excel更简单。（后续我也去看看这模块）
代码里面除了主函数有6个函数。这里介绍下吧。
第一个函数：获取页面源码
第二个函数：通过一个函数获取到的源码，再获取每页的列表里数据详细链接
第三个函数：获取每个详细链接里面的数据

圈中部分为需要获取的.png

第四个函数：将获取到的写入excel文件
第五个函数：保存二维码图片至本地
第六个函数：将获取到的信息切片，方便存入excel。

获取到的信息和页面展示一样，有冒号分开.png
切片后存储方便查阅.png
我比较懒，这里就不每个函数细介绍了，一会贴完整代码，代码里写了一些注释，大家自己看吧。

---

三、代码自我评价

1：这些代码优化空间应该还挺大的，比如写入excel的数据，我这里采用的是将所有的数据存到一个列表里面，然后再取出来写入excel文件。
2：这里我也没有写多线程。里面for写的有点多，写多线程怕搞懵了。（反正也是写着玩的，就没在意爬取效率了）（PS:其实我多线程还不怎么会用，哈哈）
3：我把代码丢到服务器爬了一个类型的所有个人微信号信息。爬完有（1162条信息）,二维码也都是以类似标题名称创建的文件夹下面。

---

大家运行改下相应的存储路径吧。

此代码请勿商用，如侵犯个人信息还请告知，本人立马删除！

import requests
from bs4 import BeautifulSoup
import bs4
import xlwt
from hashlib import md5
import os


headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'}

def gethtml(url):
    '''解析页面源码'''
    try:
        #添加浏览器头，访问超时
        html = requests.get(url,headers=headers,timeout=30)
        html.raise_for_status()
        html.encoding = html.apparent_encoding
        return html.text
    except:
        print('获取页面源码失败')


def getchaturls(html):
    '''获取每页信息详情链接'''
    try:
        soup = BeautifulSoup(html,'html.parser')
        chat_url = []
        for chat in soup.find_all('div',class_='border5'):
            chat = chat.a.attrs['href']
            chat_url.append('http://www.weixinqun.com'+chat)
        return chat_url
    except:
        print('获取页面详细详细链接失败')


def getinfo(url,infos):
    '''获取链接详情页面所需信息'''
    try:
        picurls = []
        html = gethtml(url)
        soup = BeautifulSoup(html,'lxml')
        pic = soup.find('div',class_='iframe')
        x = pic.find_all('span',class_='shiftcode')
        #判断是否详情页面是否有群主及群二维码
        if len(x) == 2:
            picurls.append(x[0].img.attrs['src'])
            picurls.append(x[1].img.attrs['src'])
        else:
            picurls.append(pic.img.attrs['src'])
        #找到详情页面需要数据所在的标签
        clearfix = soup.find('div',class_='des_info')
        #在需要的标签内获取标题
        title = clearfix.find('span',class_='des_info_text').get_text().replace('\n','').replace(' ','').replace(':','')
        #获取详细信息
        for info in clearfix.find('ul').children:
            if isinstance(info, bs4.element.Tag):
                other = info('li')
                for a in other:
                    infos.append(a.get_text().replace('\n','').replace(' ',''))
        #获取微信号
        waccount = clearfix.find_all('span',class_='des_info_text2')
        infos.append('微信号：'+waccount[1].get_text().replace('\n','').replace(' ',''))
        #获取热度
        hot = clearfix.find_all('span',class_='Pink')
        infos.append('热度：'+hot[0].get_text().replace('\n','').replace(' ',''))
        print('正常处理的详情标题：{}'.format(title))
        #调用保存二维码方法
        savepic(picurls,title)
    except:
        print('详情页面解析失败')


def saveinfo(infoms):
    '''保存excel文件'''
    wb = xlwt.Workbook()
    ws = wb.add_sheet('wchat')
    ws.write(0, 0, '行业')
    ws.write(0, 1, '时间')
    ws.write(0, 2, '地区')
    ws.write(0, 3, '标签')
    ws.write(0, 4, '微信号')
    ws.write(0, 5, '热度')
    pp = 1
    for b in range(0, len(infoms), 6):
        ws.write(pp, 0, infoms[b])
        ws.write(pp, 1, infoms[b + 1])
        ws.write(pp, 2, infoms[b + 2])
        ws.write(pp, 3, infoms[b + 3])
        ws.write(pp, 4, infoms[b + 4])
        ws.write(pp, 5, infoms[b + 5])
        pp += 1
        wb.save('D://微信群//wchat.xls')


def savepic(picurls,title):
    '''保存群或群主/个人微信二维码'''
    path = 'D://微信群//'
    if not os.path.exists(path):
        os.mkdir(path)
    path1 = path+title+'//'
    if not os.path.exists(path1):
        os.mkdir(path1)
    for url in picurls:
        photo = requests.get(url,headers=headers).content
        filename = md5(photo).hexdigest()
        with open(path1+filename+'.jpg','wb') as f:
            f.write(photo)
            f.close()


def infossplit(infos):
    '''字符串切片操作'''
    infoms = []
    for info in infos:
        info = info.split('：')[1]
        infoms.append(info)
    return infoms


def main():
    '''程序入口'''
    #创建空列表存放详情
    infos = []
    for page in range(0,13): #页面默认第一页为0，请至页面查看最后一页的数字，将最后一页数字加1输入括号第二位置
        #如需其他类型，请至浏览器查看对应类型链接的t值，如微信群链接开头为：http://www.weixinqun.com/group，个人链接开头为：http://www.weixinqun.com/personal
        first_url = 'http://www.weixinqun.com/personal?t=52&p={}'.format(page)
        print('正在处理第{}页，链接为：{}'.format(page,first_url))
        html = gethtml(first_url)
        urls = getchaturls(html)
        for url in urls:
            print('=====分隔符=====')
            print('正在处理第{}页，内容详情链接为：{}'.format(page,url))
            getinfo(url,infos)
    infoa = infossplit(infos)
    print(infos)
    saveinfo(infoa)
    print('=====全部处理完成=====')

if __name__=='__main__':
    main()

---

Python自学技术交流：368639036

有兴趣的可以加入，一起学习，探讨。