张大妈（SMZDM）爬虫

说明

• 邮箱功能代码已完成，定时发送还没实现；
• 数据存入数据库前的判断还没有做；

实现的功能

• 定时爬去SMZDM网站的信息
• 将信息保存到MongoDB数据库（判断当前数据库中是否存在该数据，如果没有，保存到数据库中）
• 每5分钟爬取一次信息，将更新的内容发送给QQ邮箱（暂时未完成）

使用的库

• Requests
• smtplib
• lxml

网页结构

URL结构

• 首页URL：https://m.smzdm.com/
• 其他页面URL：https://m.smzdm.com/ajax_home_list_show?time_sort=150157906873

time_sort说明：

• 首页URL

  在<input type="hidden" id="time_sort" value="150158106794">标签中，value属性的值为下一页面URL对应的time_sort的值。

• 其他页面

​ 从第二页开始，下一页面的time_sort值来自于前一个页面返回的json数据中的time_sort值。

参考代码

import requests
from lxml import etree
import json

url = 'https://m.smzdm.com/'
base_url = 'https://m.smzdm.com/ajax_home_list_show?time_sort='


def get_html(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'
    }
    resp = requests.get(url, headers=headers)
    if resp.status_code == 200:
        return resp.text
    else:
        return None


# 解析首页返回的数据
# xpath：//*[(@id = "post_list_preferential")]//li
def parse_html(html, db):
    root = etree.HTML(html)
    products = root.xpath('//*[(@id = "post_list_preferential")]//li')
    for product in products:
        URL = product.xpath('a/@href')[0]
        category = product.xpath('*/span[@class="s_icon"]/text()')[0]
        message = product.xpath('h2/text()')[0]
        price = ''.join(product.xpath('div[@class="tips"]/em/text()'))
        commit = ''.join(product.xpath('div[@class="tips"]/span/text()'))
        time = product.xpath('address/span/text()')[0]
        data = {
            'URL': URL,
            '分类': category,
            '信息': message,
            '价格': price,
            '评论': commit,
            '发布时间': time
        }
        save_data(db, data)
        print(data)
    time_sort = root.xpath('//input[@id="time_sort"]/@value')[0]
    print(time_sort)
    return time_sort


# 解析其他页面返回的数据
def parse_json(json_data, db):
    root = json.loads(json_data)
    time_sort = root.get('time_sort')
    html = root.get('data').strip()
    nodes = etree.HTML(html)
    products = nodes.xpath('//li')
    for product in products:
        URL = product.xpath('a/@href')[0]
        category = product.xpath('*/span[@class="s_icon"]/text()')[0]
        message = product.xpath('h2/text()')[0]
        price = ''.join(product.xpath('div[@class="tips"]/em/text()'))
        commit = ''.join(product.xpath('div[@class="tips"]/span/text()'))
        time = product.xpath('address/span/text()')[0]
        data = {
            'URL': URL,
            '分类': category,
            '信息': message,
            '价格': price,
            '评论': commit,
            '发布时间': time
        }
        save_data(db, data)
        print(data)
        return time_sort


def test_parse_json():
    with open('smzdm.json') as f:
        json_data = ''.join(f.readlines())
        parse_json(json_data)


# 初始化数据库
def init_sql():
    from pymongo import MongoClient
    client = MongoClient('localhost', 27017)
    # 创建数据库sdifen
    db = client.SMZDM
    return db


# 保存数据到数据库中
def save_data(db, data):
    db.SMZDM_INFO.insert(data)


# 发送邮件
def send_email(message_text):
    import smtplib
    from email.mime.text import MIMEText
    from email.header import Header
    # 设置服务器
    mail_host = "smtp.qq.com"
    # 用户名
    mail_user = "QQ_Mail@qq.com"
    # 邮箱密码
    mail_pass = "QQ邮箱授权码"
    # 发送邮箱
    sender = 'QQ_Mail@qq.com'
    # 接收邮箱
    receivers = ['QQ_Mail@qq.com']  # 接收邮件，可设置为你的QQ邮箱或者其他邮箱
    # 三个参数：第一个为文本内容，第二个 plain 设置文本格式，第三个 utf-8 设置编码
    message = MIMEText(message_text, 'plain', 'utf-8')
    message['From'] = Header("weekly@newsletter.smzdm.com", 'utf-8')
    message['To'] = Header("QQ_Mail@qq.com", 'utf-8')
    subject = 'SMZDM信息提醒'
    message['Subject'] = Header(subject, 'utf-8')
    try:
        smtpObj = smtplib.SMTP_SSL(mail_host, 465)
        smtpObj.set_debuglevel(1)
        smtpObj.login(mail_user, mail_pass)
        smtpObj.sendmail(sender, receivers, message.as_string())
        print("邮件发送成功")
    except smtplib.SMTPException:
        print("Error: 无法发送邮件")


def main():
    html = get_html(url)
    db = init_sql()
    time_sort = parse_html(html, db)
    while True:
        next_url = base_url + time_sort
        json_data = get_html(next_url)
        time_sort = parse_json(json_data, db)
    # send_email("张大妈爬虫")
    # test_parse_json()


if __name__ == '__main__':
    main()