pyspider爬虫框架

• 官方文档：http://docs.pyspider.org/
• PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器
• pyspider是作者之前做的一个爬虫架构的开源化实现。主要的功能需求是：

1. 抓取、更新调度多站点的特定的页面
2. 需要对页面进行结构化信息提取
3. 灵活可扩展，稳定可监控 而这也是绝大多数python爬虫的需求 —— 定向抓取，结构化化解析。但是面对结构迥异的各种网站，单一的抓取模式并不一定能满足，灵活的抓取控制是必须的。为了达到这个目的，单纯的配置文件往往不够灵活，于是，通过脚本去控制抓取是我最后的选择。 而去重调度，队列，抓取，异常处理，监控等功能作为框架，提供给抓取脚本，并保证灵活性。最后加上web的编辑调试环境，以及web任务监控，即成为了这套框架。

• pyspider的设计基础是：以python脚本驱动的抓取环模型爬虫

1. 通过python脚本进行结构化信息的提取，follow链接调度抓取控制，实现最大的灵活性
2. 通过web化的脚本编写、调试环境。web展现调度状态
3. 抓取环模型成熟稳定，模块间相互独立，通过消息队列连接，从单进程到多机分布式灵活拓展

ubuntu安装:

• 添加依赖

sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml libssl-dev zlib1g-dev

sudo apt-get install phantomjs

pip3 install pyspider

windows直接进行pip安装即可

运行

pyspider all

打开浏览器，输入：

http://127.0.0.1:5000

出现以下界面运行成功

image.png

创建项目：点击Create

image.png

• 填写项目名称和起始url
• Mode：Slime有些功能还没有完善，选择Script
• 点击创建

进去之后就可以写你的代码了

左边这一栏可以简单运行一下你的代码。

右边是写你的代码的，下面该介绍一下相关的参数和方法了

# pyspider爬虫的主类，我们在这里进行爬取，解析和储存信息
class Handler(BaseHandler):
    # crawl_config：在这个参数中可以做全局的设置（UA，Headers，proxy...）
    # itags:做一个标记，如果页面或版本号发生变化，会再请求一次
    crawl_config = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:64.0) Gecko/20100101 Firefox/64.0',
        # 'itags':'v1'
    }
    # 创建mongodb数据库连接
    mongo_client = pymongo.MongoClient('127.0.0.1', 27017)
    # 创建或指定数据库
    db = mongo_client['lianjia']
    # 获取数据库下的集合
    col = db['lianjiacol']

    # 创建mysql数据库连接
     mysql_cli = pymysql.Connect(
        '127.0.0.1','root','密码','数据库名称',3306,charset='utf8'
     )
    # 创建游标
     cursor = mysql_cli.cursor()

• self.crawl中的参数

    # 每隔一天进行一次重复请求（重新执行on_start方法）
    @every(minutes=24 * 60)
    def on_start(self):


         crawl：根据crawl发起请求，
         exetime：延时，
         data：默认get请求，当发起一个post请求用data={}传递参数
         忽略ssl证书，默认不忽略：validate_cert=False
         fetch_type=‘js’,加载动态页面，也可以执行js代码：
        js_script='''
                function() {
                  window.scrollTo(0,document.body.scrollHeight);
                  return 123;
             }
             '''
         save，对应的是一个字典，传递参数
         附加到url传递参数：parmars = {}
        """
       例： self.crawl('http://www.baidu.com' callback=self.index_page,save={'a':'b'},parmars={'name':'zhangsan'})
          def index_page(self,response):
                  print(response.url)  --> 'http://www.baidu.com/?name=zhangsan'
                  response.save['a'] --> b
        """
        self.crawl(url, callback=self.index_page, validate_cert=False)

• xpath、css

    # 同样的url在十天之内不会重复爬取
    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):

        # response.doc:pyquery对象
        # response.etree:返回lxml
        # 提取每一个房源的详情url地址
        hourse_infos = response.doc(
            'ul.sellListContent li.clear.LOGCLICKDATA'
        )  # css
         hourse_infos = response.etree.xpath(
            'ul[@class="sellListContent"]/ li[@class="clear LOGCLICKDATA"]'
        ) # xpath

        for hourse in hourse_infos.items():
            detail_url = hourse(
                'div.title a'
            ).attr.href
            
         detail_url = hourse.xpath(
                'div[@class="title"]/a/@href'
            )
            self.crawl(detail_url, callback=self.detail_page, validate_cert=False)

        # 提取下一页发起请求

        # 提取json方法：data = response.doc('.page-box.house-lst-page-box').attr.page-data
        data = response.etree.xpath('//div[@class="page-box house-lst-page-box"]/@page-data')[0]
        json_data = json.loads(data)
        print(json_data)
        cur_page = int(json_data['curPage'])
        total_page = int(json_data['totalPage'])
        if cur_page < total_page:
            # 发起下一页
            next_page = cur_page + 1
            next_url = 'https://bj.lianjia.com/ershoufang/pg{}/'.format(str(next_page))
            self.crawl(next_url, callback=self.index_page, validate_cert=False)

    # for each in response.doc('a[href^="http"]').items():
    #    self.crawl(each.attr.href, callback=self.detail_page)

    @config(priority=2)
    def detail_page(self, response):
        print('二手房获取成功')
        # 获取二手房详情信息
        info = {}
        # 标题
        # info['title'] = response.doc('h1.main').attr.title
        info['title'] = response.doc('h1.main').text()
        # 其他信息
        info['subTitle'] = response.doc('div.sub').text()
        # 关注人数
        info['attrnNum'] = response.doc('#favCount').text()
        # 几人看过
        info['lookNum'] = response.doc('#cartCount').text()
        # 总价
        info['price '] = response.doc('span.total').text()
        # 单价
        info['unitPriceValue'] = response.doc('span.unitPriceValue').text() + response.doc(
            'span.unitPriceValue i').text()
        # 大小
        info['size'] = response.doc('div.room div.mainInfo').text()
        # 几层
        info['height'] = response.doc('div.room div.subInfo').text()
        # 方向
        info['diriction'] = response.doc('div.type div.mainInfo').text()
        # 类型
        info['type'] = response.doc('div.room div.subInfo').text()
        # print(info)
        return info

    def on_result(self, result):
        print('获取到结果', result)
        if result:
            try:
                # mongo
                self.col.insert(result)
                # mysql
                 sql = """
                    INSERT INTO lianjia(%s) VALUES (%S)
                 """%(','.join(result.keys()),','.join(['%s']*len(result)))
                 data = list(result.values())
                 self.cursor.execute(sql,data)
                 self.mysql_cli.commit()
                print('数据存储成功')
            
            except Exception as err:
                print('数据库插入失败', err)
                 self.mysql_cli.rollback()