如何使用scrapyd对爬虫进行管控

2020-04-08  本文已影响0人  北游_

部署前准备工作

一：说明：

  1. scrapy框架相关爬虫代码不提供说明， 对于scrapyd的配置会有说明。
  2. 对于scrapyd是对分布式的爬虫进行管控的插件，有web页面展示，不过只能通过api对其执行启动暂停等操作，建议使用Qt或者web来操控爬虫。
  3. 虽然说是分布式的爬虫，建议对scrapy框架的爬虫都进行部署， 因为可能会涉及到后期的增量等抓取， 总是去服务器找爬虫文件也不是很方便。
  4. 我这边用到服务器说明， A和B对服务器进行编号：
    • A1：redis和mongo的服务器一台（redis用于分布式的master，mongo用于存储抓取的源数据，这台大内存大硬盘没办法， 有合适的服务器的话可以将mongo迁出去），
    • B1，B2：2台爬虫服务器（主要执行爬虫，两台上均需要安装scrapyd）

二：环境说明

  1. python3.7

  2. centos7

  3. python开发与部署建议使用虚拟环境

  4. B1和B2服务器要正常安装scrapy框架所需的模块

部署相关操作说明

一：scrapyd服务相关

  1. 安装scarpyd, 在集群slave（B1和B2服务器) 执行，记得激活虚拟环境

    pip install scrapyd

  2. 启动scrapy

    scrapyd

  3. 配置scrapyd参数

    此时仅能本机访问改web页面， 如需局域网或者外网打开配置文件，在虚拟环境的安装目录下。具体路径自行修改

    vim /usr/local/pyvenv/scrapy_env/lib64/python3.7/site-packages/scrapyd/default_scrapyd.conf

    配置文件相关说明：当前仅需修改第12行说明处

    [scrapyd]
eggs_dir    = eggs
logs_dir    = logs
items_dir   =
jobs_to_keep = 5
dbs_dir     = dbs
max_proc    = 0
max_proc_per_cpu = 4
finished_to_keep = 100
poll_interval = 5.0
# 修改监听端口为0.0.0.0 初始为127.0.0.1
# bind_address = 127.0.0.1
bind_address = 0.0.0.0
http_port   = 6800
debug       = off
runner      = scrapyd.runner
application = scrapyd.app.application
launcher    = scrapyd.launcher.Launcher
webroot     = scrapyd.website.Root

[services]
schedule.json     = scrapyd.webservice.Schedule
cancel.json       = scrapyd.webservice.Cancel
addversion.json   = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects
listversions.json = scrapyd.webservice.ListVersions
listspiders.json  = scrapyd.webservice.ListSpiders
delproject.json   = scrapyd.webservice.DeleteProject
delversion.json   = scrapyd.webservice.DeleteVersion
listjobs.json     = scrapyd.webservice.ListJobs
daemonstatus.json = scrapyd.webservice.DaemonStatus

  4. 重启启动scrapyd服务, 并让其在后台运行

    scrapyd &

二：将本地开发的爬虫程序推送到服务中

  1. 安装scrapyd-client

    pip install scrapyd-client

  2. 修改scrapy爬虫项目中的scrapy.cfg配置文件中(在爬虫项目的根目录下)

    [deploy:recipe_spiders]
project = YourProjectName
url = http://***.***.***.***:6800/
version = r1

[deploy:recipe_spiders]
project = YourProjectName
url = http://***.***.***.***:6800/
version = r1
# url的参数值为安装scrapyd的服务器B1和B2的IP地址
# project和version的参数值建议一致

  3. 将本地代码部署至scrapyd服务器

    • 该操作是在本地测试调试代码的时候执行的，我这边是win的开发环境
    # 使用cmd进入爬虫项目的文件根目录下

# 执行查询可提供部署的项目信息
scrapyd-deploy -l
# 返回信息格式 ProjectName ScrapydServerUrl, 如下
# ProjectName       http://***.***.***.***:6800/

# 将爬虫项目数据部署到B1，B2服务器中 
scrapyd-deploy ProjectName -p SpiderName
# SpiderName是爬虫项目的spiders文件夹下自定义的py文件中 定义的蜘蛛名称，请自行替换
# 返回信息示例：
#Packing version 1586314118
#Deploying to project "xiachufang_recipe_redis" in http://192.168.2.227:6800/addversion.json
#Server response (200):
#{"node_name": "localhost.localdomain", "status": "ok", "project": "SpiderName", "version": "1586314118", "spiders": 1}

三：启动爬虫

  1. http接口启动

    此处参考文档： https://www.cnblogs.com/yijian001/p/9051124.html

    官方文档：https://scrapyd.readthedocs.io/en/latest/api.html

    常用接口

    • 启动爬虫

      $ curl http://YourScrapydServer:8600/schedule.json -d project=ProjectName -d spider=SpiderName
# 带上参数
$ curl http://YourScrapydServer:8600/schedule.json -d project=ProjectName -d spider=SpiderName -d setting=DOWNLOAD_DELAY=2 -d arg1=val1

    • 取消

      $ curl http://YourScrapydServer:8600/cancel.json -d project=ProjectName -d job=6487ec79947edab326d6db28a2d86511e8247444

    • 列出项目

      $ curl http://YourScrapydServer:8600/listprojects.json

    • 列出版本

      $ curl http://YourScrapydServer:8600/listversions.json?project=ProjectName

    • 列出爬虫

      $ curl http://YourScrapydServer:8600/listspiders.json?project=ProjectName

    • 列出job

      $ curl http://YourScrapydServer:8600/listjobs.json?project=ProjectName

    • 删除版本

      $ curl http://YourScrapydServer:8600/delversion.json -d project=ProjectName -d version=r99

    • 删除项目

      $ curl http://YourScrapydServer:8600/delproject.json -d project=ProjectName

  2. scrapydApi启动

    此处参考文档： https://zhuanlan.zhihu.com/p/44564597

    1. 安装

      pip install python-scrapyd-api

    2. 实例化

      from scrapyd_api import ScrapydAPI
scrapyd = ScrapydAPI('http://localhost:6800')

      • 启动远程爬虫机器的scrapy

        scrapyd.schedule(project, spider, settings=None, **kwargs)
"""
project: scrapy工程名称
spider：爬虫名称
settings：dict重新scrapy中settings
_version: 指定版本号
kwargs：自定义额外参数传递给scrapy的init函数
return: 启动爬虫后的job_id
"""

      • 查看爬虫的运行状态

        scrapyd.job_status(project, job_id)
"""
project: scrapy工程名称
job_id: 启动爬虫后的job_id
return:
    'running'：正在运行
    'pending'：准备运行
    'finished'：完成运行
    ''：若不能找到job_id，返回空
"""

      • 取消（停止）正在或准备运行的爬虫

        scrapyd.cancel(project, job, signal=None)
"""
project：scrapy工程名称
job：爬虫的job_id
signal：终止的信号，一般为None
return: 返回爬虫停止前的状态
"""
"""
有时运行中的爬虫不管用API还是命令行都无法停止，这里提供一种解决方案：
直接杀死进程
"""

      • 删除爬虫项目

        scrapyd.delete_project(project)
"""
project：scrapy工程名
return: 成功返回 True 否则返回 False
"""

      • 删除指定的版本的scrapy的项目

        scrapyd.delete_version(project, version)
"""
project：scrapy项目名称
version：版本名称
return: 成功返回 True 否则返回 False
"""

      • 显示当前可用的scrapy项目

        scrapyd.list_projects()
"""
return:list 所有scrapy工程名
"""

      • 显示指定scrapy项目的所有爬虫

        scrapyd.list_spiders(project)
"""
project：scrapy项目名称
return: list 所有爬虫名称
"""

      • 显示指定scrapy项目的所有版本号

        scrapyd.list_versions(project)
"""
project: scrapy项目名称
return: list 所有可用版本
"""

      • 显示指定scrapy项目的所有准备、正在、完成运行的job_id

        scrapyd.list_jobs(project)
"""
project：scrapy项目名称
return: dict 所有 pending running finished 的job_id
"""

最后

上一篇 下一篇

猜你喜欢

热点阅读