使用树莓派搭建爬虫服务器
2019-05-16 本文已影响0人
黄凯
为什么使用树莓派搭建自己的爬虫服务器？
- 树莓派使用Linux操作系统，完美支持爬虫框架Scrapy所需要的环境
- 爬虫需要长期运行，笔记本电脑可能会随时关闭
- 树莓派功耗极低，就像路由器一样打开就不用管了
准备好硬件
- 树莓派3B+
- 亚克力外壳，散热片，风扇
- 16G Micro-SD 卡
- 5V Micro USB 电源
- HDMI显示器
- USB键盘鼠标
先安装散热片
IMG_20190517_112738.jpg
在固定到底板上，一共有四个螺丝
IMG_20190517_112725.jpg
查SD卡的那一侧先不安装
IMG_20190517_112717.jpg
固定好风扇
IMG_20190517_112704.jpg
完成！
IMG_20190517_112633.jpg
准备好刷卡环境
- 一台 Windows 10, Mac 或 Linux 电脑
- Micro-SD卡 读写器
下载软件
- Ubuntu Server
- 网址 https://www.ubuntu.com/download/iot/raspberry-pi-2-3
- 下载 树莓派3 对应的文件 http://cdimage.ubuntu.com/releases/bionic/release/ubuntu-18.04.2-preinstalled-server-arm64+raspi3.img.xz
- 目前（2019年5月）版本是 18.04.2
- Etcher 刷卡工具
- 网址 https://www.balena.io/etcher/
-
有各种系统的版本，Windows/MacOS/Linux
图片.png
写入SD卡
-
使用Etcher 将下载好的镜像文件刷入SD卡
图片.png
启动树莓派
- 连接 HDMI显示器， 鼠标键盘
- 插入SD卡
- 连接USB电源
-
第一次启动，用户名与密码都是ubuntu ，系统强制要求修改密码
图片.png
图片.png
配置WiFi
- Ubuntu server 需要配置才能连wifi
- 编辑 /etc/netplan/50-cloud-init.yaml 文件： sudo vi /etc/netplan/50-cloud-init.yaml
network:
version: 2
ethernets:
eth0:
optional: true
dhcp4: true
wifis:
wlan0:
optional: true
dhcp4: true
access-points:
WIFISSID: {password: WIFIPASSWORD}
- 注意要修改WIFISSID 和WIFIPASSWORD
- 修改完成后执行命令
sudo netplan apply
- 等待几秒后就会连接上Wifi，执行ifconfig 命令查看IP地址后就可以通过putty或ssh命令远程连接树莓派了
- 如果能够连接成功，现在可以取下来键盘鼠标显示器，将树莓派放到路由器旁边，以后就是远程管理
远程管理树莓派
-
通过putty或ssh连接树莓派
-
安装需要的Python库
sudo apt update
sudo apt install python3-pip python3-twisted python3-cffi python3-parsel python3-queuelib python3-pydispatch python3-hamcrest python3-redis
- 安装需要的pip包
sudo pip3 install --no-deps w3lib==1.20.0 scrapy scrapyd
- 安装完成以后，测试一下scrapy能否正常运行
ubuntu@ubuntu:~$ scrapy
Scrapy 1.6.0 - no active project
Usage:
scrapy <command> [options] [args]
Available commands:
bench Run quick benchmark test
fetch Fetch a URL using the Scrapy downloader
genspider Generate new spider using pre-defined templates
runspider Run a self-contained spider (without creating a project)
settings Get settings values
shell Interactive scraping console
startproject Create new project
version Print Scrapy version
view Open URL in browser, as seen by Scrapy
[ more ] More commands available when run from project directory
Use "scrapy <command> -h" to see more info about a command
配置scrapyd服务器
- 在/home/ubuntu目录下新建一个文件 scrapyd.conf
[scrapyd]
bind_address=0.0.0.0
- 执行命令 scrapyd
ubuntu@ubuntu:~$ scrapyd
Removing stale pidfile /home/ubuntu/twistd.pid
2019-05-17T04:01:21+0000 [-] Removing stale pidfile /home/ubuntu/twistd.pid
2019-05-17T04:01:21+0000 [-] Loading /usr/local/lib/python3.6/dist-packages/scrapyd/txapp.py...
2019-05-17T04:01:22+0000 [-] Scrapyd web console available at http://0.0.0.0:6800/
2019-05-17T04:01:22+0000 [-] Loaded.
2019-05-17T04:01:22+0000 [twisted.scripts._twistd_unix.UnixAppLogger#info] twistd 17.9.0 (/usr/bin/python3 3.6.7) starting up.
2019-05-17T04:01:22+0000 [twisted.scripts._twistd_unix.UnixAppLogger#info] reactor class: twisted.internet.epollreactor.EPollReactor.
2019-05-17T04:01:22+0000 [-] Site starting on 6800
2019-05-17T04:01:22+0000 [twisted.web.server.Site#info] Starting factory <twisted.web.server.Site object at 0xffff8f405160>
2019-05-17T04:01:22+0000 [Launcher] Scrapyd 1.2.0 started: max_proc=16, runner='scrapyd.runner'
- 在笔记本上用浏览器打开网页 http://树莓派IP地址:6800
-
如果你看到以下内容，恭喜，成功搭建树莓派搭建爬虫服务器
图片.png
接下来的工作
- 使用scrapy开发爬虫项目
- 使用gerapy、scrapydweb管理爬虫服务器
- 使用scrapy-redis开发分布式爬虫项目
