从0搭建区块链资讯网站(6-5)Linux每天自动执行爬取脚本

2018-07-23  本文已影响0人  子鱼文业

本节我们要将我们写好的脚本同步到服务器上,并设置每天的自动更新。

1. 通过WinScp复制我们的整个文件夹到服务器的跟目录下

2. 打开putty,复制根目录下的文件到usr/local下: mv BitSpider/ /usr/local/

3. 用whereis crontab 查看corntab在哪里,找到了以后,切换到这个目录下, 然后输入:0 0 9,14,19 * * root cd /root/Various_bit/ArticleSpider/ && python3 entry.py

标识9,14,19点执行任务,先切换路径,然后执行

这个表示每天9点执行一次

配置自动执行

4. 按esc,:wq保存退出即可

这样在每天的9点,爬虫将自动执行一次,将当天新的文章补充进来

5. 在入口python里面,要用原始路径的scrapy查询: os.system('/usr/bin/scrapy crawl bitcoin_eos -s LOG_FILE=spider.log')

上一篇下一篇

猜你喜欢

热点阅读