Pyspider基本使用
pyspider web爬虫框架简单使用
pip3 install pyspider
在桌面创建一个pyspider的文件夹,在里打开终端,然后开启
pyspider all
浏览器进入0.0.0.0:5000
Create新建一个项目
pyspider爬虫的主类,在这里进行爬取,解析和存储数据
crawl_config里面的参数做全局的设置(UA,Headers,proxy都可以设
置)
from pyspider.libs.base_handler import *
import json
import pymongo,pymysql
#pyspider爬虫的主类,在这里进行爬取,解析和存储数据
class Handler(BaseHandler):
#在这个参数中可以做全局的设置(UA,Headers,proxy都可以设置)
crawl_config = {
'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:64.0) Gecko/20100101 Firefox/64.0'
}
#创建mongodb数据库链接
mongo_client = pymongo.MongoClient('127.0.0.1',27017)
#获取要操作的数据库
db = mongo_client['lianjia']
#获取数据库下的集合
col = db['lianjiacol']
#创建mysql数据库链接
mysql_cli = pymysql.Connect('127.0.0.1','root','1234','lianjia',3306,charset='utf8')
#创建游标
cursor = mysql_cli.cursor()
发起请求的
#定时每隔一天进行重复请求,重新执行on_start方法
@every(minutes=24 * 60)
def on_start(self):
#crawl:根据crawl发起请求
self.crawl('https://bj.lianjia.com/ershoufang/', callback=self.index_page)
self.crawl里面常用的参数
- url
需要爬取的url列表 - callback
这个参数用来指定爬取内容后需要哪个方法来处理内容.一般解析为 response. default: - age
任务有效期,以秒为单位 - priority
爬取优先级,数字越大优先级越大 - exetime
爬取任务定时,默认为0,就是即时爬取, - retries
失败重新执行次数,默认3次 - itag
任务标记值,此标记会在抓取时对比,如果这个值发生改变,不管有效期有没有到都会重新抓取新内容. - method
HTTP请求,默认为GET - params
URL后面的请求参数,字典 - data
POST请求参数 - proxy
设置代理服务器 - save
传递一个对象给任务,在任务解析时可以通过response.save来获取传递的值
用css获取数据
response.doc:是一个pyquery对象
response.etree:返回的是一个lxml提取每一个房源的详情url地址,hourse_infos是pyquery对象,需要.item()转化成可迭代的
#十天之内不重复爬取
@config(age=10 * 24 * 60 * 60)
def index_page(self, response):
#response.doc:是一个pyquery对象
#response.etree:返回的是一个lxml
#提取每一个房源的详情url地址,hourse_infos是pyquery对象,需要.item()转化成可迭代的
hourse_infos = response.doc('ul.sellListContent li.clear.LOGCLICKDATA')
for hourse in hourse_infos.items():
detail_url = hourse('div.title a').attr.href
self.crawl(detail_url,callback=self.detail_page)#发起请求,设置回调方法
下一页请求
还在index_page方法里面提取下一页请求,回调自身
#提取下一页发起请求
data = response.etree.xpath('//div[@class="page-box house-lst-page-box"]/@page-data')[0]
获取page-box house-lst-page-box下面的page-data,里面有个json串,有curPage和totalPage,接下来取值,构造下一页请求
json_data = json.loads(data)
cur_page = int(json_data['curPage'])
total_page = int(json_data['totalPage'])
if cur_page <= total_page:
#发起下一页请求
next_page = cur_page +1
next_url = 'https://bj.lianjia.com/ershoufang/pg%s/'%str(next_page)
self.crawl(next_url,callback=self.index_page)
@config(priority=2)
def detail_page(self, response):
print('二手房详情获取成功')
#获取详情页数据
info = {}
#标题(获取标题的属性和文本)
info['title'] = response.doc('h1.main').attr.title
#info['title'] = response.doc('h1.main').text()
#其他信息
info['subTitle'] = response.doc('div.sub').text()
#关注人数
info['attenNum'] = response.doc('#favCount').text()
#看过人数
info['seeNum'] = response.doc('#cartCount').text()
#价格
info['totalPrice'] = response.doc('div.price .total').text()
#单价
info['price'] = response.doc('span.unitPriceValue').text()
#规模
info['model'] = response.doc('div.room .mainInfo').text()
#楼层
info['foolr'] = response.doc('div.room .subInfo').text()
#小区
info['communityName'] = response.doc('div.communityName a.info ').text()
#print(info)
return info
detail_page方法中return的结果会执行on_result
执行代码run的时候第一次值是None,所以要判断一下是否有值再存进数据库
#方法中return的结果会执行on_result
def on_result(self,result):
#可以在这里做数据的持久化
print('获取到的结果',result)
if result:
try:
#mongodb数据库存储
self.col.insert(result)
#mysql数据库储存
#sql = """
#INSERT INTO lianjiadb(%s) VALUES(%S)
#"""%(','.join(result.keys()),','.join(['%s']*len(result)))
# data = list(result.values())
#self.cursor.execute(sql,data)
print('数据存储成功')
except Exception as err:
print('数据存储失败',err)
run测试好代码,确保可以存入数据库,然后保存好,返回上级菜单,刷新当前页面
Screenshot from 2019-01-09 19-51-54.png
-
status状态:
TODO运行
STOP停止
CHECKING检查
DEBUG运行
RUNNING运行 -
actions行动
Run运行 -
rate/burst速率
第一次开始的速度,和之后的速度,可以更改 -
progress 记录
按时间点的记录 -
删除项目
将group改成delete,然后status 改成STOP,等待24小时自动删除
scheduler -> fetcher -> processor
|
phantomjs
|
internet
调度器->动态页面用fecher无头浏览捕获,然后用phantomjs加载,解析->输出
Response
Response.url获取当前url地址
Response.text获取文本
Response.content二进制数据
Response.doc获取pyquery对象
Response.etree获取lxml对象,使用xpath语法
Response.json 获得的是json串,直接用response.json转成python数据
Response.status_code状态码
Response.orig_url原始url地址
Response.headers 响应头
Response.cookies
Response.err错误信息
Response.time发起请求到获得请求的响应时间
Response.ok 状态,不是200就报错
Response.encoding 获取编码类型
Response.save 传递
Response.js_script_result 获取js执行之后的结果
Response.raise_for_status() 如果状态结果不是200
catch_status_code_error
如果发起的请求得到的状态不是200,就不会走回调方法,加上也会走回调,捕获错误状态码
def on_start(self):
self.crawl('http://httpbin.org/status/404', self.callback)
@catch_status_code_error
def callback(self, response):
...
every
定时爬取
@every(minutes=24 * 60)
def on_start(self):
self.crawl('http://www.example.org/', callback=self.index_page)
@config(age=10 * 24 * 60 * 60)
def index_page(self):
...