爬虫07day

2019-02-24  本文已影响0人  迷路了吗_67f1
什么是pyquery?

是jquery的python的python实现,同样可以从html文档中提取数据 ,易用性和解读行都很好。

find(selector) : 使用css选择器查找
filter(selector) : 根据id或者class过滤节点
直接对pyquery对象使用css选择器查找节点
.eq(index) : 根据索引获取指定的节点(从0开始)
.text(): 获取节点的文本
.attr('属性名') :获取节点的属性

队列的使用:

在线程中多用队列作为数据交换的方式,因为队列是线程安全的,python原声的lits,dict是非线程安全的,需要跟线程锁配合使用,所以正式因为队列是线程安全的,所以在线程中多用队列作为数据交换的方式

print(que.full()) #判断队列是否满了
print(que.empty()) #判断队列是否为空
print(que.qsize()) #获取大小
put()方法往队列中存值
maxsize设置队列存放数据的最大值
lock = threading.Lock() 创建锁
lock.acquire() 加锁
lock.release() 解锁

创建线程

target:线程要执行的目标函数
name:给线程起一个名称
args:传参数(元组)
kwargs:传参数(字典)

创建线程锁:

保护资源,添加了线程锁之后,同一时刻只能有一个线程在修改资源

上一篇下一篇

猜你喜欢

热点阅读