拒绝撕逼，用数据来告诉你选择器到底哪家强
2018-09-29 本文已影响0人
高金01
背景
前几天写了一篇文章，爬虫入门到精通-网页的解析（xpath） - 知乎专栏
然后有人问我，xpath速度比bs4快么?说实话，我也不太清楚。。。
image
还有人说，“XPATH是最快的”,那么xpath,bs4,pyquery到底谁比较快呢？
作为一个严谨的程序员，我们必须拿数据说话
image
测试环境
硬件环境：
操作系统：Windows7 64
处理器：Inter(R)Xeon(R) CPU E5-2650 v3
内存：8G
软件环境：
pyquery:1.2.17
lxml:3.7.3
bs4:4.5.1
parsel:1.1.0
测试代码
from pyquery import PyQuery as pq
from lxml import etree
from bs4 import BeautifulSoup
from parsel import Selector
html = u"""
<html>
<head>
<base href='http://example.com/' />
<title>Example website</title>
</head>
<body>
<div id='images'>
<a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>
<a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>
<a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>
<a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>
<a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>
</div>
</body>
</html>
"""
然后每段都跑10000次
image
最后的结果是
image
总结
显而易见 xpath以绝对的优势领先
所有代码都放在了 kimg1234/pachong
