<p>近期发现一款通用版网络爬虫软件gooseeker，其适用大部分网站的数据采集，代码需要改动较小,真心推荐给大家.废话就不多说了，说一下它的基本用法.</p>

---

现以爬取金山词霸网站作为案例，网址：http://www.iciba.com ，输入英文单词，查询对应的汉语意思

icba查询页面

1.定义规则

通过gooseeker定义爬取规则

2.爬取数据

<pre>
<code>

# coding:utf8

# http://www.iciba.com/apple

from urllib import request

from lxml import etree

from gooseeker import GsExtractor

def get_meaning_by_api(keyword):

    icbaExtra = GsExtractor()
    # 下面这句调用gooseeker的api来设置xslt抓取规则
    # 第一个参数是app key，到GooSeeker会员中心申请
    # 第二个参数是规则名，是通过GooSeeker的图形化工具: 谋数台MS 来生成的
    icbaExtra.setXsltFromAPI("7e32f5e6c570fde3da60358c2ecacd9e" , "icba")

    # 访问并读取网页内容
    base_url = "http://www.iciba.com/"
    url = base_url + keyword
    conn = request.urlopen(url)
    doc = etree.HTML(conn.read())

    # 生成xsltExtractor对象
    icbaExtra = GsExtractor()
    # 调用set方法设置xslt内容
    icbaExtra.setXsltFromFile("xslt.xml")
    # 调用extract方法提取所需内容
    result = icbaExtra.extract(doc)
    # 显示提取结果
    print(str(result))
def get_meaning_by_xslt(keyword):
    # 访问并读取网页内容
    base_url = "http://www.iciba.com/"
    url = base_url + keyword
    conn = request.urlopen(url)
    doc = etree.HTML(conn.read())

    # 生成xsltExtractor对象
    icbaExtra = GsExtractor()
    # 调用set方法设置xslt内容
    icbaExtra.setXsltFromFile("xslt.xml")
    # 调用extract方法提取所需内容
    result = icbaExtra.extract(doc)
    # 显示提取结果
    print(str(result))

if name == 'main':

    get_meaning_by_api('apple')
    get_meaning_by_xslt('apple')

</code></pre>

3.实现效果

运行结果

接下来就是解析xml了，在此就不再陈述，到现在为止，简易的单词查询功能就实现.

4.总结

gooseeker优点显而易见，就是其通用性，对于简单网站，其定义好规则，获取xslt文件后，爬虫代码几乎不需要修改,可结合scrapy使用，提高爬取速度；对于复杂一点的网站，可结合selenium和phantomjs使用.