使用JS语言的PhantomJS工具爬虫

官方文档http://phantomjs.org/api/

1.Mac OS X环境下载安装PhantomJS

在终端键入如下命令


brew update
brew install phantoms


然后可以验证phantomjs是否安装成功，键入


phantomjs --version


可以看到一个版本号，如：2.1.1

2.测试phantomjs

• 新建一个test.js文件，键入如下代码

console.log('Hello Word');
phantom.exit();

• 保存后在终端cd到此test.js文件的父文件夹下，再输入命令
  phantomjs test.js
  会打印Hello Word在终端。

3.熟悉phantoms

新建一个test2.js文件，键入如下代码

console.log('Loading a web page');

var page = require('webpage').create();
var url = 'https://github.com/SoftProgramLX?tab=repositories';
page.open(url, function(status) {
    if(status != "success") {
        console.log('FAIL to load the address');
        phantom.exit();
    } else {
        console.log('Page is loaded!');
    }

    page.evaluate(function() {
        // window.scrollTo(0,10000);//滚动到底部
        //window.document.body.scrollTop = document.body.scrollHeight;

        window.setTimeout(function() {
            var plist = document.querySelectorAll("a");
            var len = plist.length;
            while(len) {
                len--;
                var el = plist[len];
                el.style.border = "1px solid red";
            }
        }, 5000);
    });

    console.log(page.evaluate(function() {
        var d = ''
        var c = document.querySelectorAll('.repo-list-name > a')
        var l = c.length;
        for(var i = 0; i < l; i++) {
            d = d + c[i].textContent + '\n'
        }
        d = d + '共有'+ l + '个demo' + '\n'
        return d
    }))

    window.setTimeout(function() {
        page.render("js.png");
        phantom.exit();
    }, 5000 + 500);

});

功能：

a.将打开的网页里的所有链接都加上"1px solid red"这样的边框。如下图：

js.png

b.将将网页截屏保存为js.png。如上图

c.将我的github里的demo名称都打印到终端或保存到txt文件。

• 输入命令
  phantomjs test2.js
  后打印到了终端，如下图：
  

0488388C-6C36-44F5-B03C-F2D9B7AF35D5.png

• 输入命令
  phantomjs test2.js > result.txt
  后保存到了txt文件，如下图：
  64875951-4A04-496A-AF5F-DF60674AECD5.png
  
  

代码解析：

• 本例用我的github网址做测试，使用page.open(url, function(status)打开网址。
• phantom.exit();需要关闭PhantomJS。
• page.evaluate()提供了在page打开页面的上下文执行function的功能。
• document.querySelectorAll("a")；这是查询所有的a元素。为了加上边框。
• document.querySelectorAll('.repo-list-name > a')；这是查询class为repo-list-name的元素的直接后代a元素。为了取到所有demo的名称。

熟悉js与css是更好的操作PhantomJS爬虫技术的必要条件。

QQ:2239344645 我的github