我爱编程

phantomjs抓取完整网页

2017-02-25  本文已影响2803人  北方蜘蛛

phantomjs:我的理解就是它是一个无显示的浏览器,也就是说除了不能显示页面内容以外,浏览器能干的活儿它基本上都能干。so,最近由于实验需要,要从某电商爬一点图片,但是它又是AJAX生成的,单纯的爬取HTML的方法是行不通的,o(╯□╰)o,于是在经过一些求助后,;了解到了PHANTOMJS,鉴于网上没找到太多实例,只好自己总结下以备不时之需。另外直接查看官网上的说明文档会有很大收获滴~顺便锻炼下自己英文嘛o(╯□╰)o。下面举个栗子来具体实现:

把phantom下载解压到D盘,在目录下有phantomjs.exe文件(win7) 通过js文件可以调用这个WebKit来达到需要的目的:比方说生成网页快照之类吧。我要做的是爬AJAX页面上的图片。先看js文件:命名为s.js

[javascript] view plain copy

到这里,就得到了所需要的AJAX完整页面的代码字符串了,接下来就可以do whatever you want啦

http://f2er.info/article/29 则个才是终极方案

上一篇 下一篇

猜你喜欢

热点阅读