数据采集器浏览器与爬虫
2017-12-05 本文已影响0人
游侠儿evil
使用数据提取器从网站中提取数据。数据提取代理是读取和解析目标web页面的web浏览器。Visual Web Ripper 支持以下三个数据提取器:
- WebBrowser agent: 这个数据提取器使用了一个嵌入式版本的Internet Explorer。它的速度相当快,并且支持动态内容,包括JavaScript和AJAX。这个数据提取代理是默认代理,它可能是您在大多数情况下都会使用的代理。
- WebCrawler agent: 这个数据提取代理是一个轻量级的web爬虫程序,它读取和解析网页,但是忽略了动态内容,如JavaScript和AJAX。web爬虫代理非常快,可以同时处理多个网页,但是它不能在所有的网站上运行,因为它忽略了JavaScript。