如何根据已知且有规律的链接抓取网页，得到页面数据
想到关于这个问题的解决方法首先想到的流程是：获取到http请求->提交请求->响应完成->获取request中的数据.
根据这个流程首先想到方案一：如下的ajax请求所示：
$.ajax({
type: "get",
dataType: "jsonp",
url:Url, //请求地址
data:null,
async: false,
error: function(request) {
//请求出错处理
},
success: function(response) {
//请求成功处理
}
});
因为是跨域的请求，所以dataType为jsonp的格式。一切似乎都已经准备就绪，但在运行之后，问题出现了。
因为上面ajax请求返回的数据类型是json格式但是实际上返回的是html格式的内容，如果把jsonp换为html,name跨域的请求就无法实现了。
这里有个链接，貌似是可以解决这个问题，但是尝试了下发现请求访问不被允许，所以没有继续深入研究。网址：http://www.cnblogs.com/baqiphp/p/6792464.html
后来百度了一番找到了第二种方案，使用HttpURLConnection对象来获取页面并输出：
String strURL = "http://www.baidu.com";
URL url = new URL(strURL);
HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();
InputStreamReader input = new InputStreamReader(httpConn
.getInputStream(), "utf-8");
BufferedReader bufReader = new BufferedReader(input);
String line = "";
StringBuilder contentBuf = new StringBuilder();
while ((line = bufReader.readLine()) != null) {
contentBuf.append(line);
}
String buf = contentBuf.toString();
int beginIx = buf.indexOf("<!-- 产品info展示 -->");
int endIx = buf.indexOf("<!-- /产品info展示 -->");
String result = buf.substring(beginIx, endIx);
return result;
将如上的代码放在方法中，在使用ajax请求调用该方法，便可获取到所需的网页，再进行相应的操作即可。
除了以上两种比较简单的方法之外有一种更厉害也更强大的技术：网络爬虫。
刚看关于爬虫没有多久，所以还没有一些经验可写，但是一天接触下来发现相比较前面两个通过对直接的url进行解析而言，爬虫能更深层次的获取到更多的数据。因为爬虫在抓取网页的过程中，不断从当前页面上获取新的URL放入队列，直到满足停止条件，再将获取到的数据进行相应的处理，显然更为强大。
重点学习的是WebMagic,是一个基于Java的爬虫开源框架。
中文文档：http://webmagic.io/
首先在main函数内新创建一个spider对象，并调用抓取页面解析的类GithubRepoPageProcessor，在addUrl内添加的是需要抓取的链接，如果需要传入多个url可用逗号隔开。thread用于设置Spider线程的数量。run方法用于启动Spider.
示例代码如下;
public static void main(String[] args) {
Spider.create(new GithubRepoPageProcessor()).addUrl("https://github.com/code4craft").thread(5).run();
}
在thread方法中。首先用checkIfRunning()检查运行状态，如果已经在运行则抛出异常。
public Spider thread(int threadNum) {
this.checkIfRunning();
this.threadNum = threadNum;
if(threadNum <= 0) {
throw new IllegalArgumentException("threadNum should be more than one!");
} else {
return this;
}
}
protected void checkIfRunning() {
if(this.stat.get() == 1) {
throw new IllegalStateException("Spider is already running!");
}
}
接下来进入run方法，在checkRunningStat()方法中设置spider为运行状态，设置成功以后用一个while循环判断
在线程不中断且Spider成功设置为运行状态下，当请求不为空时开始执行线程；当请求为空时，如果有活跃的线程就等待新加入的url继续执行，没有就退出循环。
如果线程中断或者Spider不在运行状态中，将Spider的状态设为停止，并释放资源。
public void run() {
this.checkRunningStat();
this.initComponent();
this.logger.info("Spider {} started!", this.getUUID());
while(!Thread.currentThread().isInterrupted() && this.stat.get() == 1) {
final Request request = this.scheduler.poll(this);
if(request == null) {
if(this.threadPool.getThreadAlive() == 0 && this.exitWhenComplete) {
break;
}
this.waitNewUrl();
} else {
this.threadPool.execute(new Runnable() {
public void run() {
try {
Spider.this.processRequest(request);
Spider.this.onSuccess(request);
} catch (Exception var5) {
Spider.this.onError(request);
Spider.this.logger.error("process request " + request + " error", var5);
} finally {
Spider.this.pageCount.incrementAndGet();
Spider.this.signalNewUrl();
}
}
});
}
}
this.stat.set(2);
if(this.destroyWhenExit) {
this.close();
}
this.logger.info("Spider {} closed! {} pages downloaded.", this.getUUID(), Long.valueOf(this.pageCount.get()));
}
接下来就是创建GithubRepoPageProcessor类，用网上一个比较简单的例子来分析，代码如下：
public class GithubRepoPageProcessor implements PageProcessor {
// 抓取网站的相关配置，包括编码、抓取间隔、重试次数等
private Site site = Site.me().setRetryTimes(3).setSleepTime(100);
private static int count =0;
@Override
public Site getSite() {
return site;
}
@Override
public void process(Page page) {
//判断链接是否符合http://www.cnblogs.com/任意个数字字母-/p/7个数字.html格式
if(!page.getUrl().regex("http://www.cnblogs.com/[a-z 0-9 -]+/p/[0-9]{7}.html").match()){
//加入满足条件的链接
page.addTargetRequests(
page.getHtml().xpath("//*[@id=\"post_list\"]/div/div[@class='post_item_body']/h3/a/@href").all());
}else{
//获取页面需要的内容
System.out.println("抓取的内容："+
page.getHtml().xpath("//*[@id=\"Header1_HeaderTitle\"]/text()").get()
);
count ++;
}
}
}
其中有两个核心方法：
public void process(Page page)：通过page对象实现爬虫逻辑。addTargetRequests可以添加url到待抓取的队列，page.getHtml().xpath()则是按照某个规则对结果进行抽取
public Site getSite()：site对象定义了编码、抓取间隔、重试次数等信息。
还有一些其他的方法及介绍如下所示：
.$("div.title") //css 选择，Java里虽然很少有$符号出现，不过貌似$作为方法名是合法的
.xpath("//@href") //提取链接
.regex(".*blog.*") //正则匹配过滤
.all(); //转换为string列表
