android利用正则设计的爬虫工具
2017-05-04 本文已影响66人
Zzzia
android利用正则设计的爬虫工具
看过Jsoup之类的爬虫工具，觉得不太简洁，因为有时候爬虫并不需要爬大量数据。平时自己也是用正则匹配来爬取网页上的一些内容，还觉得挺方便。这几天把自己的这种抓数据策略封装了一下，感觉还挺好用的，分享一下。
因为是临时想到的，所以封装的时间也不多，很多地方也没想
github地址（里面有demo）觉得有用希望点个赞哦~有问题或者建议请提出来，有时间立即改善。
这里以新浪新闻为例，抓取网页中所有新闻的图片链接和标题
为了体现这个工具的简单粗暴，这里先把关键代码展示出来O(∩_∩)O
MyRegex myRegex = new MyRegex();
//开启log输出
myRegex.setIsLog(true);
//https://sina.cn/?vt=3是手机版的链接
//电脑版网页涉及多种正则，由于赶时间懒得写代码了O__O "…
myRegex.build("https://sina.cn/?vt=3", new MyRegex.BuildCallback() {
@Override
public void onFinish(MyRegex myRegex) {
//关键步骤就仅仅这三步
myRegex.RegexInclude("<img","/>");//id == 1，先解析一部分
myRegex.RegexExcept("alt=\"","\"");//id == 2，解析标题
myRegex.RegexExcept("data-src=\"","\"",3,1);//id == 3，解析图片链接
//将解析后的数据保存在集合里使用
List<String> titleList = myRegex.regexList.get(2);
List<String> imgList = myRegex.regexList.get(3);
}
});
下面展示一下怎么具体地去设置这些参数
-
首先去链接里查看原始html，自己分析一下
1.png
2.png
发现所有的新闻有上面两张图两种格式。
-
观察这两种新闻的格式，不难发现，主体部分都是由< img（内容）/>包装的，我们需要获取这个包装，使用方法
myRegex.RegexInclude("<img","/>");//第一次解析
就将包括标签在内的解析内容全部存放在了工具类中的集合里。
那么，保存在集合里第几个位置呢？
只需要看这是第几次解析就可以了，从1开始，每次解析保存的位置加一。
-
例如，如果我想保存这次解析的内容，那么用以下方法，括号内参数为解析的次数
List<String> contentList = myRegex.regexList.get(1);
当然，现在拿到的数据并不是我们需要的，我们需要将这些数据再次解析。
这些数据的格式
-
我们需要得到data-src="（内容）"这里面的图片链接，并且需要得到alt="（内容）“这里面的标题。
之前的方法将会把外壳也一起匹配下来，所以不行，用Except方法
myRegex.RegexExcept("alt=\"","\"");//第2次解析，解析的标题和前面的操作很像吧，还是把这外壳当做参数放进去，获取到了标题
-
最后需要获取图片链接
由于继续解析的话会解析上一次解析后的数据，所以这次解析的数据必须是第1次解析后的数据
使用这个方法
这里的第三个参数就是当前的解析次数。第四个参数是目标解析次数，这里我们需要解析第1次后的数据，所以填1
myRegex.RegexExcept("data-src=\"","\"",3,1);//第3次解析
最后保存数据
List<String> titleList = myRegex.regexList.get(2);//将第2次的解析内容保存到标题集合
List<String> imgList = myRegex.regexList.get(3);//将第3次的解析内容保存到图片地址集合
