省市区数据获取（二） - Jsoup解析网页获取
聊骚
在 省市区数据获取 - 源数据 这里，我们知道从哪里找到数据，但是我们还没有提取出数据。人工的方式固然可取，但是需要花费较多的时间，很浪费。所以我们当然是要用程序获取。
这里我用jsoup来解析我们爬取到的网页数据。
准备
- jsoup jar包
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.11.3</version>
</dependency>
- Lombok
本项目依赖lombok，所以有兴趣看源码的，需要有lombok的依赖。源码在最后。
小小分析一波
从上一篇我们知道得到省市区对应的网页url。
# 查看省份数据
http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2017/index.html
# 查看广东省市级数据
http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2017/44.html
# 查看广州市区级数据
http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2017/44/4401.html
我们发现这个是有规律的，44是广东省的区划代码，而4401是广州市的区划代码，前面的http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2017/这一大串都是一样的，我们就叫commonUrl。规律就是：
# 获取省的数据
commonUrl + index.html
# 获取市级数据
commonUrl + 对应省级区划代码.html
# 获取县区级数据
commonUrl + 对应省级区划代码 + / + 对应市级区划代码.html
所以我们得到省级区划代码就能获取到所有市级的数据（包括市级的区划代码），也就能获取对应的县区级数据了。
网页数据解析
省级数据
我们看下省级数据的html格式:
<table class='provincetable' width=775>
<tr>
<td colspan=8 height=1 style='FONT-SIZE: 5px'> </td>
</tr>
<tr class='provincehead'>
<td colspan=8 align='center' style='FONT-SIZE: 16px' height=39
vAlign='center' background='images/tiao.jpg'>
<strong>2017年统计用区划代码和城乡划分代码(截止2017年10月31日)</strong></td>
</tr>
<tr class='provincetr'>
<td><a href='11.html'>北京市<br/></a></td>
<td><a href='12.html'>天津市<br/></a></td>
......
</tr>
<tr class='provincetr'>
<td><a href='31.html'>上海市<br/></a></td>
<td><a href='32.html'>江苏省<br/></a></td>
......
</tr>
<tr class='provincetr'>
<td><br/></td>
<td><br/></td>
</tr>
</table>
从上面可以知道我们所有的省级数据都是在 class='provincetr' 的 tr 下面。但是又看到有些是没有数据，然后对应的省级区划代码是嵌在 a 标签的 href 属性里面的。
那么我们只要获取所有 class='provincetr' 的 tr 下的 a 标签就能得到所有的省级数据了。这样也过滤掉没有数据的tr, 然后我们解析 a 标签的 href 属性和 text 数据就能得到所有的省级数据了。
代码如下：
public static void parseProvince(String url) {
String htmlStr = HttpClientUtils.httpGetRequest(url, "GBK");
Document document = Jsoup.parse(htmlStr);
// 获取 class='provincetr' 的元素
Elements elements = document.getElementsByClass("provincetr");
List<Node> provinces = new LinkedList<>();
for (Element element : elements) {
// 获取 elements 下属性是 href 的元素
Elements links = element.getElementsByAttribute("href");
for (Element link : links) {
String provinceName = link.text();
String href = link.attr("href");
String provinceCode = href.substring(0, 2);
log.info("provinceName: " + provinceName + ", provinceCode: " + provinceCode);
Node provinceNode = Node.builder()
.code(provinceCode)
.name(provinceName)
.build();
parseCity(COMMON_URL + href, provinceNode);
provinces.add(provinceNode);
}
}
log.info(new Gson().toJson(provinces));
}
市级数据
因为市级数据是要根据省级的区划代码的，所以从上面的代码看的到，我们解析出省级的区划代码用于解析市级数据。
看看关键的html
<tr class='citytr'>
<td><a href='36/3601.html'>360100000000</a></td>
<td><a href='36/3601.html'>南昌市</a></td>
</tr>
<tr class='citytr'>
<td><a href='36/3602.html'>360200000000</a></td>
<td><a href='36/3602.html'>景德镇市</a></td>
</tr>
从html的代码看出，我们只要获取到所有的class='citytr'的tr就能将市级数据获取到，然后解析里面的a标签获取到区划代码和市级名称。
具体的代码如下：
public static void parseCity(String url, Node provinceNode) {
String htmlStr = HttpClientUtils.httpGetRequest(url, "GBK");
Document document = Jsoup.parse(htmlStr);
Elements trs = document.getElementsByClass("citytr");
List<Node> cities = new LinkedList<>();
for (Element tr : trs) {
Elements links = tr.getElementsByTag("a");
String href = links.get(0).attr("href");
String cityCode = links.get(0).text().substring(0, 4);
String cityName = links.get(1).text();
log.info(" cityName: " + cityName + ", cityCode: " + cityCode);
Node cityNode = Node.builder()
.name(cityName)
.code(cityCode)
.build();
parseCounty(COMMON_URL + href, cityNode);
cities.add(cityNode);
}
provinceNode.setNodes(cities);
}
县区数据
县区数据的获取依赖于市级的区划代码，所以在上面的代码也能看出将数据往下传递。解析和市级是大同小异的。
下面是关键的html：
<tr class='countytr'>
<td>361101000000</td>
<td>市辖区</td>
</tr>
<tr class='countytr'>
<td><a href='11/361102.html'>361102000000</a></td>
<td><a href='11/361102.html'>信州区</a></td>
</tr>
<tr class='countytr'>
<td><a href='11/361103.html'>361103000000</a></td>
<td><a href='11/361103.html'>广丰区</a></td>
</tr>
好吧！代码都不想贴了。这样我们就把省市县区的数据拿到手了。不用人工去处理了。
在上面的代码中，我在控制台打印了所有的省市区的数据，并在最后转换成json格式输出。
问题
但是我们的数据是要保存到数据库中的，难道一条条的写插入语句？如果前端需要json格式和我们目前打印的不一样呢？
这还不简单，在程序中加入生成sql的语句，然后再数据库执行就好了；json格式不一样，那就修改成他们想要的格式。
那么问题又来了，哪天我想查询出省市区所在的坐标。又或者我只想打印sql语句，或想打印sql和json，或想只打印gps的经纬度，或sql、json、gps都打印。总之就是这三者的各种组合，也可能我又想加一种打印方式。难道都去改代码吗？那代码都要改烂了。
这种场景正好是装饰器模式的应用场景。下篇 省市区数据获取 - 装饰器适应不同需求 我们用装饰器处理我们在上面提出来的问题。
源码地址
CityStats.java 就是
