java爬虫Jsoup简单学习

啥是jsoup？

jsoup我就不巴拉巴拉了，具体介绍百度或者去官网查看。

jsoup怎么用？

jsoup和jquery的操作相似，下面简单使用一下。

使用jsoup大概也就以下几个步骤：

获取整个html文档

使用选择器获取需要爬的数据节点集合

循环遍历使用选择器获取相应数据

实例

这是项目结构也就普通的一个测试项目，需要导入jsoup-x.xx.x.jar包，然后建一个实体类。

 我们就拿这个叽歪笑话来说。

 每一个笑话对应一个div。

创建一个测试main方法通过Jsoup.conect(url).get();方法获取相应整个html页面

然后通过select方法。select方法跟jquery选择器类似，可以通过 .，#，属性等选择标签。

注意：这里选择器选择所有class为xh的节点也就是上文所有的笑话节点集合

然后循环节点集合

然后根据节点的class属性获取相应的节点然后text（）方法获取节点文本。然后运行输出。

附上运行结果：

jsoup可玩性挺大的，过年，过节爬爬火车票啥的。简单介绍就到这儿了。                                                       欢迎工作一到五年的Java工程师朋友们加入Java群： 891219277

群内提供免费的Java架构学习资料（里面有高可用、高并发、高性能及分布式、Jvm性能调优、Spring源码，MyBatis，Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多个知识点的架构资料）合理利用自己每一分每一秒的时间来学习提升自己，不要再用"没有时间“来掩饰自己思想上的懒惰！趁年轻，使劲拼，给未来的自己一个交代！