Jsoup学习小案例

• 使用Jsoup我们的目的就是要获取网页的数据
  根据中文文档学习

主要是数据的抽取：

1.使用dom方法来遍历一个Document对象

• api

1)遍历DOM查找元素

• getElementById(String id)：通过id来获取
• getElementsByTag(String tagName)：通过标签名字来获取
• getElementsByClass(String className)：通过类名来获取
• getElementsByAttribute(String key)：通过属性名字来获取
• getElementsByAttributeValue(String key, String value)：通过指定的属性名字，属性值来获取
• getAllElements()：获取所有元素

元素数据.png

2)选择器查找

######## public Elements select(String cssQuery)
选择器的更多语法(可以在org.jsoup.select.Selector中查看到更多关于选择器的语法)：

• tagname: 通过标签查找元素，比如：a
• ns|tag: 通过标签在命名空间查找元素，比如：可以用 fb|name 语法来查找 <fb:name> 元素
• 井id: 通过ID查找元素，比如：#logo
• class: 通过class名称查找元素，比如：.masthead.
  其他不常用的就在文首的连接中去查询。

使用案例

感谢 jsoup案例

我们来爬取下蝉游记

网站图.png

爬取效果图：

效果爬取图.png

观察网页解构

网页解构图.png

在图中我们可以看到每个article标志就是每篇文章的信息。每篇article外层是被 class名为" trip-list-v2 clearfix "的div包裹。每个article下还有一层div,该div下有多个child(div.h1.p.a这些标签都是属于文章的儿子)。分析之后。我们就可以根据他们的id名，或者class名，属性来抽取我们想要的值。

代码

你可以在Activity中爬取，也可以创建一个类，创建main(String[] args)入口来进行测试爬取。

public class JsoupData {
    public static void main(String[] args) throws IOException {
        String neutrl = "http://chanyouji.com/";
        String userAgent = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3423.2 Safari/537.36";
        Connection connect = Jsoup.connect(neutrl);
        connect.header("User-Agent", userAgent);
        Document doc = connect.timeout(5 * 1000).get();
        Element elementDiv = doc.getElementsByClass("trip-list-v2 clearfix").first();
        Elements elementsArticle = elementDiv.getElementsByTag("article");
        for (int i = 0; i < elementsArticle.size(); i++) {
            Element eles = elementsArticle.get(i).child(0);//在article下有多个child
            Elements children = eles.children();
            String title = children.get(1).text();
            String conment = eles.getElementsByTag("p").text();
            String img = children.get(0).select("img").attr("src");
            System.out.print(title + "\n" + conment + "\n" + img + "\n");
        }
    }
}

代码讲解

1.创建类，并创建main方法入口。
2.设置自己想爬取的网址
3.设置userAgent，设置伪装成浏览器。
userAgent的地址。打开自己的浏览器。按f12。

image.png

。复制下就可以了。
4.开始抽取，前面我们都分析过了。

Element elementDiv = doc.getElementsByClass("trip-list-v2 clearfix").first();

根据“trip-list-v2 clearfix”这个类名，获取到Elements列表。我们取他第一个，这样子我们就拿到了trip-list-v2 clearfix名的div容器。里面包含很多aricle。

 Elements elementsArticle = elementDiv.getElementsByTag("article");

这样我们就拿到了文章列表。循环遍历每篇文章，获取文章中的信息。
开始遍历

 for (int i = 0; i < elementsArticle.size(); i++) {
            Element eles = elementsArticle.get(i).child(0);//在article下的第一个div class=inner的
            Elements children = eles.children();//获取class=inner的儿子们
            String title = children.get(1).text();//标题在class=inner的第二个儿子，下标为1。
            String conment = eles.getElementsByTag("p").text();//也可以不用class=inner的儿子的位置来索引。直接用p这个标签来索引是一样的。
            String img = children.get(0).select("img").attr("src");//图片的地址在class=inner的第一个儿子div下。用 children.get(0)获取到这个div.用select("img")，这个选择器来选择img.并获取到src属性下的地址。
            System.out.print(title + "\n" + conment + "\n" + img + "\n");
        }

遍历的分析在上面的代码中。
5.运行该类。就能得到我们想要的数据了。

实例2

爬取美食天下地址

目标图.png
网页分析
image.png

爬取效果图

image.png

代码

public class JsoupData {
    public static void main(String[] args) throws IOException {

        String userAgent="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36";
        Connection connection= Jsoup.connect("https://home.meishichina.com/show-top-type-recipe-page-1.html");
        connection.header("User-Agent",userAgent);
        Document document=connection.timeout(5*1000).get();
        Element div_ul = document.getElementById("J_list");
        Element ul = div_ul.getElementsByTag("ul").first();
        Elements li = ul.getElementsByTag("li");
        for (int i = 0; i < li.size(); i++) {
            Element childpic = li.get(i).child(0);//第一个div
            String pic= childpic.getElementsByTag("img").attr("data-src");//获取图片地址，虽然有多层级，但是img的标签只有一个，可以直接来获取
            Element childdetails = li.get(i).child(1);//这是细节div
            String title = childdetails.getElementsByTag("h2").text();//在细节div下找到h2标签
            String who=childdetails.getElementsByClass("subline").first().getElementsByTag("a").text();
            String yuanliao = childdetails.getElementsByClass("subcontent").text();
            System.out.print(title+"\n原料:"+yuanliao+"\n图片地址:"+pic+"\n"+"发布者:"+who+"\n");
        }
    }
}

注意:

image.png

上面获取图片写src，是获取不到完整的，断点调试发现用data-src能获取到。