Java 杂谈Android学习

深入理解Jsoup解析器API与实际运用

2019-05-21  本文已影响0人  爱学习的蹭蹭

1、前言简要

C#的叫Nsoup
Nsoup GitHub
jsoup英文官方网
jsoup中文文官方网

2、为什么对JSOUP尤为深刻？

3、 解析和遍历一个HTML文档

public class Test1 {

    public static void main(String[] args) {
        String html = "<html><head><title>First parse</title></head>"
                + "<body><p>Parsed HTML into a doc.</p></body></html>";
        Document doc = Jsoup.parse(html);
        //把p标签的內容打印出来
        System.out.println(doc.select("p").text());
    }
}

存在问题

描述

4、从一个URL加载一个Document

public class Test2 {

    public static void main(String[] args) throws Exception {
        //定义一个URL地址
        String url   = "https://www.csdn.net/";
        //定义一个代理
        String agent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)"
                + "  Chrome/56.0.2924.87 Safari/537.36";
        Document doc = Jsoup.connect(url).ignoreContentType(true).userAgent(agent)
                // ignoreHttpErrors
                // 这个很重要 否则会报HTTP error fetching URL. Status=404
                .ignoreHttpErrors(true) // 这个很重要
                .timeout(3000).get();
        
        // class=company_list > li > div#class=content
        // 找到样式为company_list的标签所有的li标签，再li下面的标签所有div样式为content的标签的信息

        Elements contents = doc.getElementsByClass("company_list").select("li").select("div[class=content]");
        for (Element node : contents) {
            //遍历所有p标签的文本内容
            Elements selects = node.select("p");
            selects.forEach(obj ->{
                String text = obj.text();
                System.out.println(text);
            });
        }
    }
}

5、使用DOM方法来遍历一个本地存在文件内容

File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");

Element content = doc.getElementById("content");
Elements links = content.getElementsByTag("a");
for (Element link : links) {
  String linkHref = link.attr("href");
  String linkText = link.text();
}

6、Elements对象的API方法

查找元素

元素数据

attr(String key)获取属性attr(String key, String value)设置属性
attributes()获取所有属性
id(), className() and classNames() 通过标签的id，css的类名称，所有css的类名称获取信息
text()获取文本内容text(String value) 设置文本内容
html()获取元素内HTMLhtml(String value)设置元素内的HTML内容
outerHtml()获取元素外HTML内容
data()获取数据内容（例如：script和style标签)
tag() and tagName() 获取标签和标签名称

操作HTML和文本

append(String html), prepend(String html)
appendText(String text), prependText(String text)
appendElement(String tagName),prependElement(String tagName)
html(String value)

7、使用选择器语法来查找元素

File input   = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");

Elements links = doc.select("a[href]"); //带有href属性的a元素
Elements pngs  = doc.select("img[src$=.png]");//扩展名为.png的图片

Element masthead     = doc.select("div.masthead").first();//class等于masthead的div标签
Elements resultLinks = doc.select("h3.r > a"); //在h3元素之后的a元素
  • jsoup elements对象支持类似于CSS (或jquery)的选择器语法，来实现非常强大和灵活的查找功能。
  • 这个select 方法在Document, Element,或Elements对象中都可以使用。且是上下文相关的，因此可实现指定元素的过滤，或者链式选择访问。
  • Select方法将返回一个Elements集合，并提供一组方法来抽取和处理结果。

Selector选择器概述

Selector选择器组合使用

伪选择器selectors

注意：上述伪选择器索引是从0开始的，也就是说第一个元素索引值为0，第二个元素index为1等
可以查看Selector API参考来了解更详细的内容

8、从元素抽取属性，文本和HTML

String html = "<p>An <a href='http://example.com/'><b>example</b></a> link.</p>";
Document doc = Jsoup.parse(html);//解析HTML字符串返回一个Document实现
Element link = doc.select("a").first();//查找第一个a元素

String text = doc.body().text(); // "An example link"//取得字符串中的文本
String linkHref = link.attr("href"); // "http://example.com/"//取得链接地址
String linkText = link.text(); // "example""//取得链接地址中的文本

String linkOuterH = link.outerHtml(); 
    // "<a href="http://example.com"><b>example</b></a>"
String linkInnerH = link.html(); // "<b>example</b>"//取得链接内的html内容

说明

参见

9、 获取所有链接

public class ListLinks {
    public static void main(String[] args) throws IOException {
        Validate.isTrue(args.length == 1, "usage: supply url to fetch");
        String url = args[0];
        print("Fetching %s...", url);

        Document doc = Jsoup.connect(url).get();
        Elements links = doc.select("a[href]");
        Elements media = doc.select("[src]");
        Elements imports = doc.select("link[href]");

        print("\nMedia: (%d)", media.size());
        for (Element src : media) {
            if (src.tagName().equals("img"))
                print(" * %s: <%s> %sx%s (%s)",
                        src.tagName(), src.attr("abs:src"), src.attr("width"), src.attr("height"),
                        trim(src.attr("alt"), 20));
            else
                print(" * %s: <%s>", src.tagName(), src.attr("abs:src"));
        }

        print("\nImports: (%d)", imports.size());
        for (Element link : imports) {
            print(" * %s <%s> (%s)", link.tagName(),link.attr("abs:href"), link.attr("rel"));
        }

        print("\nLinks: (%d)", links.size());
        for (Element link : links) {
            print(" * a: <%s>  (%s)", link.attr("abs:href"), trim(link.text(), 35));
        }
    }

    private static void print(String msg, Object... args) {
        System.out.println(String.format(msg, args));
    }

    private static String trim(String s, int width) {
        if (s.length() > width)
            return s.substring(0, width-1) + ".";
        else
            return s;
    }
}

10、 消除不受信任的HTML (来防止XSS攻击)

String unsafe = 
  "<p><a href='http://example.com/' onclick='stealCookies()'>Link</a></p>";
String safe = Jsoup.clean(unsafe, Whitelist.basic());
// now: <p><a href="http://example.com/" rel="nofollow">Link</a></p>

说明

XSS又叫CSS (Cross Site Script) ，跨站脚本攻击。它指的是恶意攻击者往Web页面里插入恶意html代码，当用户浏览该页之时，嵌入其中Web里面的html代码会被执行，从而达到恶意攻击用户的特殊目的。XSS属于被动式的攻击，因为其被动且不好利用，所以许多人常忽略其危害性。所以我们经常只让用户输入纯文本的内容，但这样用户体验就比较差了。

一个更好的解决方法就是使用一个富文本编辑器WYSIWYG如CKEditor 和 TinyMCE。这些可以输出HTML并能够让用户可视化编辑。虽然他们可以在客户端进行校验，但是这样还不够安全，需要在服务器端进行校验并清除有害的HTML代码，这样才能确保输入到你网站的HTML是安全的。否则，攻击者能够绕过客户端的Javascript验证，并注入不安全的HMTL直接进入您的网站。

jsoup的whitelist清理器能够在服务器端对用户输入的HTML进行过滤，只输出一些安全的标签和属性。

jsoup提供了一系列的Whitelist基本配置，能够满足大多数要求；但如有必要，也可以进行修改，不过要小心。

这个cleaner非常好用不仅可以避免XSS攻击，还可以限制用户可以输入的标签范围。

参见

参阅 XSS cheat sheetl，有一个例子可以了解为什么不能使用正则表达式，而采用安全的whitelist parser-based
清理器才是正确的选择。
参阅Cleaner ，了解如何返回一个 Document 对象，而不是字符串
参阅Whitelist
，了解如何创建一个自定义的whitelist
nofollow 链接属性了解

11、学习Demo工程

Lucene与jsoup整合源码地址
Jsoup解析html代码,与httpclient重定向的处理~
常见的jsoup使用例子

上一篇 下一篇

猜你喜欢

热点阅读