生活随笔
收集整理的這篇文章主要介紹了
jsoup的介绍使用(转)
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
jsoup文檔: http://www.open-open.com/jsoup/
原鏈接: http://www.oschina.net/question/12_14127
?
jsoup 簡介 Java 程序在解析 HTML 文檔時,相信大家都接觸過 htmlparser 這個開源項目,我曾經在 IBM DW 上發表過兩篇關于 htmlparser 的文章,分別是:從HTML中攫取你所需的信息 和擴展 HTMLParser 對自定義標簽的處理能力。但現在我已經不再使用 htmlparser 了,原因是 htmlparser 很少更新,但最重要的是有了 jsoup 。 jsoup 是一款 Java 的HTML 解析器,可直接解析某個URL地址、HTML文本內容。它提供了一套非常省力的API,可通過DOM,CSS以及類似于jQuery的操作方法來取出和操作數據。 jsoup的主要功能如下: ?? 1. 從一個URL,文件或字符串中解析HTML; ?? 2. 使用DOM或CSS選擇器來查找、取出數據; ?? 3. 可操作HTML元素、屬性、文本; jsoup是基于MIT協議發布的,可放心使用于商業項目。 jsoup 的主要類層次結構如下圖所示: 接下來我們專門針對幾種常見的應用場景舉例說明 jsoup 是如何優雅的進行 HTML 文檔處理的。文檔輸入 jsoup 可以從包括字符串、URL地址以及本地文件來加載 HTML 文檔,并生成 Document 對象實例。 下面是相關代碼:
02 String html =? "<html><head><title>開源中國社區</title></head>"
03 ??+? "<body><p>這里是 jsoup 項目的相關文章</p></body></html>";
04 Document doc = Jsoup.parse(html);
07 Document doc = Jsoup.connect("http://www.oschina.net/").get();
08 String title = doc.title();
10 Document doc = Jsoup.connect("http://www.oschina.net/")
11 ??.data("query",? "Java")??? //請求參數
12 ??.userAgent("I’m jsoup")? //設置User-Agent
13 ??.cookie("auth",? "token")? //設置cookie
14 ??.timeout(3000)??????????? //設置連接超時時間
15 ??.post();????????????????? //使用POST方法訪問URL
18 File input =? new? File("D:/test.html");
19 Document doc = Jsoup.parse(input,"UTF-8","http://www.oschina.net/");
?
請大家注意最后一種 HTML 文檔輸入方式中的 parse 的第三個參數,為什么需要在這里指定一個網址呢(雖然可以不指定,如第一種方法)?因為 HTML 文檔中會有很多例如鏈接、圖片以及所引用的外部腳本、css文件等,而第三個名為 baseURL 的參數的意思就是當 HTML 文檔使用相對路徑方式引用外部文件時,jsoup 會自動為這些 URL 加上一個前綴,也就是這個 baseURL。? 例如 <a href=/project>開源軟件</a> 會被轉換成 <a href=http://www.oschina.net/project>開源軟件</a>。? 解析并提取 HTML 元素 ? 這部分涉及一個 HTML 解析器最基本的功能,但 jsoup 使用一種有別于其他開源項目的方式——選擇器,我們將在最后一部分詳細介紹 jsoup 選擇器,本節中你將看到 jsoup 是如何用最簡單的代碼實現。? 不過 jsoup 也提供了傳統的 DOM 方式的元素解析,看看下面的代碼:
1 File input =? new? File("D:/test.html");
2 Document doc = Jsoup.parse(input,? "UTF-8",? "http://www.oschina.net/");
4 Element content = doc.getElementById("content");
5 Elements links = content.getElementsByTag("a");
6 for? (Element link : links) {
7 ??String linkHref = link.attr("href");
8 ??String linkText = link.text();
你可能會覺得 jsoup 的方法似曾相識,沒錯,像 getElementById 和 getElementsByTag 方法跟 JavaScript 的方法名稱是一樣的,功能也完全一致。你可以根據節點名稱或者是 HTML 元素的 id 來獲取對應的元素或者元素列表。? 與 htmlparser 項目不同的是,jsoup 并沒有為 HTML 元素定義一個對應的類,一般一個 HTML 元素的組成部分包括:節點名、屬性和文本,jsoup 提供簡單的方法供你自己檢索這些數據,這也是 jsoup 保持瘦身的原因。? 而在元素檢索方面,jsoup 的選擇器簡直無所不能,
01 File input =? new? File("D:\test.html");
02 Document doc = Jsoup.parse(input,"UTF-8","http://www.oschina.net/");
04 Elements links = doc.select("a[href]");? // 具有 href 屬性的鏈接
05 Elements pngs = doc.select("img[src$=.png]");//所有引用png圖片的元素
08 Element masthead = doc.select("div.masthead").first();
09 // 找出定義了 class="masthead" 的元素
11 Elements resultLinks = doc.select("h3.r > a");? // direct a after h3
這是 jsoup 真正讓我折服的地方,jsoup 使用跟 jQuery 一模一樣的選擇器對元素進行檢索,以上的檢索方法如果換成是其他的 HTML 解釋器,至少都需要很多行代碼,而 jsoup 只需要一行代碼即可完成。 jsoup 的選擇器還支持表達式功能,我們將在最后一節介紹這個超強的選擇器。
修改數據 在解析文檔的同時,我們可能會需要對文檔中的某些元素進行修改,例如我們可以為文檔中的所有圖片增加可點擊鏈接、修改鏈接地址或者是修改文本等。 下面是一些簡單的例子:
1 doc.select("div.comments a").attr("rel",? "nofollow");
2 //為所有鏈接增加 rel=nofollow 屬性
4 doc.select("div.comments a").addClass("mylinkclass");
5 //為所有鏈接增加 class="mylinkclass" 屬性
7 doc.select("img").removeAttr("onclick");? //刪除所有圖片的onclick屬性
9 doc.select("input[type=text]").val("");? //清空所有文本輸入框中的文本
?
道理很簡單,你只需要利用 jsoup 的選擇器找出元素,然后就可以通過以上的方法來進行修改,除了無法修改標簽名外(可以刪除后再插入新的元素),包括元素的屬性和文本都可以修改。 修改完直接調用 Element(s) 的 html() 方法就可以獲取修改完的 HTML 文檔。
HTML 文檔清理 jsoup 在提供強大的 API 同時,人性化方面也做得非常好。在做網站的時候,經常會提供用戶評論的功能。有些用戶比較淘氣,會搞一些腳本到評論內容中,而這些腳本可能會破壞整個頁面的行為,更嚴重的是獲取一些機要信息,例如 XSS 跨站點攻擊之類的。 jsoup 對這方面的支持非常強大,使用非常簡單。看看下面這段代碼:
1 String unsafe =? "<p><a href='http://www.oschina.net/' onclick='stealCookies()'>開源中國社區</a></p>";
2 String safe = Jsoup.clean(unsafe, Whitelist.basic());
4 // <p><a href="http://www.oschina.net/" rel="nofollow">開源中國社區</a></p>
?
jsoup 使用一個 Whitelist 類用來對 HTML 文檔進行過濾,該類提供幾個常用方法:
如果這五個過濾器都無法滿足你的要求呢,例如你允許用戶插入 flash 動畫,沒關系,Whitelist 提供擴展功能,例如 whitelist.addTags("embed","object","param","span","div"); 也可調用 addAttributes 為某些元素增加屬性。
jsoup 的過人之處——選擇器 前面我們已經簡單的介紹了 jsoup 是如何使用選擇器來對元素進行檢索的。本節我們把重點放在選擇器本身強大的語法上。下表是 jsoup 選擇器的所有語法詳細列表。 基本用法
以上是最基本的選擇器語法,這些語法也可以組合起來使用,下面是 jsoup 支持的組合用法:
除了一些基本的語法以及這些語法進行組合外,jsoup 還支持使用表達式進行元素過濾選擇。下面是 jsoup 支持的所有表達式一覽表:
總結 jsoup 的基本功能到這里就介紹完畢,但由于 jsoup 良好的可擴展性 API 設計,你可以通過選擇器的定義來開發出非常強大的 HTML 解析功能。再加上 jsoup 項目本身的開發也非常活躍,因此如果你正在使用 Java ,需要對 HTML 進行處理,不妨試試。
轉載于:https://www.cnblogs.com/ry123/p/3682749.html
總結
以上是生活随笔 為你收集整理的jsoup的介绍使用(转) 的全部內容,希望文章能夠幫你解決所遇到的問題。
如果覺得生活随笔 網站內容還不錯,歡迎將生活随笔 推薦給好友。