• jsoup無法爬取動態(tài)的ajax界面，百度了許久之后有人說htmlunit等爬蟲工具可以支持模擬瀏覽器行為，百度上查了htmlunit的簡單用法，爬取虎牙直播分欄的js鏈接。模擬點(diǎn)擊。獲取點(diǎn)擊后的下一個頁面。
• 有人說用htmlunit獲取不到ajax的頁面，答案是錯誤的，用htmlunit可以獲取點(diǎn)擊后的頁面源碼，但是使用很有條件，對于輸出。他只能打印一個js行為，也就是如果你界面上有多喝動態(tài)生成的頁面按鈕比如2.3.4**下一個。你要做的只能選擇一個。如果想選擇遍歷所有，看來還是要選擇下一頁，然后將下一頁再從新執(zhí)行同樣的操作（我沒有這樣試過不知道行不行，我用的是另外方法）。想想就很煩，并且htmlunit加載js很慢，如果爬取效率特別低。但是代碼以及測試簡單給大家：
• 有個重要點(diǎn)就是一定要有thread.sleep();可能js執(zhí)行慢需要反應(yīng)吧，沒有這句話會經(jīng)常抓不到。

import java.io.IOException; import java.util.ArrayList; import java.util.List;import com.gargoylesoftware.htmlunit.BrowserVersion; import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController; import com.gargoylesoftware.htmlunit.WebClient; import com.gargoylesoftware.htmlunit.html.HtmlAnchor; import com.gargoylesoftware.htmlunit.html.HtmlPage;public class HTMLunit {public static void main(String[] args) throws IOException, InterruptedException{final WebClient webClient = new WebClient(BrowserVersion.CHROME);webClient.getOptions().setTimeout(2000);//webClient.getOptions().getTimeout();webClient.getOptions().setJavaScriptEnabled(true);webClient.getOptions().setThrowExceptionOnScriptError(false); webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);webClient.getOptions().setActiveXNative(false); webClient.getOptions().setCssEnabled(false); // webClient.waitForBackgroundJavaScript(600*1000); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); HtmlPage page=webClient.getPage("https://www.huya.com/g/wzry"); Listanchors=page.getAnchors();//System.out.println(anchors);Listjsanchors=new ArrayList();for(HtmlAnchor anchor:anchors){ String href=anchor.getAttribute("href");/** 抓取js的鏈接*/if(href.startsWith("javascript:")){ {jsanchors.add(anchor);}}else if("#".equals(href)){if(anchor.hasAttribute("onclick")){jsanchors.add(anchor);}}}HtmlAnchor t1=jsanchors.get(0);HtmlPage newpage=t1.click();Thread.sleep(1000);System.out.println(newpage.asText()); // for(HtmlAnchor anchor:jsanchors) // { // /* // * 這段話會失敗，因?yàn)閔tmlunit只能執(zhí)行一次 會輸出相同頁 // */ // Thread.sleep(600); // HtmlPage newpage=anchor.click(); // Thread.sleep(600); // System.out.print(newpage.asText()); // // } } }

輸出：

大喬 孫臏 可篩選熱門英雄啦！ 美女 質(zhì)量局 來一波5排好撒 Song 1623 絕跡國一Pro程，單排上王者～ 寒夜 1533 單排只用小喬-契約之戰(zhàn)-狂鐵 東辰-子軒 1527 我真的不da野，是野怪先動的手 LYG丶七魚 1517 國服劉備，一天一個王者 袖天-狠人 1499 小賤;賠錢虎野區(qū)霸主 鉆上星耀上王者 東辰-小賤 1497 新秀happy：中午跟佳哥，天才哥打五排 happy 1494

• 雖然這種方式不太好，但是也能將就抓取小數(shù)據(jù)。也算是成功模擬了吧。
• 對于這種低效率，出錯大的抓取方式抓取大規(guī)模數(shù)據(jù)肯定是不行的。那么下篇就講解如何抓取json文件（后臺傳來的數(shù)據(jù)源文件）。
  如果對后端、爬蟲等感性趣歡迎關(guān)注我的個人公眾號交流：bigsai
  

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的爬取虎牙之二：试用htmlunit模拟js爬取ajax页面的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。