你没有看错，爬网页数据，C# 也可以像 Jquery 那样
一：背景
1. 講故事
前段時(shí)間搞了一個(gè)地方性民生資訊號(hào)，資訊嘛，都是我抄你的，你抄官媒的，小市民都喜歡奇聞異事，所以就存在一個(gè)需求，如何去定向抓取奇聞異事的地方號(hào)上的新聞，其實(shí)做起來(lái)很簡(jiǎn)單，用邏輯回歸即可，這篇主要討論如何去抓取，在 C# 中大家都知道抓取通用的庫(kù)是 HtmlAgilityPack，但是這個(gè)庫(kù)主流的做法是采用 xpath 提取網(wǎng)頁(yè)內(nèi)容，這就讓我很不爽了，畢竟不熟悉莫名的抵抗哈，像我這個(gè)年紀(jì)的碼農(nóng)，被 Jquery 教育了至少 5-6 年，所以必須用 類Jquery 的方式，在 python 中有 pyquery 做這件事情，那在C# 中有沒有類似的方式呢？嘿嘿，萬(wàn)能的 github 上還真有。。。就是本篇介紹的 CSQuery。
二：CSQuery
1. 安裝
github的地址：https://github.com/zone117x/CsQuery ? 然后在vs中 nuget 一下即可：
2. 舉幾個(gè)例子
一切都準(zhǔn)備就緒了，那怎么用呢？不著急，我以博客園舉兩個(gè)例子。
1) 將首頁(yè)中的 友情連接 提取到
如上圖，要想獲取這里的 友情鏈接幾個(gè)大字，直接用 text() 肯定是不行的，默認(rèn)情況它會(huì)將所有的子節(jié)點(diǎn)的文本也會(huì)抓到，如下圖：
那怎么處理呢？可以用 jquery 提供的 contents 方法，然后在獲取的所有子節(jié)點(diǎn)中判斷是否有 文本節(jié)點(diǎn)，最后獲取文本節(jié)點(diǎn)的內(nèi)容即可，如下代碼：
用js是搞定了，那用 CSQuery 代碼怎么搞定呢？模仿唄，如下代碼：
static?void?Main(string[]?args){var?jquery?=?CQ.CreateDocument(new?WebClient().DownloadString("http://cnblogs.com"));var?content?=?jquery["#friend_link"].Contents().Filter((dom)?=>{return?dom.NodeType?==?NodeType.TEXT_NODE;}).Text();Console.WriteLine(content);}我不知道用 xpath 提取這樣的內(nèi)容麻不麻煩，不過用 jquery 方式不簡(jiǎn)單，但輕車熟路。
2) 如何將 html 中的某些元素標(biāo)顏色
有時(shí)候?yàn)榱藰I(yè)務(wù)需要將某些 html 標(biāo)簽改一下顏色，比如說(shuō)將首頁(yè)的 tabmenu 中 博問 和 專區(qū) 改成紅色，如下圖：
那用 CSQuery 怎么處理呢？如果玩過 jquery，一般來(lái)說(shuō)步驟如下：
使用 each 遍歷每一個(gè)子 li 標(biāo)簽
使用 CSS 方法給 li 中 a 標(biāo)簽賦樣式
使用 Render 渲染生成一個(gè)新的的html
有了步驟，C#代碼如下：
static?void?Main(string[]?args){Config.HtmlEncoder?=?HtmlEncoders.None;var?jquery?=?CQ.CreateDocument(new?WebClient().DownloadString("http://cnblogs.com"));var?html?=?jquery["#nav_left?li"].Each(dom?=>{var?self?=?jquery[dom];var?text?=?self.Text();if?(text?==?"博問"?||?text?==?"專區(qū)"){self.Find("a").CssSet(new?{?color?=?"red"?});}}).Render();}3) 其他的操作方法
除了上面兩個(gè)操作方法外，你還可以使用 after，before，replaceAll,IS 等等一百來(lái)個(gè)實(shí)用的方法，這篇肯定也無(wú)法一一介紹了，大家有興趣可以下載下來(lái)看一看，搗鼓搗鼓。
三：其他用途
除了抓取html中的元素，我覺得這玩意還可以用在發(fā)送郵件時(shí)操控郵件模板，畢竟在很久以前大家都是用jquery來(lái)繪制 html，所以用 CSQuery 也是可以的，相對(duì)使用 xslt 有利有弊吧，接下來(lái)做一個(gè)例子：
1. 生成一個(gè)html模板
<!DOCTYPE?html><html?lang="en"?xmlns="http://www.w3.org/1999/xhtml"> <head><meta?charset="utf-8"?/><title></title> </head> <body><ul?id="main"></ul> </body> </html>2. 使用 CSQuery 給 ul 追加 li
可以用 Append 將內(nèi)容追加到 <ul> 節(jié)點(diǎn)內(nèi)。
class?Program{static?void?Main(string[]?args){Config.HtmlEncoder?=?HtmlEncoders.None;var?strlist?=?new?string[2]?{?"1",?"2"?};var?path?=?Environment.CurrentDirectory?+?"\\2.html";var?jquery?=?CQ.CreateFromFile(path);foreach?(var?str?in?strlist){jquery.Find("#main").Append($"<li>{str}</li>");}var?html?=?jquery.Render();}}3. 部分渲染 RenderSelection
Render方法是將整個(gè)Dom渲染成html，但有時(shí)候你只需要得到你修改的那部分內(nèi)容，而不是整個(gè)html，這就涉及到了部分渲染，可以用 RenderSelection 方法即可，代碼如下：
static?void?Main(string[]?args){Config.HtmlEncoder?=?HtmlEncoders.None;var?strlist?=?new?string[2]?{?"1",?"2"?};var?path?=?Environment.CurrentDirectory?+?"\\2.html";var?jquery?=?CQ.CreateFromFile(path);var?current?=?jquery.Find("#main");foreach?(var?str?in?strlist){current.Append($"<li>{str}</li>");}var?html?=?current.RenderSelection();Console.WriteLine(html);}-------------?output?----------------<ul?id="main"><li>1</li><li>2</li></ul>四：總結(jié)
Jquery 這種操作模式對(duì)我個(gè)人來(lái)說(shuō)還是比較舒服的，畢竟熟！不過在 html5 中也新增了 querySelector 和 querySelectorAll 支持 css3 選擇器，非常強(qiáng)大，可 jquery 不光在選擇器的靈活上，還在于對(duì)節(jié)點(diǎn)的靈活操作上，總的來(lái)說(shuō)不是特別富交互的情況下可以懷舊一把。
總結(jié)
以上是生活随笔為你收集整理的你没有看错，爬网页数据，C# 也可以像 Jquery 那样的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： .NET Core 下使用 Except
- 下一篇： WPF 从 .net core 3.1