jquery 获取系统默认年份_你没有看错,爬网页数据,C# 也可以像 Jquery 那样
一:背景
1. 講故事
前段時(shí)間搞了一個(gè)地方性民生資訊號(hào),資訊嘛,都是我抄你的,你抄官媒的,小市民都喜歡奇聞異事,所以就存在一個(gè)需求,如何去定向抓取奇聞異事的地方號(hào)上的新聞,其實(shí)做起來(lái)很簡(jiǎn)單,用邏輯回歸即可,這篇主要討論如何去抓取,在 C# 中大家都知道抓取通用的庫(kù)是 HtmlAgilityPack,但是這個(gè)庫(kù)主流的做法是采用 xpath 提取網(wǎng)頁(yè)內(nèi)容,這就讓我很不爽了,畢竟不熟悉莫名的抵抗哈,像我這個(gè)年紀(jì)的碼農(nóng),被 Jquery 教育了至少 5-6 年,所以必須用 類Jquery 的方式,在 python 中有 pyquery 做這件事情,那在C# 中有沒(méi)有類似的方式呢?嘿嘿,萬(wàn)能的 github 上還真有。。。就是本篇介紹的 CSQuery。
二:CSQuery
1. 安裝
github的地址:https://github.com/zone117x/CsQuery ? 然后在vs中 nuget 一下即可:
2. 舉幾個(gè)例子
一切都準(zhǔn)備就緒了,那怎么用呢?不著急,我以博客園舉兩個(gè)例子。
1) 將首頁(yè)中的 友情連接 提取到
如上圖,要想獲取這里的?友情鏈接幾個(gè)大字,直接用 text() 肯定是不行的,默認(rèn)情況它會(huì)將所有的子節(jié)點(diǎn)的文本也會(huì)抓到,如下圖:
那怎么處理呢?可以用 jquery 提供的 contents 方法,然后在獲取的所有子節(jié)點(diǎn)中判斷是否有 文本節(jié)點(diǎn),最后獲取文本節(jié)點(diǎn)的內(nèi)容即可,如下代碼:
用js是搞定了,那用 CSQuery 代碼怎么搞定呢?模仿唄,如下代碼:
????????static?void?Main(string[]?args)
????????{
????????????var?jquery?=?CQ.CreateDocument(new?WebClient().DownloadString("http://cnblogs.com"));
????????????var?content?=?jquery["#friend_link"].Contents().Filter((dom)?=>
????????????{
????????????????return?dom.NodeType?==?NodeType.TEXT_NODE;
????????????}).Text();
????????????Console.WriteLine(content);
????????}
我不知道用 xpath 提取這樣的內(nèi)容麻不麻煩,不過(guò)用 jquery 方式不簡(jiǎn)單,但輕車熟路。
2) 如何將 html 中的某些元素標(biāo)顏色
有時(shí)候?yàn)榱藰I(yè)務(wù)需要將某些 html 標(biāo)簽改一下顏色,比如說(shuō)將首頁(yè)的 tabmenu 中?博問(wèn)?和?專區(qū)?改成紅色,如下圖:
那用 CSQuery 怎么處理呢?如果玩過(guò) jquery,一般來(lái)說(shuō)步驟如下:
使用 each 遍歷每一個(gè)子 li 標(biāo)簽
使用 CSS 方法給 li 中 a 標(biāo)簽賦樣式
使用 Render 渲染生成一個(gè)新的的html
有了步驟,C#代碼如下:
????????static?void?Main(string[]?args)
????????{
????????????Config.HtmlEncoder?=?HtmlEncoders.None;
????????????var?jquery?=?CQ.CreateDocument(new?WebClient().DownloadString("http://cnblogs.com"));
????????????var?html?=?jquery["#nav_left?li"].Each(dom?=>
???????????????{
???????????????????var?self?=?jquery[dom];
???????????????????var?text?=?self.Text();
???????????????????if?(text?==?"博問(wèn)"?||?text?==?"專區(qū)")
???????????????????{
???????????????????????self.Find("a").CssSet(new?{?color?=?"red"?});
???????????????????}
???????????????}).Render();
????????}
????????
3) 其他的操作方法
除了上面兩個(gè)操作方法外,你還可以使用 after,before,replaceAll,IS 等等一百來(lái)個(gè)實(shí)用的方法,這篇肯定也無(wú)法一一介紹了,大家有興趣可以下載下來(lái)看一看,搗鼓搗鼓。
三:其他用途
除了抓取html中的元素,我覺(jué)得這玩意還可以用在發(fā)送郵件時(shí)操控郵件模板,畢竟在很久以前大家都是用jquery來(lái)繪制 html,所以用 CSQuery 也是可以的,相對(duì)使用 xslt 有利有弊吧,接下來(lái)做一個(gè)例子:
1. 生成一個(gè)html模板
html>
<html?lang="en"?xmlns="http://www.w3.org/1999/xhtml">
<head>
????<meta?charset="utf-8"?/>
????<title>title>
head>
<body>
????<ul?id="main">ul>
body>
html>
2. 使用 CSQuery 給 ul 追加 li
可以用 Append 將內(nèi)容追加到??節(jié)點(diǎn)內(nèi)。
????class?Program
????{
????????static?void?Main(string[]?args)
????????{
????????????Config.HtmlEncoder?=?HtmlEncoders.None;
????????????var?strlist?=?new?string[2]?{?"1",?"2"?};
????????????var?path?=?Environment.CurrentDirectory?+?"\\2.html";
????????????var?jquery?=?CQ.CreateFromFile(path);
????????????foreach?(var?str?in?strlist)
????????????{
????????????????jquery.Find("#main").Append($"{str}");
????????????}
????????????var?html?=?jquery.Render();
????????}
????}
3. 部分渲染 RenderSelection
Render方法是將整個(gè)Dom渲染成html,但有時(shí)候你只需要得到你修改的那部分內(nèi)容,而不是整個(gè)html,這就涉及到了部分渲染,可以用?RenderSelection?方法即可,代碼如下:
????????static?void?Main(string[]?args)
????????{
????????????Config.HtmlEncoder?=?HtmlEncoders.None;
????????????var?strlist?=?new?string[2]?{?"1",?"2"?};
????????????var?path?=?Environment.CurrentDirectory?+?"\\2.html";
????????????var?jquery?=?CQ.CreateFromFile(path);
????????????var?current?=?jquery.Find("#main");
????????????foreach?(var?str?in?strlist)
????????????{
????????????????current.Append($"{str}");
????????????}
????????????var?html?=?current.RenderSelection();
????????????Console.WriteLine(html);
????????}
-------------?output?----------------
"main">12
四:總結(jié)
Jquery 這種操作模式對(duì)我個(gè)人來(lái)說(shuō)還是比較舒服的,畢竟熟!不過(guò)在 html5 中也新增了 querySelector 和 querySelectorAll 支持 css3 選擇器,非常強(qiáng)大,可 jquery 不光在選擇器的靈活上,還在于對(duì)節(jié)點(diǎn)的靈活操作上,總的來(lái)說(shuō)不是特別富交互的情況下可以懷舊一把。
往期精彩回顧【推薦】.NET Core開發(fā)實(shí)戰(zhàn)視頻課程?★★★
.NET Core實(shí)戰(zhàn)項(xiàng)目之CMS 第一章 入門篇-開篇及總體規(guī)劃
【.NET Core微服務(wù)實(shí)戰(zhàn)-統(tǒng)一身份認(rèn)證】開篇及目錄索引
Redis基本使用及百億數(shù)據(jù)量中的使用技巧分享(附視頻地址及觀看指南)
.NET Core中的一個(gè)接口多種實(shí)現(xiàn)的依賴注入與動(dòng)態(tài)選擇看這篇就夠了
10個(gè)小技巧助您寫出高性能的ASP.NET Core代碼
用abp vNext快速開發(fā)Quartz.NET定時(shí)任務(wù)管理界面
在ASP.NET Core中創(chuàng)建基于Quartz.NET托管服務(wù)輕松實(shí)現(xiàn)作業(yè)調(diào)度
現(xiàn)身說(shuō)法:實(shí)際業(yè)務(wù)出發(fā)分析百億數(shù)據(jù)量下的多表查詢優(yōu)化
關(guān)于C#異步編程你應(yīng)該了解的幾點(diǎn)建議
C#異步編程看這篇就夠了
總結(jié)
以上是生活随笔為你收集整理的jquery 获取系统默认年份_你没有看错,爬网页数据,C# 也可以像 Jquery 那样的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 翁恺老师的c语言学习笔记
- 下一篇: 网络流——最大流