cheerio数据抓取
生活随笔
收集整理的這篇文章主要介紹了
cheerio数据抓取
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
很多語言都能寫個爬蟲抓取數據,js自然也可以,使用cheerio可以支持css檢索,較快捷的獲取需要的數據。首先,先把node.js給安裝了。可到官網下載。安裝好node.js后,使用npm安裝cheerio。
我這里使用的是win7,可以在 node.js command prompt 里輸入
1 npm install cheerio
要注意的是,到項目所在的目錄下執行。
接著就可以開發了,使用node.js http模塊并引入cheerio模塊,使用get方式獲取待抓取的網頁內容,具體的解析可以參考https://github.com/cheeriojs/cheerio;
1 var url = "http://www.baidu.com/s?rtt=2&tn=baiduwb&rn=20&cl=2&wd=%BA%A3%D4%F4%CD%F5"
2 var http = require("http");
3 // Utility function that downloads a URL and invokes
4 // callback with the data.
5 function download(url, callback) {
6 http.get(url, function(res) {
7 var data = "";
8 res.on('data', function(chunk) {
9 data += chunk;
10 });
11 res.on("end", function() {
12 callback(data);
13 });
14 }).on("error", function() {
15 callback(null);
16 });
17 }
18 var cheerio = require("cheerio");
19 download(url, function(data) {
20 if (data) {
21 var $ = cheerio.load(data);
22 //id為weibo里的所有li,每個li里的段落p的內容
23 $('#weibo').find('li').each(function(i, elem) {
24 console.log($(this).find('p').text());
25 console.log(" ");
26 })
27 }
28 else
29 console.log("error");
30 });
保存為print.js,運行命令執行print.js
1 node print.js
數據獲取成功:
總結
以上是生活随笔為你收集整理的cheerio数据抓取的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 这10种食物是男性壮阳的障碍物 应慎食
- 下一篇: CAD图层管理功能如何管理图层