文章目錄

• 前言
• 一個爬取新聞網(wǎng)頁數(shù)據(jù)的神器
• 小試牛刀
• • 如何快速安裝
  • • windows安裝
    • Debian / Ubuntu安裝
    • OSX安裝
• 體驗更多的功能

前言

隨著越來的進行自然語言處理相關方面的研究，但是，往往一些文本數(shù)據(jù)，我們很難去獲得，那么如何快速的獲取網(wǎng)頁數(shù)據(jù)呢？最常用的方法就是自己寫爬蟲或者借助別人的爬蟲框架來爬取網(wǎng)站，當時這個往往學習成本比較高**，那么我們有沒有什么捷徑可以很快的的通過別人已經(jīng)定義好的爬蟲庫來爬取新聞網(wǎng)頁數(shù)據(jù)呢？**

一個爬取新聞網(wǎng)頁數(shù)據(jù)的神器

介紹python一個文章爬取和管理的神器，當前在Github上fork的人數(shù)已經(jīng)過了7K了，并且還是持續(xù)增加

小試牛刀

我現(xiàn)在想爬取一下這個網(wǎng)頁的數(shù)據(jù)：
http://www.aihami.com/a/dangjian/shibada/400787.html

我只需如下幾行代碼就行了

from newspaper import Articleurl = 'http://www.aihami.com/a/dangjian/shibada/400787.html'
article = Article(url, language='zh') # Chinese
article.download()
article.parse()
print(article.text[:])

然后可以發(fā)現(xiàn)我已經(jīng)得到了網(wǎng)頁上的新聞內容

我這里是輸出了全部的內容，當然你也可以選擇性輸出，比如：

1. 只輸出內容：

print(article.text)

2. 只輸出標題

print(article.title)

3. 輸出最上面的圖片：

print(article.top_image)

如何快速安裝

windows安裝

官方建議使用python3，如果沒有意外的話，你完全可以通過Anaconda環(huán)境下通過以下命令安裝(本人win10系統(tǒng))

pip3 install newspaper3k

Debian / Ubuntu安裝

不太確定是否裝了Anaconda之后，可以直接:

pip3 install newspaper3k

大家可以試一試

如果不行,官方建議按照如下步驟

sudo apt-get install python3-pip
sudo apt-get install python3-pip
sudo apt-get install libxml2-dev libxslt-dev
sudo apt-get install libjpeg-dev zlib1g-dev libpng12-dev

如果安裝libpng12-dev有問題，嘗試安裝libpng-dev
然后進行

curl https://raw.githubusercontent.com/codelucas/newspaper/master/download_corpora.py | python3
pip3 install newspaper3k

OSX安裝

可以直接:

pip3 install newspaper3k

如果不行，官方建議

$ brew install libxml2 libxslt$ brew install libtiff libjpeg webp little-cms2$ pip3 install newspaper3k$ curl https://raw.githubusercontent.com/codelucas/newspaper/master/download_corpora.py | python3

體驗更多的功能

這個庫還有其他更多的功能，大家可以參考它的官方文檔：
https://newspaper.readthedocs.io/en/latest/user_guide/quickstart.html#

也可以查看它的官方源代碼：
https://github.com/codelucas/newspaper

總結

以上是生活随笔為你收集整理的如何利用python的newspaper包快速爬取网页数据的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。