點擊上方“AirPython”，選擇“加為星標”

第一時間關注 Python 技術干貨！

1. 場景

經常有小伙伴在交流群問我，每天的早報新聞是怎么獲取的？

其實，早期使用的方案，是利用爬蟲獲取到一些新聞網站的標題，然后做了一些簡單的數據清洗，最后利用 itchat 發送到指定的社群中。

由于爬蟲面對?網站改版的不穩定性及 itchat 不安全性，所以放棄了這種方案

后期更改了一種方案，通過修改爬蟲方案，創建 API 服務，編寫 App 去獲取數據，然后手動發送到微信群

本篇文章將和大家詳細聊聊具體的實現過程

2. 數據爬取

第 1 步，通過 Python 爬蟲獲取數據

獲取方式有 2 種，分別是：已有的新聞早報網站、新聞網站的頭條新聞

選擇一種爬蟲方式，就能很快地爬取到目標網站的數據

第 2 步，數據清洗，排序

將爬取到的數據先進行一次關鍵字篩選，然后按照點贊或者閱讀數按照熱點進行排序

第 3 步，參數化，去重

去掉數據中重復的新聞，然后將最后展示的數目參數化

#?按照點贊數目，降序排列
news_sorted_pro?=?sorted(news,?key=itemgetter('news_approve_num'),?reverse=True)

result?=?[]

for?news_sorted_item?in?news_sorted_pro:
??????result.append(news_sorted_item.get('title'))

#?去重
result?=?sorted(set(result),?key=result.index)

#?只取前12條數據
result?=?result[:self.news_num]?if?len(result)?>=?self.news_num?else?result

需要注意的是，由于新聞網站會經常改版，建議爬取多個新聞網站，做好異常處理，做一個優先級，如果一個網站爬取數據失敗，切換到下一個級別的網站爬取數據

3. 服務化

將數據服務化，即編寫 API，目的是為了方便終端調用

如果使用 Python 編寫 API，建議使用 FastAPI 或 Flask 框架，因為這兩個框架開發 API?方便快捷，以 FastAPI 為例：

第 1 步，安裝依賴

包含 FastAPI 框架及?hypercorn 依賴，hypercorn 是獨立的 ASGI 服務器，方便 FastAPI 項目的部署

#?FastAPI框架
pip3?install?fastapi

pip3?install?hypercorn

第 2?步，編寫 API

使用 FastAPI 很方便，不到?10 行代碼就能編寫一個接口服務

只需要實例化 FastAPI 對象，利用裝飾器指定請求方法和路徑即可，調用上面的爬蟲方法即可。

from?fastapi?import?FastAPI

#?實例化
app?=?FastAPI()

#?API，Get方式
@app.get("/last_news")
def?get_last_news():
????"""
????最新的新聞
????:return:
????"""
????news?=?get_news()

????data?=?{
????????'code':?0,
????????'news':?news
????}

????#?封裝
????return?data

如要想本地調試 API，可以通過 uvicorn?命令運行項目

#?運行項目
uvicorn?news:app?--reload

然后訪問下面的地址，查看返回的新聞數據

http://127.0.0.1:8000/last_news

第 3 步，生成依賴遷移文件

使用 pip?freeze 命令將在本地生成依賴遷移文件

#?生成遷移文件
pip?freeze?>?requirements.txt

第 4 步，上傳代碼

將代碼上傳到代碼托管平臺，比如：碼云、GitLab 等

第 5 步，服務器拉取代碼

服務器中通過 git 拉取代碼，并通過依賴文件一鍵安裝所有依賴

#?安裝依賴
pip3?install?-r?requirements.txt

第 6 步，運行服務

使用 hypercorn 運行 FastAPI 項目，使進程一直在后臺運行，并保存運行日志信息

#?后臺運行
#?保存日志，綁定端口號為：8000
#?nohup?hypercorn?news:app?--bind?0.0.0.0:8000?>?/news.log?2>&1?&

需要注意的是，項目綁定的端口號需要在防火墻和云服務器安全組開啟

當然，如果使用 Java 編寫 API，推薦使用?Spring Boot，可以快速開發一個 Restful API 服務

4. 編寫 App

完成 API 服務之后，接下來就是在終端編寫一款 App 去訪問 API，拿到數據并展示出來

以編寫一款 Android?應用為例

首先，我們在界面上放置一個文本顯示框和一個按鈕控件

然后，對按鈕控件設置點擊事件的監聽

get_news_btn?=?findViewById(R.id.get_news_btn);

//監聽事件
get_news_btn.setOnClickListener(this);

@Override
public?void?onClick(View?v){
????switch?(v.getId())
????{
????????case?R.id.get_news_btn:
????????????news_et.setText("獲取中。。。");
????????????getNewsMet();
????????????break;
????????}
????}

接著，使用 Android 的網絡請求框架?OkHttp 框架調用 API 獲取數據

/***
*?獲取新聞
*/
private?void?getNewsMet(){
?????OkHttpClient?okHttpClient?=?new?OkHttpClient();
?????//構建請求信息：連接請求url 請求方法method 請求頭部headers 請求體body 標簽tag
?????Request?request?=?new?Request.Builder().url(url).get().build();
//????????Call?call?=?okHttpClient.newCall(request);

?????okHttpClient.newCall(request).enqueue(new?Callback()
?????{
??????????@Override
??????????public?void?onFailure(Call?call,?IOException?e){
??????????????Log.d("xag",?"獲取失敗");
??????????????showResult(false,?"");
??????????}

??????????@Override
??????????public?void?onResponse(Call?call,?final?Response?response)?throws?IOException{
??????????????Log.d("xag",?"獲取成功")
??????????????parseJsonWithJsonObject(response);
??????????}
??????});
}

最后，將新聞數據顯示在文本控件中，并復制到系統剪切板

private?void?copyToClip(String?content){
?????//獲取剪貼板管理器：
?????ClipboardManager?cm?=?(ClipboardManager)?getSystemService(CLIPBOARD_SERVICE);
?????//?創建普通字符型ClipData
?????ClipData?mClipData?=?ClipData.newPlainText("Label",?content);
?????//?將ClipData內容放到系統剪貼板里。
?????if?(null?!=?cm)
?????{
?????????cm.setPrimaryClip(mClipData);
?????}
}

如果只有 iOS 設備，使用 Xcode 編寫 iOS 應用，建議將 Xcode 升級到 11.0 以上

創建項目的時候，推薦使用 SwiftUI 構建 UI 界面，然后利用 CocoaPods?添加 Alamofire 網絡請求依賴庫，其他操作步驟和 Android 端類似，這里不展開說明

#?Uncomment?the?next?line?to?define?a?global?platform?for?your?project
source?'https://github.com/CocoaPods/Specs.git'

platform?:ios,?'9.0'

use_frameworks!

target?'news_eve'?do
??#?Comment?the?next?line?if?you?don't?want?to?use?dynamic?frameworks
??pod?'Alamofire'
??pod?'SwiftyJSON'
??pod?'HandyJSON'
??#?Pods?for?news_eve

end

5. 最后

上面步驟只需要點擊 App 中的按鈕，早報新聞就復制到系統剪切板了，接著可以轉發到多個微信群了

當然，最后一步也可以利用?SoloPi?或者無障礙，將內容利用自動化操作，一鍵轉發出去

我已經將文中部分源碼上傳到后臺，關注公眾號后回復「?早報?」即可獲得全部源碼

如果你覺得文章還不錯，請大家點贊分享下。你的肯定是我最大的鼓勵和支持。

留言送書

---

今日贈書：《Web前端性能優化》PS：每周的中獎名單會在次周在技術交流群公布推薦閱讀如何用 PyQt5 快速構建一個簡單的 GUI 應用推薦幾款優質 Chrome 摸魚插件，帶你暢快劃水用 Python 分析微信群聊記錄，是怎樣一種體驗？ 創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的ios安装python的步骤_如何利用 Python 爬虫实现给微信群发新闻早报？（详细）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。