python小代码_Python爬虫入门有意思的小长代码
一段有意思的代碼,有興趣的可以研究研究。
需求
用戶收到短信如:購買了電影票或者火車票機票之類的事件。然后app讀取短信,解析短信,獲取時間地點,然后后臺自動建立一個備忘錄,在事件開始前1小時提醒用戶。
設計
開始我們將解析的功能放在了服務端,但是后來考慮到用戶隱私問題。后來將解析功能放到了app端,服務端只負責收集數據,然后將新數據發送給app端。
關于服務端主要是分離出兩個功能,一、響應app端請求返回數據。二、爬取數據,存入數據庫。
響應請求返回數據使用java來做,而爬取數據存入數據庫使用python來做,這樣分別使用不同語言來做是因為這兩種語言各有優勢,java效率比python高些,適合做web端,而爬取數據并不是太追求性能且python語言和大量的庫適合做爬蟲。
代碼
本項目使用python3的版本
了解這個項目你只需要有簡單的python基礎,能了解python語法就可以。其實我自己也是python沒學完,然后就開始寫,遇到問題就百度,邊做邊學這樣才不至于很枯燥,因為python可以做一些很有意思的事情,比如模擬連續登錄掙積分,比如我最近在寫一個預定模范出行車子的python腳本。推薦看廖雪峰的python入門教程
首先帶大家看看我的目錄結構,開始我打算是定義一個非常好非常全的規范,后來才發現由于自己不熟悉框架,而是剛入門級別,所以就放棄了。從簡而入:
小編建了一個學習Python的QQ群,歡迎━(`?′)ノ亻!小伙伴的加入哦!
下面咱們按照上圖中的順序,從上往下一個一個文件的講解init.py包的標識文件,python包就是文件夾,當改文件夾下有一個init.py文件后它就成為一個package,我在這個包中引入一些py供其他py調用。
init.py
下面兩個是配置文件,第一個是開發環境的(windows),第二個是測試環境的(linux),然后再根據不同系統啟用不同的配置文件
conf_dev.py
conf_test.py
下面文件是一個util文件,主要是讀取原文件的內容,還有將新內容寫入原文件。
FileUtil.py
下面這個main方法控制著執行流程,其他的執行方法調用這個main方法
MainUtil.py
將更新的內容插入mongodb中
MongoUtil.py
下面真正的執行方法來了,這五個py分別表示爬取五種信息:機場名、航班號、電影名、列車號、列車站。他們的結構都差不多,如下:
scratch_airport_name.py:爬取全國機場
scratch_flight_number.py:爬取全國航班號
!/usr/bin/python
scratch_movie_name.py:爬取最近上映的電影
!/usr/bin/python
scratch_train_number.py:爬取全國列車號
scratch_train_station.py:爬取全國列車站
將項目放到測試服務器(centos7系統)中運行起來,我寫了一個crontab,定時調用他們,下面貼出crontab。
文章來自網絡,如有侵權聯系小編刪除!
總結
以上是生活随笔為你收集整理的python小代码_Python爬虫入门有意思的小长代码的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 码工里开关灯为什么遮罩层在下面_装修公司
- 下一篇: 求字典key的和python_pytho