python爬取股票大单历史记录_利用bs4爬取股票的历史交易数据
聽起來,爬取股票的所有歷史交易數據跟高大上,有木有?
不過寫這個爬蟲的時候,發現基于網易財經的股票歷史數據的爬取其實挺簡單,最后再寫到txt文檔里(暫時寫txt,以后會寫csv的。可以在用機器學習干一些酷酷的事情~)
爬數據之前,先要看看url怎么構造啊,看了網易財經的url的構造,還真的是很親民。
下面假設我們要爬取中國石油(601857)的2016年第4季度的數據,url就是下面這樣。
url = 'http://quotes.money.163.com/trade/lsjysj_601857.html?year=2016&season=4'
仔細一看,構造url只需要3個參數就夠了。
股票的代碼:601857,年度:2016,季度:4 。
第一個參數,可以手動輸入,后兩個參數,可以用循環出多年度的多季度數據。
這個爬蟲最重要的也就是循環爬取這些構造出來的url,
然后我們開始寫爬取單個頁面數據的函數:
爬取的過程呢,就是用BeautifulSoup來過濾源代碼。
date = soup.select('div.inner_box > table > tr > td')
就可以獲取當前頁面,也就是一個年度中一個季度的所有股票交易數據,
然后循環處理一下,在每條數據中的每個數字之后加上空格,每條數據后加上換行,拼接成字符串,返回。
最后在循環url的函數中,循環調用單頁面爬取函數,就可以爬取所有的股票數據了。
f = open('./' + title + '.txt', 'wb')
最后再寫入一個以股票代碼為文件名的txt文檔里。
總結
以上是生活随笔為你收集整理的python爬取股票大单历史记录_利用bs4爬取股票的历史交易数据的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: sqli-labs安装及常见问题,(推荐
- 下一篇: 人工神经网络简介(人工智能神经网络技术)