python保存数据到本地_Python爬虫入门 | 6 将爬回来的数据存到本地
1.用Python語句存儲數據
寫文件時,我們主要用到 with open() 語句:
with open(name,mode,encoding) as file:? file.write()? # 注意,with open() 后面的語句有一個縮進
name:包含文件名稱的字符串,比如:‘xiaozhu.txt’;?mode:決定了打開文件的模式,只讀/寫入/追加等;?encoding:表示我們要寫入數據的編碼,一般為 utf-8 或者 gbk ;?file:表示我們在代碼中對文件的命名。
用我們前面爬的小豬的例子來看一下,實際是什么樣的:
from lxml import etreeimport requestsimport timewith open('/Users/mac/Desktop/xzzf.txt','w',encoding='utf-8') as f:? ? for a in range(1,6):? ? ? ? url = 'http://cd.xiaozhu.com/search-duanzufang-p{}-0/'.format(a)? ? ? ? data = requests.get(url).text? ? ? ? s=etree.HTML(data)? ? ? ? file=s.xpath('//*[@id="page_list"]/ul/li')? ? ? ? time.sleep(3)? ? ? ? ? ? for div in file:? ? ? ? ? ? title=div.xpath("./div[2]/div/a/span/text()")[0]? ? ? ? ? ? price=div.xpath("./div[2]/span[1]/i/text()")[0]? ? ? ? ? ? scrible=div.xpath("./div[2]/div/em/text()")[0].strip()? ? ? ? ? ? pic=div.xpath("./a/img/@lazy_src")[0]? ? ? ? ? ? ? ? ? ? ? ? f.write("{},{},{},{}\n".format(title,price,scrible,pic))
將寫入的文件名 xzzf.txt,如果沒有將自動創建。
/Users/mac/Desktop/xzzf.txt
在前面加了一個桌面的路徑,它將存在桌面,如果不加路徑,它將存在你當前工作目錄中。
w:只寫的模式,如果沒有文件將自動創建;
encoding='utf-8':指定寫入文件的編碼為:utf-8,一般指定utf-8即可;
f.write("{}? {}? {}? {}\n".format(title,price,scrible,pic))#將 title,price,scrible,pic 的值寫入文件
來看一下存下來的數據是怎樣的:
如果你沒有指定文件路徑,怎么找寫在本地的文件呢?給你兩種方法:
1.在 win10 中打開小娜(cortana),搜索你的文件名即可
2.推薦軟件“everything”,查詢文件更方便快捷。
這個軟件非常小,百度很容易找到,但確實是神器用了你會回來感謝我的~
所以還是建議你在寫代碼的時候,老老實實在文件名前面加上你想存放的路徑。什么,你連路徑怎么寫都不知道?好吧,比如我想把文件存在桌面,那么怎么查看路徑?
隨便找一個文檔,比如桌面的文檔, 右鍵 >“屬性”,“位置”后面的信息,就是該文檔所在的路徑了。
2.文件存為CSV格式
當然,你也可以將文件存為 .csv 格式,在 with open() 語句后更改文件后綴即可。
from lxml import etreeimport requestsimport timewith open('/Users/mac/Desktop/xiaozhu.csv','w',encoding='utf-8') as f:? ? for a in range(1,6):? ? ? ? url = 'http://cd.xiaozhu.com/search-duanzufang-p{}-0/'.format(a)? ? ? ? data = requests.get(url).text? ? ? ? s=etree.HTML(data)? ? ? ? file=s.xpath('//*[@id="page_list"]/ul/li')? ? ? ? time.sleep(3)? ? ? ? ? ? for div in file:? ? ? ? ? ? title=div.xpath("./div[2]/div/a/span/text()")[0]? ? ? ? ? ? price=div.xpath("./div[2]/span[1]/i/text()")[0]? ? ? ? ? ? scrible=div.xpath("./div[2]/div/em/text()")[0].strip()? ? ? ? ? ? pic=div.xpath("./a/img/@lazy_src")[0]? ? ? ? ? ? ? ? ? ? ? ? f.write("{},{},{},{}\n".format(title,price,scrible,pic))
另外,需要注意的是:CSV 每個字段之間要用逗號隔開,所以這里把之前的空格改為了逗號。
CSV 文件怎么打開?
一般情況下,用記事本就可以直接打開,如果你直接用 Excel 打開,很有肯能會出現亂碼,就像下面這樣:
Excel 打開 CSV 出現亂碼怎么辦?
在記事本中打開文件
另存為 – 選擇編碼為“ANSI”
再來看看之前的豆瓣TOP250圖書寫入文件:
from lxml import etreeimport requestsimport timewith open('/Users/mac/Desktop/top250.csv','w',encoding='utf-8') as f:? ? for a in range(10):? ? ? ? url = 'https://book.douban.com/top250?start={}'.format(a*25)? ? ? ? data = requests.get(url).text? ? ? ? s=etree.HTML(data)? ? ? ? file=s.xpath('//*[@id="content"]/div/div[1]/div/table')? ? ? ? time.sleep(3)? ? ? ? for div in file:? ? ? ? ? ? title = div.xpath("./tr/td[2]/div[1]/a/@title")[0]? ? ? ? ? ? href = div.xpath("./tr/td[2]/div[1]/a/@href")[0]? ? ? ? ? ? score=div.xpath("./tr/td[2]/div[2]/span[2]/text()")[0]? ? ? ? ? ? num=div.xpath("./tr/td[2]/div[2]/span[3]/text()")[0].strip("(").strip().strip(")").strip()? ? ? ? ? ? scrible=div.xpath("./tr/td[2]/p[2]/span/text()")? ? ? ? ? ? if len(scrible) > 0:? ? ? ? ? ? ? ? f.write("{},{},{},{},{}\n".format(title,href,score,num,scrible[0]))? ? ? ? ? ? else:? ? ? ? ? ? ? ? f.write("{},{},{},{}\n".format(title,href,score,num))
最后存下來的數據是這樣的:
好了,這節課就到這里!
總結
以上是生活随笔為你收集整理的python保存数据到本地_Python爬虫入门 | 6 将爬回来的数据存到本地的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 用python画哆啦a梦的代码解释_py
- 下一篇: python批量添加水印_用Python