預(yù)備知識(shí):

①''和"",if語(yǔ)句中用==來(lái)判斷,下面代碼在python2.x和python3.x都成立

>>> ""=='' True

②None,if語(yǔ)句中用==來(lái)判斷

③nan的不合理的處理判斷方法如下:

>>>np.nan==np.npnFalse >>>math.nan==math.nanFalse

?

③nan的合理的處理判斷方法如下:

>>> math.isnan(math.nan) True >>> math.isnan(numpy.nan) True >>> a=np.NaN >>> a is np.NaN True

?

④Null的處理（這里不討論先）

#---------------------------------------------------------------------------------------------------------------

數(shù)據(jù)addr2.csv是這樣的(同時(shí),addr2也是下面的列名)：

addr2
87
87
?
87
87
?
87

靈魂發(fā)問(wèn):

1.這個(gè)表格到底有幾行?

2.這個(gè)空行了里面到底是NUll,'',"",None還是NaN?

----------------------------------------首先使用pandas進(jìn)行處理-----------------------------------

代碼如下:

import pandas as pd def null_detect(path,column):df = pd.read_csv(path,keep_default_na=True,header=1)print(df.shape[0])print(df.isnull()) if __name__ == '__main__':path="addr2.csv"column='addr2'null_detect(path,column)

實(shí)驗(yàn)結(jié)果是:

長(zhǎng)度是5

isnull的輸出全部都是False

?

上面的結(jié)果表示:

df.shape[0]看不到空行,

df.isnull()不存在空行

顯然處理失敗,如果我們需要往上百萬(wàn)的這種數(shù)據(jù)中去填充缺失值,如果連缺失值本身都檢測(cè)不到,就更談不上填充了.

#---------------------------------------------------最終解決方案----------------------------------------------------------------------------

import pandas as pd import csv #---------------------------------------------------- column='addr2' csv_file=open('addr2.csv') #打開(kāi)文件 csv_reader_lines = csv.reader(csv_file) #用csv.reader讀文件 #注意讀取進(jìn)來(lái)的時(shí)候,是帶有列名的date_PyList=[] sums=0 result=[] for one_line in csv_reader_lines: if len(one_line)==0:#為了檢測(cè)單元格是空的這種情況result.append("?")else:result.append(one_line[0]) df=pd.DataFrame(result, columns=[column]) #這里list轉(zhuǎn)化為DataFrame #因?yàn)閏sv讀取進(jìn)內(nèi)存的時(shí)候帶有列名,所以這里的列名columns隨便設(shè)置就可以了 #------------- 直接覆蓋原來(lái)的文件-------------------------------------- df.to_csv(column+".csv",index=False,header=None) #總共是590540條數(shù)據(jù)+1條列名

處理結(jié)果如下:

addr2
87
87
?
87
87
?
87

?

這里的?也可以改成其他自己需要的、認(rèn)為合理的數(shù)值.

總結(jié)

以上是生活随笔為你收集整理的csv文件用excel打开有多行是空的,用sublime打开空白行没有''处理方案的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。