Pandas缺失数据最快定位方式(极少代码快速实现,打死不用循环!!!!!)
生活随笔
收集整理的這篇文章主要介紹了
Pandas缺失数据最快定位方式(极少代码快速实现,打死不用循环!!!!!)
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
文章目錄
- 先直接上代碼
- 簡單分析
先直接上代碼
考慮下表:
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f', 'h'],columns=['one', 'two', 'three'])df2 = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])df2one two three a 0.820537 -0.115642 1.096765 b NaN NaN NaN c -0.737318 -0.241887 -0.043518 d NaN NaN NaN e -0.092327 -1.263035 -3.563509 f -0.578219 1.196041 -1.339231 g NaN NaN NaN h -0.110525 -0.396843 -0.513144可以看到其空行極多,首先找出所有空值所在位置(所有下標值):
locs = np.argwhere(np.isnan(df2.values)) locsarray([[1, 0],[1, 1],[1, 2],[3, 0],[3, 1],[3, 2],[6, 0],[6, 1],[6, 2]], dtype=int64)如果想要直接查出有哪些行包含了空值(最后解釋):
df2.columns[locs[:,1]].drop_duplicates()Index(['one', 'two', 'three'], dtype='object')行號就簡單了:
locs[:,0]array([1, 1, 1, 3, 3, 3, 6, 6, 6], dtype=int64)簡單分析
首先,DataFrame的values本質上就是一個numpy array
type(df2.values)numpy.ndarray那么很自然地,要找出array里面的空值,直接就用numpy的方法就好,這里之前也介紹過 [傳送門]。
其次,用np.argwhere返回的值就是下標的集合(本質上還是數組)。
而df2.columns本身也可以用索引來訪問,那么就簡單了:locs中第二維正好就是缺失值列所在的下標。
緊接著注意到columns的本質是Index類型,它可以使用和DataFrame一樣的drop_duplicates()方法,因此這段代碼一步到位。
綜上,說不用循環就不用循環。
《新程序員》:云原生和全面數字化實踐50位技術專家共同創作,文字、視頻、音頻交互閱讀總結
以上是生活随笔為你收集整理的Pandas缺失数据最快定位方式(极少代码快速实现,打死不用循环!!!!!)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Pandas简明教程:七、Pandas缺
- 下一篇: Pandas中DataFrame的属性及