pandas添加一行数据_恨晚,Python探索性数据分析神器pandas-profiling,一行代码搞定...
生活随笔
收集整理的這篇文章主要介紹了
pandas添加一行数据_恨晚,Python探索性数据分析神器pandas-profiling,一行代码搞定...
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
我們使用Pandas進行數據分析時,首先要先對數據集進行探索性數據分析(Exploratory data analysis),以便有一個大體的了解,明確后續數據處理、分析方向,數據EDA大致包含如下內容:
- 感知數據的直觀表現
- 挖掘潛在的結構
- 提取重要的變量
- 處理異常值
- 檢驗統計假設
- 建立初步模型
- 決定最優因子的設置
通常,我們使用pandas.describe方法,對數據集可以有個大體的了解,如下:
執行上述代碼,輸出如下:
然后,再通過分析各數據字段之間的關系,如 使用折線圖,散點圖,柱狀圖,關聯分析等等,進一步探索數據集。
不難發現,數據EDA操作,通常需要連續的N多操作,步驟還是比較繁瑣的。
相見恨晚
直到最近在GitHub上閑逛時,看到了pandas-profiling項目,其使用df.profile_report 擴展了pandas DataFrame,實現了一行代碼就可以生成一份超詳細的數據分析報告,強無敵!包含以下內容:
- 概要:類型、惟一值、缺失值。
- 分位數統計:如最小值,Q1(較小四分位數),Q2(中位數),Q3(較大四分位數)。
- 描述性統計:均值、模式、標準差和中位數絕對偏差、變異系數、峰度、偏度。
- 最常值
- 柱狀圖
- 相關性:突出高度相關的變量,斯皮爾曼,皮爾遜和肯德爾矩陣。
- 缺失值:矩陣,計數,熱圖和樹狀圖的缺失值。
安裝
使用pip進行安裝,十分簡單。
安裝過程如下:
實例
我們以泰坦尼克號數據集為例,體驗一下 pandas_profiling 的強大。代碼如下:
查看上述代碼執行生成的Titanic_Eda.html,如下:
強無敵。Gif可能不太清楚,貼幾張清晰的圖,如下:
總結
以上是生活随笔為你收集整理的pandas添加一行数据_恨晚,Python探索性数据分析神器pandas-profiling,一行代码搞定...的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: ppt变成了图片不能编辑文字怎么办_谁说
- 下一篇: postman安装_Postman插件的