day09数据分析
day09數據分析
query篩選
abb_pop_area.query('year == 2010 & ages == "total"')
map
apply
transform
刪除重復數據
drop_per
刪除空置數據
drop
add_per_
刪除異常數據
twict = stu()
df.notnull().all(axis=1) #相反的, 組合使用 notnull all
df.loc[df.notnull().all(axis=1)]
過濾df中的空值(只保留沒有空值的行)
df.dropna(axis=0) #
效果一樣:
df.loc[df.notnull().all(axis=1)]
df.dropna(axis=0)
練習7：
簡述None與NaN的區別
假設張三李四參加模擬考試，但張三因為突然想明白人生放棄了英語考試，因此記為None，請據此創建一個DataFrame,命名為ddd3
老師決定根據用數學的分數填充張三的英語成績，如何實現？ 用李四的英語成績填充張三的英語成績？
# import random # 不用引入
ddd = DataFrame(data =np.random.randint(90,130,size=(2,2)),index=['英語','數學'],columns=['張三','李四'])
ddd
ddd.loc['數學','張三'] = np.nan
ddd
ddd.fillna(method='ffill',axis=0)
ddd.fillna(method='bfill',axis=1)
| 英語 | 93.0 | 103.0 |
| 數學 | 91.0 | 91.0 |
處理丟失數據
有兩種丟失數據： None np.nan(NaN)
type(None)---->NoneType
type(np.nan)------>float
np.nan+1------->nan
將某些數組元素賦值為nan
df.iloc[2,4] = None
df.iloc[5,5] = np.nan
df.iloc[2,2] = None
df.iloc[7,3] = None
df.iloc[6,8] = None # 自動轉化成nan
df
# pandas 處理空值操作
df.isnull().any(axis=1)# axis =1 是行, drop axis=0 是行
df.notnull().all(axis=1) #相反的, 組合使用 notnull all
df.loc[df.notnull().all(axis=1)]
過濾df中的空值(只保留沒有空值的行)
df.dropna(axis=0) #
df.fillna(method='ffill',axis=0)# 列 前 +
2 的拼接操作
1.使用pd.concat()級聯
1)匹配級聯
pd.concat((df1,df1),axis=1,join='inner')
pd.concat((df1,df1),axis=0,join='inner')
1)非匹配級聯
pd.concat((df1,df2),axis=0,join='inner')
2.使用pd.merge()合并
merge與concat的區別在于，merge需要依據某一共同的列來進行合并使用pd.merge()合并時，會自動根據兩者相同column名稱的那一列，作為key來進行合并。注意每一列元素的順序不要求一致參數：how：out取并集 inner取交集on：當有多列相同的時候，可以使用on來指定使用那一列進行合并，on的值為一個列表1) 一對一合并
df1 = DataFrame({
'employee':['Bob','Jake','Lisa'],
'group':['Accounting','Engineering','Engineering'],
})
df2 = DataFrame({
'employee':['Bob','Jake','Lisa'],
'hire_date':[2004,2008,2012],
})
pd.merge(df1,df2)
2) 多對一合并
pd.merge(df3,df4)
3) 多對多合并
pd.merge(df5,df6,how='outer')
4) key的規范化
當列沖突時，即有多個列名稱相同時，需要使用on=來指定哪一個列作為key，配合suffixes指定沖突列名
pd.merge(df1,df2,on='employee')
5) 內合并與外合并:
out取并集 inner取交集?
內合并：只保留兩者都有的key（默認模式）
外合并 how='outer'：補NaN
作業
1.刪除重復元素
使用duplicated()函數檢測重復的行，返回元素為布爾類型的Series對象，每個元素對應一行，如果該行不是第一次出現，則元素為True
- keep參數：指定保留哪一重復的行數據
創建具有重復元素行的DataFrame
創建一個df
df = DataFrame(data=np.random.randint(0,100,size=(9,5))) df.iloc[1] = [6,6,6,6,6] df.iloc[3] = [6,6,6,6,6] df.iloc[5] = [6,6,6,6,6] df- 使用drop_duplicates()函數刪除重復的行
- drop_duplicates(keep='first/last'/False)
df.drop_duplicates(keep='first')
df.drop_duplicates(keep='last')
2.映射
1) replace()函數：替換元素
DataFrame替換操作
- 單值替換
- 普通替換： 替換所有符合要求的元素:to_replace=15,value='e'
- 按列指定單值替換： to_replace={列標簽：替換值} value='value'
- 多值替換
- 列表替換: to_replace=[] value=[]
- 字典替換（推薦） to_replace={to_replace:value,to_replace:value}
替換一行
df.replace(to_replace=6,value='six')
替換單個值
df.replace(to_replace={4:'four'})
df.replace(to_replace={4:6},value='six') #指定 第四行為6的元素換成six
2)map()函數：
新建一列 ， map函數并不是df的方法，而是series的方法?-map()函數：新建一列-，---map函數并不是df的方法，而是series的方法)
- map()可以映射新一列數據
- map()中可以使用lambd表達式
- map()中可以使用方法，可以是自定義的方法
- 注意 map()中不能使用sum之類的函數，for循環
- 新增一列：給df中，添加一列，該列的值為中文名對應的英文名
映射
dic = {
'jay':'周杰倫',
'tom':'張三'
}
df['c_name'] = df['name'].map(dic)
df
map當做一種運算工具，至于執行何種運算，是由map函數的參數決定的（參數：lambda，函數）
- 使用自定義函數
def after_sal(s):
return s- (s-5000)*0.5
超過5000部分的錢繳納50%的稅
df['after_sal'] = df['salary'].map(after_sal)
apply()函數
也可以運算
df['salary'].apply(after_sal)#返回的是索引
注意：并不是任何形式的函數都可以作為map的參數。只有當一個函數具有一個參數且有返回值，那么該函數才可以作為map的參數。
3.使用聚合操作對數據異常值檢測和過濾
使用df.std()函數可以求得DataFrame對象每一列的標準差
- 創建一個1000行3列的df 范圍（0-1），求其每一列的標準差
df = DataFrame(data=np.random.random(size=(1000,3)),columns=['A','B','C'])
df.head()
df
對df應用篩選條件,去除標準差太大的數據:假設過濾條件為 C列數據大于兩倍的C列標準差
std_twice = df['C'].std() * 2
std_twice
df['C']>std_twice
異常值對應的行數據
df.loc[df['C']>std_twice]
indexs = df.loc[df['C']>std_twice].index
df.drop(labels=indexs, axis=0, inplace=True)
df
- 數據清洗
- 清洗空值
- dropna fillna isnull notnull any all
- 清洗重復值
- drop_duplicates（keep）
- 清洗異常值
- 異常值監測的結果（布爾值），作為清洗的過濾的條件
- 清洗空值
4. 排序
使用.take()函數排序
- take()函數接受一個索引列表，用數字表示,使得df根據列表中索引的順序進行排序 - eg:df.take([1,3,4,2,5])可以借助np.random.permutation()函數隨機排序
df.take([2,1,0],axis=1)# 隱性索引的 為了方便自動生成?
df.take([2,1,0],axis=1).take(np.random.permutation(500),axis=0)#隨機排序
隨機取20行
df.take([2,1,0],axis=1).take(np.random.permutation(500),axis=0)[0:20]
- np.random.permutation(x)可以生成x個從0-(x-1)的隨機數列
隨機抽樣
當DataFrame規模足夠大時，直接使用np.random.permutation(x)函數，就配合take()函數實現隨機抽樣
5. 數據分類處理【重點】
數據聚合是數據處理的最后一步，通常是要使每一個數組生成一個單一的數值。
數據分類處理：
- 分組：先把數據分為幾組
- 用函數處理：為不同組的數據應用不同的函數以轉換數據
- 合并：把不同組得到的結果合并起來
數據分類處理的核心：
- groupby()函數
groups屬性查看分組情況- eg: df.groupby(by='item').groups
分組
- 使用groupby實現分組
df.groupby(by='item')
<pandas.core.groupby.DataFrameGroupBy object at 0x000000000E3D5BA8>使用groups查看分組情況
該函數可以進行數據的分組, 但是不顯示分組情況
df.groupby(by='item').groups
給df創建一個新列, 內容為各個水果的平均價格
df.groupby(by='item').mean()['price'] # 增加記算量,不提倡
mean_price = df.groupby(by='item')['price'].mean()
dic = mean_price.to_dict()
dic
{'Apple': 3.0, 'Banana': 2.75, 'Orange': 3.5}
df['mean_price'] = df['item'].map(dic) # 加到表中
df
計算出蘋果的平均價格
按顏色查看各種顏色的水果的平均價格
匯總:將各種顏色水果的平均價格和df進行匯總
df[df['item']=='Apple']['price'].mean()
df.groupby(by='color')['price'].mean().to_dict()
df['color_price'] = df['color'].map(df.groupby(by='color')['price'].mean().to_dict())
df
6.0 高級數據聚合
使用groupby分組后，也可以使用transform和apply提供自定義函數實現更多的運算
- df.groupby('item')['price'].sum() <==> df.groupby('item')['price'].apply(sum)
- transform和apply都會進行運算，在transform或者apply中傳入函數即可
- transform和apply也可以傳入一個lambda表達式
def my_mean(s):
print(s) # Name: Apple, dtype: float64
sum = 0
for i in s:
sum+=i
return sum/s.size
df.groupby(by='item')['price'].transform(my_mean)# 返回的是索引 自定義平均價格
返回的是一個個的[蘋果s],[香蕉s],[西瓜s]
df.groupby(by='item')['price'].apply(my_mean)
轉載于:https://www.cnblogs.com/Doner/p/11349156.html
總結
- 上一篇： Vue.js 2.x render 渲染
- 下一篇： ASP.NET中String.Index