視頻網站數據清洗整理和結論研究

要求：
1、數據清洗 - 去除空值

• 要求：創建函數
• 提示：fillna方法填充缺失數據，注意inplace參數

2、數據清洗 - 時間標簽轉化

• 要求：
  ① 將時間字段改為時間標簽
  ② 創建函數
• 提示：
  需要將中文日期轉化為非中文日期，例如 2016年5月24日 → 2016.5.24

3、問題1 分析出不同導演電影的好評率，并篩選出TOP20

• 要求：
  ① 計算統計出不同導演的好評率，不要求創建函數
  ② 通過多系列柱狀圖，做圖表可視化
• 提示：
  ① 好評率 = 好評數 / 評分人數
  ② 可自己設定圖表風格

4、問題2 統計分析2001-2016年每年評影人數總量

• 要求：
  ① 計算統計出2001-2016年每年評影人數總量，不要求創建函數
  ② 通過面積圖，做圖表可視化，分析每年人數總量變化規律
  ③ 驗證是否有異常值（極度異常）
  ④ 創建函數分析出數據外限最大最小值）
  ⑤ 篩選查看異常值 → 是否異常值就是每年的熱門電影？
• 提示：
  ① 通過箱型圖驗證異常值情況
  ② 通過quantile(q=0.5)方法，得到四分位數
  ③ IQR=Q3-Q1
  ④ 外限：最大值區間Q3+3IQR,最小值區間Q1-3IQR （IQR=Q3-Q1）
  ⑤ 可自己設定圖表風格

一 導入python包

import pandas as pd import numpy as np import matplotlib.pyplot as plt % matplotlib inline

二 數據讀取

data = pd.read_csv('C:/Users/Hjx/Desktop/愛奇藝視頻數據.csv', engine = 'python') print(data.head())

三 數據清洗

1 去除空值

文本型字段空值改為“缺失數據”，數字型字段空值改為 0

• 要求：創建函數
• 提示：fillna方法填充缺失數據，注意inplace參數

def data_cleaning(df):cols = df.columnsfor col in cols:if df[col].dtype == 'object':df[col].fillna('缺失數據', inplace = True)else:df[col].fillna(0, inplace = True)return(df)

• 該函數可以將任意數據內空值替換

data_c1 = data_cleaning(data) print(data_c1.head(10))

2 時間標簽轉化

將時間字段改為時間標簽

• 要求：創建函數
• 提示：需要將中文日期轉化為非中文日期，例如 2016年5月24日 → 2016.5.24

def data_time(df,*cols):for col in cols:df[col] = df[col].str.replace('年','.')df[col] = df[col].str.replace('月','.')df[col] = df[col].str.replace('日','')df[col] = pd.to_datetime(df[col])return(df)

• 該函數將輸入列名的列，改為DatetimeIndex格式

data_c2 = data_time(data_c1,'數據獲取日期') print(data_c2.head(10))

四 統計分析

• 問題1 分析出不同導演電影的好評率，并篩選出TOP20
  • 要求：
    ① 計算統計出不同導演的好評率，不要求創建函數
    ② 通過多系列柱狀圖，做圖表可視化
  • 提示：
    ① 好評率 = 好評數 / 評分人數

df_q1 = data_c2.groupby('導演')[['好評數','評分人數']].sum() df_q1['好評率'] = df_q1['好評數'] / df_q1['評分人數'] result_q1 = df_q1.sort_values(['好評率'], ascending=False)[:20]

• 計算統計不同導演的好評率

result_q1['好評率'].plot(kind='bar',color = 'k',width = 0.8,alpha = 0.4,rot = 45,grid = True,ylim = [0.98,1],figsize = (12,4),title = '不同導演電影的好評率')

• 問題2 統計分析2001-2016年每年評影人數總量
  • 要求：
    ① 計算統計出2001-2016年每年評影人數總量，不要求創建函數
    ② 通過面積圖，做圖表可視化，分析每年人數總量變化規律
    ③ 驗證是否有異常值（極度異常）
    ④ 創建函數分析出數據外限最大最小值）
    ⑤ 篩選查看異常值 → 是否異常值就是每年的熱門電影？
  • 提示：
    ① 通過箱型圖驗證異常值情況
    ② 通過quantile(q=0.5)方法，得到四分位數
    ③ IQR=Q3-Q1
    ④ 外限：最大值區間Q3+3IQR,最小值區間Q1-3IQR （IQR=Q3-Q1）

q2data1 = data_c2[['導演','上映年份','整理后劇名']].drop_duplicates() q2data1 = q2data1[q2data1['上映年份'] != 0]

• 篩選出不同年份的數據，去除‘上映年份’字段缺失數據

q2data2 = data_c2.groupby('整理后劇名').sum()[['評分人數','好評數']] #print(q2data2)

• 求出不同劇的評分人數、好評數總和

q2data3 = pd.merge(q2data1,q2data2,left_on='整理后劇名',right_index=True) #print(q2data3)

• 合并數據，得到不同年份，不同劇的評分人數、好評數總和

q2data4 = q2data3.groupby('上映年份').sum()[['評分人數','好評數']] print(q2data4.head())

• 按照電影上映年份統計，評分人數量

fig1 = plt.figure(num=1,figsize=(12,4)) q2data4['評分人數'].loc[2000:].plot.area(figsize = (10,4),grid = True,color = 'g',alpha = 0.8) plt.xticks(range(2001,2016)) plt.title('2001-2016年每年評影人數總量統計')

• 創建面積圖
  • 每年影評人數通過每個電影來判斷是否合理？
  • 存在異常值，哪些是異常值？

fig,axes = plt.subplots(4,4,figsize=(10,16)) start = 2001 for i in range(4):for j in range(4):data = q2data3[q2data3['上映年份'] == start]data[['評分人數','好評數']].boxplot(whis = 3, # IQR為3return_type='dict',ax = axes[i,j]) # 創建矩陣箱型圖start += 1

• 發現基本每年的數據中都有異常值，且為極度異常
  
  
• 創建函數得到外限最大最小值
• 查看異常值

a = q2data3[q2data3['上映年份'] == 2001] def data_error(df,col):q1 = df[col].quantile(q=0.25) # 上四分位數q3 = df[col].quantile(q=0.75) # 下四分位數iqr = q3 - q1 # IQRtmax = q3 + 3 * iqr # 外限最大值tmin = q3 - 3 * iqr # 外限最小值return(tmax,tmin)

• 創建函數，得到外限最大最小值

for i in range(2000,2016):datayear = q2data3[q2data3['上映年份'] == i] # 篩選該年度的數據print('%i年有%i條數據' % (i,len(datayear))) # 查看每年的數據量t = data_error(datayear,'評分人數') # 得到外限最大最小值#print(t)print(datayear[datayear['評分人數'] > t[0]]) # 查看評分人數大于外限最大值的異常值print('-------\n')

• 查看異常值信息
  

總結

以上是生活随笔為你收集整理的【数据分析】Python ：视频网站数据清洗整理和结论研究的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。