【数据分析】Python数据分析指南(全)
前言
數據分析是通過明確分析目的,梳理并確定分析邏輯,針對性的收集、整理數據,并采用統計、挖掘技術分析,提取有用信息和展示結論的過程,是數據科學領域的核心技能。
本文從數據分析常用邏輯框架及技術方法出發,結合python項目實戰全面解讀數據分析,可以系統掌握數據分析的框架套路,快速上手數據分析。
一、 數據分析的邏輯 --構建系統的分析維度及指標
1.1 ? PEST分析法
PEST分析是指宏觀環境的分析,宏觀環境是指影響一切行業或企業的各種宏觀力量。P是政治(Politics),E是經濟(Economy),S是社會(Society),T是技術(Technology)。通常是戰略咨詢顧問用來幫助企業檢閱其外部宏觀環境的一種方法,以吉利收購沃爾沃為例:
1.2 ?5W2H分析法
5W2H分析法又稱七何分析法,包括:Why、What、Where、When、Who、How、How much 。主要用于用戶行為分析、業務問題專題分析、營銷活動等,是一個方便又實用的工具。
1.3 ?邏輯樹分析法
邏輯樹是分析問題最常用的工具之一,它是將問題的所有子問題分層羅列,從最高層開始,并逐步向下擴展。使用邏輯樹分析的主要優點是保證解決問題的過程的完整性,且方便將工作細分為便于操作的任務,確定各部分的優先順序,明確地把責任落實到個人。
1.4 ?4P營銷理論
4P即產品(Product)、價格(Price)、渠道(Place)、促銷(Promotion),在營銷領域,這種以市場為導向的營銷組合理論,被企業應用最普遍。通過將四者的結合、協調發展,從而提高企業的市場份額,達到最終獲利的目的。
4P營銷理論適用于分析企業的經營狀況,可視為企業內部環境,PEST分析的是企業在外部面對的環境。
1.5 ?SCQA分析法
SCQA分析是一個“結構化表達”工具,即S(Situation)情景、C(Complication)沖突、Q(Question)疑問、A(Answer)回答。
整個結構是通過描述當事者的現實狀態,然后帶出沖突和核心問題,通過結構化分析以提供更為明智的解決方案。以校園招聘SCQA分析為例:
1.6 ?SMART分析法
SMART法是一種目標管理方法,即對目標的S(Specific)明確性,M(Measurable)可衡量性,A(Attainable)可實現性,R(Relevant)相關性,T(Time-based)時限性。
1.7 ?SWOT分析法
SWOT分析法也叫態勢分析法,S (Strengths)是優勢、W (Weaknesses)是劣勢,O (Opportunities)是機會、T (Threats)是威脅或風險。常用來確定企業自身的內部優勢、劣勢和外部的機會和威脅等,從而將公司的戰略與公司內部與外部環境有機地結合起來。以HUAWEI 的SWOT分析為例:
二、 ?數據分析的技術方法
數據分析的技術方法是指提取出關鍵指標信息的具體方法,如對比分析、交叉分析、回歸預測分析等方法。
2.1 ?對比分析法
對比分析法是將兩個或兩個以上的數據進行比較,分析差異,揭示發展變化情況和規律。
靜態比較:時間一致的前提下選取不同指標,如部門、城市、門店等,也叫橫向比較。
動態比較:指標一致的前提下,針對不同時期的數據比較,也叫縱向比較。
舉例:各車企銷售表現
2.2 ?分組分析法
先經過數據加工,對數據進行數據分組,然后對分組的數據進行分析。
分組的目的是為了便于對比,把總體中具有不同性質的對象區分開,把性質相同的對象合并在一起,保持各組內對象屬性的一致性、組與組之間屬性的差異性,以便進一步運用各種數據分析方法來解釋內在的數量關系。
舉例:新書在各銷售渠道的銷量
2.3 ?結構分析法
結構分析法又稱比重分析法,是在分組分析法的基礎上,計算總體內各組成部分占總體的比重,進而分析總體數據的內部特征。
舉例:市場占有率是典型的結構分析。
2.4 ?平均分析法(標準參數分析法)
運用計算平均數的方法來反映總體在一定的時間、地點條件下某一數量特征的一般水平。
平均指標可用于同一現象在不同地區、不同部門或單位間的對比,還可用于同一現象在不同時間的對比。
舉例:季節性分析和價格分析時常會用到index指標
2.5 ?交叉分析法
通常用于分析兩個變量之間的關系,即同時將兩個有一定聯系的變量及其值交叉排列在一張表格內,使各變量值成為不同變量的交叉節點,形成交叉表。
舉例:常見的氣泡圖數據表格
2.6 ?漏斗圖分析法
漏斗圖可以很好的反映網站各步奏轉化率,利用對比法對同一環節優化前后的效果進行對比分析來反映某個步奏轉化率的好壞。
舉例:商品流轉率表現圖
三、 數據分析的圖表展示
圖表展示可以幫助我們更好、更直觀地看懂數據信息。
圖表的選擇,不只是關注圖表的樣式,而關鍵在于關注數據情況及圖表展示的功能。可以通過數據展示的功能(構成、比較、趨勢、分布及聯系)進行圖表選擇,如下所示:
四、 ?項目實戰 (python)
4.1 ?數據內容
數據來源于kesci天貓真實成交訂單,主要是行為類數據。
a. 訂單編號:訂單編號
b. 總金額:訂單總金額
c. 買家實際支付金額:總金額 - 退款金額(在已付款的情況下);未付款的支付金額為0
d. 收貨地址:全國各個省份
e. 訂單創建時間:下單時間
f. 訂單付款時間:付款時間(如果未付款,顯示NaN)
g. 退款金額:付款后申請退款的金額。未付款的退款金額為0
4.2 ?天貓訂單分析過程
4.2.1 ?背景及分析目的
以天貓一個月內的訂單數據,觀察這個月的訂單量以及銷售額, 分析下單日期、收貨地址等因素對訂單量的影響以及訂單轉換情況,旨在提升用戶下單量和訂單轉換率,進而提高用戶實際支付額。
4.2.2 ?分析邏輯
本文結合訂單流程以邏輯樹方法分析訂單數目的影響因素,從以下幾個維度展開:
4.2.3 ?數據讀取及處理
import?pandas?as?pd import?numpy?as?np import?matplotlib.pyplot?as?plt import?os import?warnings warnings.filterwarnings('ignore')#?讀取數據 df?=?pd.read_csv('tmall_order_report.csv') df.head() #?利用pandas_profiling一健生成數據情況(EDA)報告:數據描述、缺失、相關性等情況 import?pandas_profiling?as?pp report?=?pp.ProfileReport(df) report #規范字段名稱 df.columns df=df.rename(columns={'收貨地址?':'收貨地址','訂單付款時間?':'訂單付款時間'}) df.columns #查看數據基本信息 df.info() #?數據類型轉換 df['訂單創建時間']=pd.to_datetime(df.訂單創建時間) df['訂單付款時間']=pd.to_datetime(df.訂單付款時間) df.info() #?數據重復值 df.duplicated().sum()無
#數據缺失值 df.isnull().sum() #數據集描述性信息 df.describe() #篩選數據集 df_payed=df[df['訂單付款時間'].notnull()]#支付訂單數據集 df_trans=df_payed[df_payed['買家實際支付金額']!=0]#到款訂單數據集 df_trans_full=df_payed[df_payed['退款金額']==0]#全額到款訂單數據集4.2.4 ?總體運營指標分析
分析2月份成交訂單數的變化趨勢
import?pyecharts.options?as?opts #將訂單創建時間設為index df_trans=df_trans.set_index('訂單創建時間') #按天重新采樣 se_trans_month?=?df_trans.resample('D')['訂單編號'].count() from?pyecharts.charts?import?Line #做出標有具體數值的變化圖 name?=?'成交訂單數'(Line().add_xaxis(xaxis_data?=?list(se_trans_month.index.day.map(str))).add_yaxis(series_name=?name,y_axis=?se_trans_month,).set_global_opts(yaxis_opts?=?opts.AxisOpts(splitline_opts?=?opts.SplitLineOpts(is_show?=?True))).render_notebook() )小結 1 :2月上半月,多數企業未復工,快遞也停運,暫時無法發貨,訂單數很少;2月下半月,隨著企業復工逐漸增多,訂單數開始上漲。
se_trans_map=df_trans.groupby('收貨地址')['收貨地址'].count().sort_values(ascending=False) #?為了保持收貨地址和下面的地理分布圖使用的省份名稱一致,定義一個處理自治區的函數 def?strip_region(iterable):result?=?[]for?i?in?iterable:if?i.endswith('自治區'):if?i?==?'內蒙古自治區':i?=?i[:3]result.append(i)else:result.append(i[:2])else:result.append(i)return?result #?處理自治區 se_trans_map.index?=?strip_region(se_trans_map.index) #?去掉末位‘省’字 se_trans_map.index?=?se_trans_map.index.str.strip('省') import?pyecharts.options?as?opts from?pyecharts.charts?import?Map #?展示地理分布圖 name?=?'訂單數'(Map().add(series_name?=?name,data_pair=?[list(i)?for?i?in?se_trans_map.items()]).set_global_opts(visualmap_opts=opts.VisualMapOpts(max_=max(se_trans_map)*0.6)).render_notebook() )用直觀的地圖來觀察成交訂單數的分布情況
小結 2 :地區對訂單數量影響較大,一般較發達地區訂單數較大,邊遠地區較小。這里可能需要具體分析每個地區的商品種類、消費群體以及優惠政策,快遞等原因。可以根據原因進一步提高其他地區的訂單數量和銷售金額。
4.2.5 ?銷售轉化指標
訂單數以及訂單轉化率的呈現
dict_convs=dict()?#字典 dict_convs['總訂單數']=len(df) df_payed dict_convs['訂單付款數']=len(df_payed.notnull()) df_trans=df[df['買家實際支付金額']!=0] dict_convs['到款訂單數']=len(df_trans) dict_convs['全額到款訂單數']=len(df_trans_full) #字典轉為dataframe df_convs?=?pd.Series(dict_convs,name?=?'訂單數').to_frame() df_convs #求總體轉換率,依次比上總訂單數 total_convs=df_convs['訂單數']/df_convs.loc['總訂單數','訂單數']*100 df_convs['總體轉化率']=total_convs.apply(lambda?x:round(x,0)) df_convs #求單一轉換率 single_convs=df_convs.訂單數/(df_convs.訂單數.shift())*100 single_convs=single_convs.fillna(100) df_convs['單一轉化率']=single_convs.apply(lambda?x:round(x,0)) df_convs畫轉換率漏斗圖,直觀呈現訂單轉化情況
from?pyecharts.charts?import?Funnel from?pyecharts?import?options?as?opts name?=?'總體轉化率' funnel?=?Funnel().add(series_name?=?name,data_pair?=?[?list(z)?for?z?in?zip(df_convs.index,df_convs[name])?],is_selected?=?True,label_opts?=?opts.LabelOpts(position?=?'inside')) funnel.set_series_opts(tooltip_opts?=?opts.TooltipOpts(formatter?=?'{a}<br/>{b}:{c}%'))funnel.set_global_opts(?title_opts?=?opts.TitleOpts(title?=?name), #?????????????????????????tooltip_opts?=?opts.TooltipOpts(formatter?=?'{a}<br\>{b}:{c}%'),)funnel.render_notebook() name?=?'單一轉化率' funnel?=?Funnel().add(series_name?=?name,data_pair?=?[?list(z)?for?z?in?zip(df_convs.index,df_convs[name])?],is_selected?=?True,label_opts?=?opts.LabelOpts(position?=?'inside')) funnel.set_series_opts(tooltip_opts?=?opts.TooltipOpts(formatter?=?'{a}<br/>{b}:{c}%'))funnel.set_global_opts(?title_opts?=?opts.TitleOpts(title?=?name), #?????????????????????????tooltip_opts?=?opts.TooltipOpts(formatter?=?'{a}<br\>{b}:{c}%'),)funnel.render_notebook()小結 3:從單一轉化率來看,支付訂單數-到款訂單數轉換率為79%,后續可以從退款率著手分析退款原因,提高轉換率。
文章首發于算法進階,公眾號閱讀原文可訪問GitHub源碼
往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯 本站qq群851320808,加入微信群請掃碼:總結
以上是生活随笔為你收集整理的【数据分析】Python数据分析指南(全)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 桔子浏览器电脑版收藏夹位置在哪里 收藏夹
- 下一篇: 如何为火狐浏览器添加附加组件?火狐浏览器