《利用Python進行數據分析》（第二版）+中文翻譯精要+配套代碼和數據

鏈接：https://pan.baidu.com/s/1kz4DTlefVVkBpewtgomsjw

提取碼：l8wi　PDF

1.1 本書的內容

本書講的是利用Python進行數據控制、處理、整理、分析等方面的具體細節和基本要點。我的目標是介紹Python編程和用于數據處理的庫和工具環境，掌握這些，可以讓你成為一個數據分析專家。雖然本書的標題是“數據分析”，重點卻是Python編程、庫，以及用于數據分析的工具。這就是數據分析要用到的Python編程。

什么樣的數據？

當書中出現“數據”時，究竟指的是什么呢？主要指的是結構化數據（structured data），這個故意含糊其辭的術語代指了所有通用格式的數據，例如：

表格型數據，其中各列可能是不同的類型（字符串、數值、日期等）。比如保存在關系型數據庫中或以制表符/逗號為分隔符的文本文件中的那些數據。

多維數組（矩陣）。

通過關鍵列（對于SQL用戶而言，就是主鍵和外鍵）相互聯系的多個表。

間隔平均或不平均的時間序列。

這絕不是一個完整的列表。大部分數據集都能被轉化為更加適合分析和建模的結構化形式，雖然有時這并不是很明顯。如果不行的話，也可以將數據集的特征提取為某種結構化形式。例如，一組新聞文章可以被處理為一張詞頻表，而這張詞頻表就可以用于情感分析。

大部分電子表格軟件（比如Microsoft Excel，它可能是世界上使用最廣泛的數據分析工具了）的用戶不會對此類數據感到陌生。

1.2 為什么要使用Python進行數據分析

許許多多的人（包括我自己）都很容易愛上Python這門語言。自從1991年誕生以來，Python現在已經成為最受歡迎的動態編程語言之一，其他還有Perl、Ruby等。由于擁有大量的Web框架（比如Rails（Ruby）和Django（Python）），自從2005年，使用Python和Ruby進行網站建設工作非常流行。這些語言常被稱作腳本（scripting）語言，因為它們可以用于編寫簡短而粗糙的小程序（也就是腳本）。我個人并不喜歡“腳本語言”這個術語，因為它好像在說這些語言無法用于構建嚴謹的軟件。在眾多解釋型語言中，由于各種歷史和文化的原因，Python發展出了一個巨大而活躍的科學計算（scientific computing）社區。在過去的10年，Python從一個邊緣或“自擔風險”的科學計算語言，成為了數據科學、機器學習、學界和工業界軟件開發最重要的語言之一。

在數據分析、交互式計算以及數據可視化方面，Python將不可避免地與其他開源和商業的領域特定編程語言/工具進行對比，如R、MATLAB、SAS、Stata等。近年來，由于Python的庫（例如pandas和scikit-learn）不斷改良，使其成為數據分析任務的一個優選方案。結合其在通用編程方面的強大實力，我們完全可以只使用Python這一種語言構建以數據為中心的應用。

Python作為膠水語言

Python成為成功的科學計算工具的部分原因是，它能夠輕松地集成C、C++以及Fortran代碼。大部分現代計算環境都利用了一些Fortran和C庫來實現線性代數、優選、積分、快速傅里葉變換以及其他諸如此類的算法。許多企業和國家實驗室也利用Python來“粘合”那些已經用了多年的遺留軟件系統。

大多數軟件都是由兩部分代碼組成的：少量需要占用大部分執行時間的代碼，以及大量不經常執行的“膠水代碼”。大部分情況下，膠水代碼的執行時間是微不足道的。開發人員的精力幾乎都是花在優化計算瓶頸上面，有時更是直接轉用更低級的語言（比如C）。

解決“兩種語言”問題

很多組織通常都會用一種類似于領域特定的計算語言（如SAS和R）對新想法做研究、原型構建和測試，然后再將這些想法移植到某個更大的生產系統中去（可能是用Java、C#或C++編寫的）。人們逐漸意識到，Python不僅適用于研究和原型構建，同時也適用于構建生產系統。為什么一種語言就夠了，卻要使用兩個語言的開發環境呢？我相信越來越多的企業也會這樣看，因為研究人員和工程技術人員使用同一種編程工具將會給企業帶來非常顯著的組織效益。

為什么不選Python

雖然Python非常適合構建分析應用以及通用系統，但它對不少應用場景適用性較差。

由于Python是一種解釋型編程語言，因此大部分Python代碼都要比用編譯型語言（比如Java和C++）編寫的代碼運行慢得多。由于程序員的時間通常都比CPU時間值錢，因此許多人也愿意對此做一些取舍。但是，在那些延遲要求非常小或高資源利用率的應用中（例如高頻交易系統），耗費時間使用諸如C++這樣更低級、更低生產率的語言進行編程也是值得的。

對于高并發、多線程的應用程序而言（尤其是擁有許多計算密集型線程的應用程序），Python并不是一種理想的編程語言。這是因為Python有一個叫做全局解釋器鎖（Global Interpreter Lock，GIL）的組件，這是一種防止解釋器同時執行多條Python字節碼指令的機制。有關“為什么會存在GIL”的技術性原因超出了本書的范圍。雖然很多大數據處理應用程序為了能在較短的時間內完成數據集的處理工作都需要運行在計算機集群上，但是仍然有一些情況需要用單進程多線程系統來解決。

這并不是說Python不能執行真正的多線程并行代碼。例如，Python的C插件使用原生的C或C++的多線程，可以并行運行而不被GIL影響，只要它們不頻繁地與Python對象交互。

1.3 重要的Python庫

考慮到那些還不太了解Python科學計算生態系統和庫的讀者，下面我先對各個庫做一個簡單的介紹。

NumPy

NumPy（Numerical Python的簡稱）是Python科學計算的基礎包。本書大部分內容都基于NumPy以及構建于其上的庫。它提供了以下功能（不限于此）：

快速高效的多維數組對象ndarray。

用于對數組執行元素級計算以及直接對數組執行數學運算的函數。

用于讀寫硬盤上基于數組的數據集的工具。

線性代數運算、傅里葉變換，以及隨機數生成。

-成熟的C API， 用于Python插件和原生C、C++、Fortran代碼訪問NumPy的數據結構和計算工具。

除了為Python提供快速的數組處理能力，NumPy在數據分析方面還有另外一個主要作用，即作為在算法和庫之間傳遞數據的容器。對于數值型數據，NumPy數組在存儲和處理數據時要比內置的Python數據結構高效得多。此外，由低級語言（比如C和Fortran）編寫的庫可以直接操作NumPy數組中的數據，無需進行任何數據復制工作。因此，許多Python的數值計算工具要么使用NumPy數組作為主要的數據結構，要么可以與NumPy進行無縫交互操作。

pandas

pandas提供了快速便捷處理結構化數據的大量數據結構和函數。自從2010年出現以來，它助使Python成為強大而高效的數據分析環境。本書用得最多的pandas對象是DataFrame，它是一個面向列（column-oriented）的二維表結構，另一個是Series，一個一維的標簽化數組對象。

pandas兼具NumPy高性能的數組計算功能以及電子表格和關系型數據庫（如SQL）靈活的數據處理功能。它提供了復雜精細的索引功能，能更加便捷地完成重塑、切片和切塊、聚合以及選取數據子集等操作。因為數據操作、準備、清洗是數據分析最重要的技能，pandas是本書的重點。

作為背景，我是在2008年初開始開發pandas的，那時我任職于AQR Capital Management，一家量化投資管理公司，我有許多工作需求都不能用任何單一的工具解決：

有標簽軸的數據結構，支持自動或清晰的數據對齊。這可以防止由于數據不對齊，或處理來源不同的索引不同的數據，所造成的錯誤。

集成時間序列功能。

相同的數據結構用于處理時間序列數據和非時間序列數據。

保存元數據的算術運算和壓縮。

靈活處理缺失數據。

合并和其它流行數據庫（例如基于SQL的數據庫）的關系操作。

我想只用一種工具就實現所有功能，并使用通用軟件開發語言。Python是一個不錯的候選語言，但是此時沒有集成的數據結構和工具來實現。我一開始就是想把pandas設計為一款適用于金融和商業分析的工具，pandas專注于深度時間序列功能和工具，適用于時間索引化的數據。

對于使用R語言進行統計計算的用戶，肯定不會對DataFrame這個名字感到陌生，因為它源自于R的data.frame對象。但與Python不同，data frames是構建于R和它的標準庫。因此，pandas的許多功能不屬于R或它的擴展包。

pandas這個名字源于panel data（面板數據，這是多維結構化數據集在計量經濟學中的術語）以及Python data analysis（Python數據分析）。

matplotlib

matplotlib是最流行的用于繪制圖表和其它二維數據可視化的Python庫。它最初由John D.Hunter（JDH）創建，目前由一個龐大的開發團隊維護。它非常適合創建出版物上用的圖表。雖然還有其它的Python可視化庫，matplotlib卻是使用最廣泛的，并且它和其它生態工具配合也非常完美。我認為，可以使用它作為默認的可視化工具。

IPython和Jupyter

IPython項目起初是Fernando Pérez在2001年的一個用以加強和Python交互的子項目。在隨后的16年中，它成為了Python數據棧最重要的工具之一。雖然IPython本身沒有提供計算和數據分析的工具，它卻可以大大提高交互式計算和軟件開發的生產率。IPython鼓勵“執行-探索”的工作流，區別于其它編程軟件的“編輯-編譯-運行”的工作流。它還可以方便地訪問系統的shell和文件系統。因為大部分的數據分析代碼包括探索、試錯和重復，IPython可以使工作更快。

2014年，Fernando和IPython團隊宣布了Jupyter項目，一個更寬泛的多語言交互計算工具的計劃。IPython web notebook變成了Jupyter notebook，現在支持40種編程語言。IPython現在可以作為Jupyter使用Python的內核（一種編程語言模式）。

IPython變成了Jupyter龐大開源項目（一個交互和探索式計算的高效環境）中的一個組件。它最老也是最簡單的模式，現在是一個用于編寫、測試、調試Python代碼的強化shell。你還可以使用通過Jupyter Notebook，一個支持多種語言的交互式網絡代碼“筆記本”，來使用IPython。IPython shell 和Jupyter notebooks特別適合進行數據探索和可視化。

Jupyter notebooks還可以編寫Markdown和HTML內容，它提供了一種創建代碼和文本的富文本方法。其它編程語言也在Jupyter中植入了內核，好讓在Jupyter中可以使用Python以外的語言。

對我個人而言，我的大部分Python工作都要用到IPython，包括運行、調試和測試代碼。

在本書的GitHub頁面，你可以找到包含各章節所有代碼實例的Jupyter notebooks。

SciPy

SciPy是一組專門解決科學計算中各種標準問題域的包的集合，主要包括下面這些包：

scipy.integrate：數值積分例程和微分方程求解器。

scipy.linalg：擴展了由numpy.linalg提供的線性代數例程和矩陣分解功能。

scipy.optimize：函數優化器（最小化器）以及根查找算法。

scipy.signal：信號處理工具。

scipy.sparse：稀疏矩陣和稀疏線性系統求解器。

scipy.special：SPECFUN（這是一個實現了許多常用數學函數（如伽瑪函數）的Fortran庫）的包裝器。

scipy.stats：標準連續和離散概率分布（如密度函數、采樣器、連續分布函數等）、各種統計檢驗方法，以及更好的描述統計法。

NumPy和SciPy結合使用，便形成了一個相當完備和成熟的計算平臺，可以處理多種傳統的科學計算問題。

scikit-learn

2010年誕生以來，scikit-learn成為了Python的通用機器學習工具包。僅僅七年，就匯聚了全世界超過1500名貢獻者。它的子模塊包括：

分類：SVM、近鄰、隨機森林、邏輯回歸等等。

回歸：Lasso、嶺回歸等等。

聚類：k-均值、譜聚類等等。

降維：PCA、特征選擇、矩陣分解等等。

選型：網格搜索、交叉驗證、度量。

預處理：特征提取、標準化。

與pandas、statsmodels和IPython一起，scikit-learn對于Python成為高效數據科學編程語言起到了關鍵作用。雖然本書不會詳細講解scikit-learn，我會簡要介紹它的一些模型，以及用其它工具如何使用這些模型。

statsmodels

statsmodels是一個統計分析包，起源于斯坦福大學統計學教授Jonathan Taylor，他設計了多種流行于R語言的回歸分析模型。Skipper Seabold和Josef Perktold在2010年正式創建了statsmodels項目，隨后匯聚了大量的使用者和貢獻者。受到R的公式系統的啟發，Nathaniel Smith發展出了Patsy項目，它提供了statsmodels的公式或模型的規范框架。

與scikit-learn比較，statsmodels包含經典統計學和經濟計量學的算法。包括如下子模塊：

回歸模型：線性回歸，廣義線性模型，健壯線性模型，線性混合效應模型等等。

方差分析（ANOVA）。

時間序列分析：AR，ARMA，ARIMA，VAR和其它模型。

非參數方法： 核密度估計，核回歸。

統計模型結果可視化。

statsmodels更關注與統計推斷，提供不確定估計和參數p-值。相反的，scikit-learn注重預測。

同scikit-learn一樣，我也只是簡要介紹statsmodels，以及如何用NumPy和pandas使用它。

1.4 安裝和設置

由于人們用Python所做的事情不同，所以沒有一個普適的Python及其插件包的安裝方案。由于許多讀者的Python科學計算環境都不能完全滿足本書的需要，所以接下來我將詳細介紹各個操作系統上的安裝方法。我推薦免費的Anaconda安裝包。寫作本書時，Anaconda提供Python 2.7和3.6兩個版本，以后可能發生變化。本書使用的是Python 3.6，因此推薦選擇Python 3.6或更高版本。

Windows

要在Windows上運行，先下載Anaconda安裝包。推薦跟隨Anaconda下載頁面的Windows安裝指導，安裝指導在寫作本書和讀者看到此文的的這段時間內可能發生變化。

現在，來確認設置是否正確。打開命令行窗口（cmd.exe），輸入python以打開Python解釋器。可以看到類似下面的Anaconda版本的輸出：

C:Userswesm>pythonPython3.5.2|Anaconda 4.1.1 (64-bit)|(default, Jul52016,11:41:13)[MSC v.190064bit (AMD64)] on win32>>>

要退出shell，按Ctrl-D（Linux或macOS上），Ctrl-Z（Windows上），或輸入命令exit()，再按Enter。

Apple (OS X, macOS)

下載OS X Anaconda安裝包，它的名字類似Anaconda3-4.1.0-MacOSX-x86_64.pkg。雙擊.pkg文件，運行安裝包。安裝包運行時，會自動將Anaconda執行路徑添加到.bash_profile文件，它位于/Users/$USER/.bash_profile。

為了確認成功，在系統shell打開IPython：

$ ipython

要退出shell，按Ctrl-D，或輸入命令exit()，再按Enter。

GNU/Linux

Linux版本很多，這里給出Debian、Ubantu、CentOS和Fedora的安裝方法。安裝包是一個腳本文件，必須在shell中運行。取決于系統是32位還是64位，要么選擇x86 (32位)或x86_64 (64位)安裝包。隨后你會得到一個文件，名字類似于Anaconda3-4.1.0-Linux-x86_64.sh。用bash進行安裝：

$ bash Anaconda3-4.1.0-Linux-x86_64.sh

筆記：某些Linux版本在包管理器中有滿足需求的Python包，只需用類似apt的工具安裝就行。這里講的用Anaconda安裝，適用于不同的Linux安裝包，也很容易將包升級到最新版本。

接受許可之后，會向你詢問在哪里放置Anaconda的文件。我推薦將文件安裝到默認的home目錄，例如/home/$USER/anaconda。

Anaconda安裝包可能會詢問你是否將bin/目錄添加到$PATH變量。如果在安裝之后有任何問題，你可以修改文件.bashrc（或.zshrc，如果使用的是zsh shell）為類似以下的內容：

exportPATH=/home/$USER/anaconda/bin:$PATH

做完之后，你可以開啟一個新窗口，或再次用~/.bashrc執行.bashrc。

安裝或升級Python包

在你閱讀本書的時候，你可能想安裝另外的不在Anaconda中的Python包。通常，可以用以下命令安裝：

conda install package_name

如果這個命令不行，也可以用pip包管理工具：

pip install package_name

你可以用conda update命令升級包：

conda update package_name

pip可以用--upgrade升級：

pip install --upgrade package_name

本書中，你有許多機會嘗試這些命令。

注意：當你使用conda和pip二者安裝包時，千萬不要用pip升級conda的包，這樣會導致環境發生問題。當使用Anaconda或Miniconda時，最好首先使用conda進行升級。

Python 2 和 Python 3

第一版的Python 3.x出現于2008年。它有一系列的變化，與之前的Python 2.x代碼有不兼容的地方。因為從1991年Python出現算起，已經過了17年，Python 3 的出現被視為吸取一些列教訓的更優結果。

2012年，因為許多包還沒有完全支持Python 3，許多科學和數據分析社區還是在使用Python 2.x。因此，本書第一版使用的是Python 2.7。現在，用戶可以在Python 2.x和Python 3.x間自由選擇，二者都有良好的支持。

但是，Python 2.x在2020年就會到期（包括重要的安全補?。?，因此再用Python 2.7就不是好的選擇了。因此，本書使用了Python 3.6，這一廣泛使用、支持良好的穩定版本。我們已經稱Python 2.x為“遺留版本”，簡稱Python 3.x為“Python”。我建議你也是如此。

本書基于Python 3.6。你的Python版本也許高于3.6，但是示例代碼應該是向前兼容的。一些示例代碼可能在Python 2.7上有所不同，或完全不兼容。

集成開發環境（IDEs）和文本編輯器

當被問到我的標準開發環境，我幾乎總是回答“IPython加文本編輯器”。我通常在編程時，反復在IPython或Jupyter notebooks中測試和調試每條代碼。也可以交互式操作數據，和可視化驗證數據操作中某一特殊集合。在shell中使用pandas和NumPy也很容易。

但是，當創建軟件時，一些用戶可能更想使用特點更為豐富的IDE，而不僅僅是原始的Emacs或Vim的文本編輯器。以下是一些IDE：

PyDev（免費），基于Eclipse平臺的IDE；

JetBrains的PyCharm（商業用戶需要訂閱，開源開發者免費）；

Visual Studio（Windows用戶）的Python Tools；

Spyder（免費），Anaconda附帶的IDE；

Komodo IDE（商業）。

因為Python的流行，大多數文本編輯器，比如Atom和Sublime Text 3，對Python的支持也非常好。

1.5 社區和會議

除了在網上搜索，各式各樣的科學和數據相關的Python郵件列表是非常有幫助的，很容易獲得回答。包括：

pydata：一個Google群組列表，用以回答Python數據分析和pandas的問題；

pystatsmodels： statsmodels或pandas相關的問題；

scikit-learn和Python機器學習郵件列表，scikit-learn@python.org；

numpy-discussion：和NumPy相關的問題；

scipy-user：SciPy和科學計算的問題；

因為這些郵件列表的URLs可以很容易搜索到，但因為可能發生變化，所以沒有給出。

每年，世界各地會舉辦許多Python開發者大會。如果你想結識其他有相同興趣的人，如果可能的話，我建議你去參加一個。許多會議會對無力支付入場費和差旅費的人提供財力幫助。下面是一些會議：

PyCon和EuroPython：北美和歐洲的兩大Python會議；

SciPy和EuroSciPy：北美和歐洲兩大面向科學計算的會議；

PyData：世界范圍內，一些列的地區性會議，專注數據科學和數據分析；

國際和地區的PyCon會議（http://pycon.org有完整列表） 。

作者：生活的探路者

鏈接：https://www.jianshu.com/p/3bcd7060700a

來源：簡書

著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。

總結

以上是生活随笔為你收集整理的【资料分享】利用Python进行数据分析·第2版 PDF的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。