python_分類_category方法

from_codes構造器

Advanced pandas import numpy as np import pandas as pd np.random.seed(12345) import matplotlib.pyplot as plt plt.rc('figure', figsize=(10, 6)) PREVIOUS_MAX_ROWS = pd.options.display.max_rows pd.options.display.max_rows = 20 np.set_printoptions(precision=4, suppress=True) Categorical Data Background and Motivation # 背景和?的 # 表中的?列通常會有重復的包含不同值的?集合的情況。我們已 # 經學過了unique和value_counts，它們可以從數組提取出不同的 # 值，并分別計算頻率： import numpy as np; import pandas as pd values = pd.Series(['apple', 'orange', 'apple','apple'] * 2) values # pd.unique(values) # pd.value_counts(values) 0 apple 1 orange 2 apple 3 apple 4 apple 5 orange 6 apple 7 apple dtype: object # 以使?take?法存儲原始的字符串Series： 使用take加載series數據 values = pd.Series([0, 1, 0, 0] * 2) dim = pd.Series(['apple', 'orange']) values dim 0 apple 1 orange dtype: object# 使用take分類 分桶 為分類或字典編碼表示法 # 這種?整數表示的?法稱為分類或字典編碼表示法。不同值得數 # 組稱為分類、字典或數據級。本書中，我們使?分類的說法。表 # 示分類的整數值稱為分類編碼或簡單地稱為編碼。 # 分類表示可以在進?分析時??的提?性能。你也可以在保持編 # 碼不變的情況下，對分類進?轉換。?些相對簡單的轉變例?包 # 括： # 重命名分類。 # 加??個新的分類，不改變已經存在的分類的順序或位置。 dim.take(values) 0 apple 1 orange 0 apple 0 apple 0 apple 1 orange 0 apple 0 apple dtype: object Categorical Type in pandas pandas的分類類型 # pandas有?個特殊的分類類型，?于保存使?整數分類表示法 # 的數據。看?個之前的Series例?： # pandas的分類類型 # pandas有?個特殊的分類類型，?于保存使?整數分類表示法 # 的數據。看?個之前的Series例?： fruits = ['apple', 'orange', 'apple', 'apple'] * 2 N = len(fruits) df = pd.DataFrame({'fruit': fruits,'basket_id': np.arange(N),'count': np.random.randint(3, 15, size=N),'weight': np.random.uniform(0, 4, size=N)},columns=['basket_id', 'fruit', 'count', 'weight']) df basket_id fruit count weight 0 0 apple 5 3.858058 1 1 orange 8 2.612708 2 2 apple 4 2.995627 3 3 apple 7 2.614279 4 4 apple 12 2.990859 5 5 orange 8 3.845227 6 6 apple 5 0.033553 7 7 apple 4 0.425778 fruit_cat的值不是NumPy數組，?是?個pandas.Categorical實 # 例： fruit_cat = df['fruit'].astype('category') fruit_cat # fruit_cat的值不是NumPy數組，?是?個pandas.Categorical實 # 例： 0 apple 1 orange 2 apple 3 apple 4 apple 5 orange 6 apple 7 apple Name: fruit, dtype: category Categories (2, object): [apple, orange] c = fruit_cat.values type(c) pandas.core.arrays.categorical.Categorical # 分類對象有categories和codes屬性： c.categories c.codes ? array([0, 1, 0, 0, 0, 1, 0, 0], dtype=int8) 你可將DataFrame的列通過分配轉換結果，轉換為分類： # 你可將DataFrame的列通過分配轉換結果，轉換為分類： df['fruit'] = df['fruit'].astype('category') df.fruit 0 apple 1 orange 2 apple 3 apple 4 apple 5 orange 6 apple 7 apple Name: fruit, dtype: category Categories (2, object): [apple, orange] # 還可以從其它Python序列直接創建pandas.Categorical： my_categories = pd.Categorical(['foo', 'bar', 'baz', 'foo', 'bar']) my_categories [foo, bar, baz, foo, bar] Categories (3, object): [bar, baz, foo] # 如果你已經從其它源獲得了分類編碼，你還可以使?from_codes # 構造器： categories = ['foo', 'bar', 'baz'] codes = [0, 1, 2, 0, 0, 1] my_cats_2 = pd.Categorical.from_codes(codes, categories) my_cats_2 [foo, bar, baz, foo, foo, bar] Categories (3, object): [foo, bar, baz] Categorical # 與顯示指定不同，分類變換不認定指定的分類順序。因此取決于 # 輸?數據的順序， categories數組的順序會不同。當使? # from_codes或其它的構造器時，你可以指定分類?個有意義的順 # 序： ordered_cat = pd.Categorical.from_codes(codes, categories,ordered=True) ordered_cat [foo, bar, baz, foo, foo, bar] Categories (3, object): [foo < bar < baz] 輸出[foo < bar < baz]指明‘foo’位于‘bar’的前?，以此類推。?序 # 的分類實例可以通過as_ordered排序： # 輸出[foo < bar < baz]指明‘foo’位于‘bar’的前?，以此類推。?序 # 的分類實例可以通過as_ordered排序： my_cats_2.as_ordered() [foo, bar, baz, foo, foo, bar] Categories (3, object): [foo < bar < baz] Computations with Categoricals? # ?分類進?計算 # 與?編碼版本（?如字符串數組）相?，使?pandas的 # Categorical有些類似。某些pandas組件，?如groupby函數，更 # 適合進?分類。還有?些函數可以使?有序標志位。 # 來看?些隨機的數值數據，使?pandas.qcut?元函數。它會返 # 回pandas.Categorical，我們之前使?過pandas.cut，但沒解釋 # 分類是如何?作的： np.random.seed(12345) draws = np.random.randn(1000) draws[:5] # draws array([-0.2047, 0.4789, -0.5194, -0.5557, 1.9658]) # 計算這個數據的分位?元，提取?些統計信息： bins = pd.qcut(draws, 4) bins [(-0.684, -0.0101], (-0.0101, 0.63], (-0.684, -0.0101], (-0.684, -0.0101], (0.63, 3.928], ..., (-0.0101, 0.63], (-0.684, -0.0101], (-2.9499999999999997, -0.684], (-0.0101, 0.63], (0.63, 3.928]] Length: 1000 Categories (4, interval[float64]): [(-2.9499999999999997, -0.684] < (-0.684, -0.0101] < (-0.0101, 0.63] < (0.63, 3.928]] # 雖然有?，確切的樣本分位數與分位的名稱相?，不利于?成匯 # 總。我們可以使?labels參數qcut，實現?的 bins = pd.qcut(draws, 4, labels=['Q1', 'Q2', 'Q3', 'Q4']) bins bins.codes[:10] array([1, 2, 1, 1, 3, 3, 2, 2, 3, 3], dtype=int8) 加上標簽的?元分類不包含數據?元邊界的信息，因此可以使? # groupby提取?些匯總信息： # 加上標簽的?元分類不包含數據?元邊界的信息，因此可以使? # groupby提取?些匯總信息： bins = pd.Series(bins, name='quartile') results = (pd.Series(draws).groupby(bins).agg(['count', 'min', 'max']).reset_index()) results quartile count min max 0 Q1 250 -2.949343 -0.685484 1 Q2 250 -0.683066 -0.010115 2 Q3 250 -0.010032 0.628894 3 Q4 250 0.634238 3.927528 分位數列保存了原始的?元分類信息，包括排序： # 分位數列保存了原始的?元分類信息，包括排序： results['quartile'] 0 Q1 1 Q2 2 Q3 3 Q4 Name: quartile, dtype: category Categories (4, object): [Q1 < Q2 < Q3 < Q4] #### Better performance with categoricals labels # ?分類提?性能 # 如果你是在?個特定數據集上做?量分析，將其轉換為分類可以 # 極?地提?效率。 DataFrame列的分類使?的內存通常少的多。 # 來看?些包含?千萬元素的Series，和?些不同的分類： N = 10000000 draws = pd.Series(np.random.randn(N)) labels = pd.Series(['foo', 'bar', 'baz', 'qux'] * (N // 4)) 現在，將標簽轉換為分類： # 現在，將標簽轉換為分類： categories = labels.astype('category') # 這時，可以看到標簽使?的內存遠?分類多： labels.memory_usage() categories.memory_usage() 10000272 GroupBy操作明顯?分類快，是因為底層的算法使?整數編碼數 # 487組，?不是字符串數組。 # 轉換為分類不是沒有代價的，但這是?次性的代價： # GroupBy操作明顯?分類快，是因為底層的算法使?整數編碼數 # 487組，?不是字符串數組。 %time _ = labels.astype('category') Wall time: 705 ms Categorical Methods # 分類?法 # 包含分類數據的Series有?些特殊的?法，類似于Series.str字符 # 串?法。它還提供了?便的分類和編碼的使??法。看下?的 # Series： s = pd.Series(['a', 'b', 'c', 'd'] * 2) cat_s = s.astype('category') cat_s 0 a 1 b 2 c 3 d 4 a 5 b 6 c 7 d dtype: category Categories (4, object): [a, b, c, d] # 特別的cat屬性提供了分類?法的??： cat_s.cat.codes cat_s.cat.categories Index(['a', 'b', 'c', 'd'], dtype='object') 假設我們知道這個數據的實際分類集，超出了數據中的四個值。 # 我們可以使?set_categories?法改變它們： # 假設我們知道這個數據的實際分類集，超出了數據中的四個值。 # 我們可以使?set_categories?法改變它們： actual_categories = ['a', 'b', 'c', 'd', 'e'] cat_s2 = cat_s.cat.set_categories(actual_categories) cat_s2 0 a 1 b 2 c 3 d 4 a 5 b 6 c 7 d dtype: category Categories (5, object): [a, b, c, d, e] 雖然數據看起來沒變，新的分類將反映在它們的操作中。例如， # 如果有的話， value_counts表示分類： # 雖然數據看起來沒變，新的分類將反映在它們的操作中。例如， # 如果有的話， value_counts表示分類： cat_s.value_counts() cat_s2.value_counts() d 2 c 2 b 2 a 2 e 0 dtype: int64 在打數據集中，分類經常作為節省內存和?性能的便捷?具。過 # 濾完?DataFrame或Series之后，許多分類可能不會出現在數據 # 中。我們可以使?remove_unused_categories?法刪除沒看到 # 的分類： # 在打數據集中，分類經常作為節省內存和?性能的便捷?具。過 # 濾完?DataFrame或Series之后，許多分類可能不會出現在數據 # 中。我們可以使?remove_unused_categories?法刪除沒看到 # 的分類： cat_s3 = cat_s[cat_s.isin(['a', 'b'])] cat_s3 cat_s3.cat.remove_unused_categories() 0 a 1 b 4 a 5 b dtype: category Categories (2, object): [a, b]Creating dummy variables for modeling? # 為建模創建虛擬變量 # 當你使?統計或機器學習?具時，通常會將分類數據轉換為虛擬 # 變量，也稱為one-hot編碼。這包括創建?個不同類別的列的 # DataFrame；這些列包含給定分類的1s，其它為0。 # 看前?的例?： cat_s = pd.Series(['a', 'b', 'c', 'd'] * 2, dtype='category') cat_s 0 a 1 b 2 c 3 d 4 a 5 b 6 c 7 d dtype: category Categories (4, object): [a, b, c, d] 前?的第7章提到過， pandas.get_dummies函數可以轉換這個以 # 為分類數據為包含虛擬變量的DataFrame： # 前?的第7章提到過， pandas.get_dummies函數可以轉換這個以 # 為分類數據為包含虛擬變量的DataFrame： pd.get_dummies(cat_s) a b c d 0 1 0 0 0 1 0 1 0 0 2 0 0 1 0 3 0 0 0 1 4 1 0 0 0 5 0 1 0 0 6 0 0 1 0 7 0 0 0 1

總結

以上是生活随笔為你收集整理的python_分类_category方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。