Python:NumPy-随机抽样
隨機抽樣
本文程序可直接運行,但圖片導入有點問題;
numpy.random 模塊對 Python 內置的 random 進行了補充,增加了一些用于高效生成多種概率分
布的樣本值的函數,如正態分布、泊松分布等。
- numpy.random.seed(seed=None) Seed the generator.
seed() 用于指定隨機數生成時所用算法開始的整數值,如果使用相同的seed() 值,則每次生成的隨
機數都相同,如果不設置這個值,則系統根據時間來自己選擇這個值,此時每次生成的隨機數因時間
差異而不同。
在對數據進行預處理時,經常加入新的操作或改變處理策略,此時如果伴隨著隨機操作,最好還是指
定唯一的隨機種子,避免由于隨機的差異對結果產生影響。
離散型隨機變量
二項分布
二項分布可以用于只有一次實驗只有兩種結果,各結果對應的概率相等的多次實驗的概率問題。比如
處理猜10次拳贏6次的概率等類似的問題。
二項分布概率函數的代碼表示:binom.pmf(k) = choose(n, k) pk (1-p)(n-k)
二項分布概率函數的數學表示:
- numpy.random.binomial(n, p, size=None) Draw samples from a binomial distribution.
表示對一個二項分布進行采樣, size 表示采樣的次數, n 表示做了n 重伯努利試驗, p 表示成功的概率,函數的返回值表示n 中成功的次數。
【例】野外正在進行9(n=9)口石油勘探井的發掘工作,每一口井能夠開發出油的概率是
0.1(p=0.1)。請問,最終所有的勘探井都勘探失敗的概率?
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-Gk6Mkzx3-1606315239569)(output_1_1.png)]
[0.387 0.387 0.172 0.045 0.007 0.001 0. 0. 0. 0. ]【例】模擬投硬幣,投2次,請問兩次都為正面的概率?
import numpy as np from scipy import stats import matplotlib.pyplot as pltnp.random.seed(20201125) n = 2 p = 0.5 size = 50000 x = np.random.binomial(n,p,size)print(np.sum(x==0)/size) print(np.sum(x==1)/size) print(np.sum(x==2)/size)plt.hist(x, density=True) plt.xlabel("隨機變量:變量為正面次數") plt.ylabel("50000個樣本中出現的次數") plt.show()s = stats.binom.pmf(range(n+1),n,p) print(np.around(s,3)) 0.25018 0.50046 0.24936[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-nKHoOxLt-1606315239571)(output_3_1.png)]
[0.25 0.5 0.25]計算期望和方差
“”"
期望:E(x) = np
方差:Var(x) = np(1‐p)
利用stats.binom.stats(n, p, loc=0, moments=‘mv’)計算期望和方差
moments參數中:m為期望,v為方差
“”"
泊松分布
泊松分布主要用于估計某個時間段某事件發生的概率。
泊松概率函數的代碼表示:poisson.pmf(k) = exp(-lam) lam*k / k!
泊松概率函數的數學表示:
- numpy.random.poisson(lam=1.0, size=None) Draw samples from a Poisson distribution.
表示對一個泊松分布進行采樣, size 表示采樣的次數, lam 表示一個單位內發生事件的平均值,函
數的返回值表示一個單位內事件發生的次數。
【例】假定某航空公司預定票處平均每小時接到42次訂票電話,那么10分鐘內恰好接到6次電話的概
率是多少?
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-nB0kY7of-1606315239573)(output_6_1.png)]
0.14900277967433773超幾何分布
在超幾何分布中,各次實驗不是獨立的,各次實驗成功的概率也不等。 超幾何分布概率函數的數學表
示:
- numpy.random.hypergeometric(ngood, nbad, nsample, size=None) Draw samples from a Hypergeometric distribution.
表示對一個超幾何分布進行采樣, size 表示采樣的次數, ngood 表示總體中具有成功標志的元素個
數, nbad 表示總體中不具有成功標志的元素個數, ngood+nbad 表示總體樣本容量, nsample 表示抽取元素的次數(小于或等于總體樣本容量),函數的返回值表示抽取nsample 個元素中具有成功標識的元素個數。
【例】一共20只動物里有7只是狗,抽取12只有3只狗的概率(無放回抽樣)。
import numpy as np from scipy import stats import matplotlib.pyplot as plt np.random.seed(20200605) size = 500000 x = np.random.hypergeometric(ngood=7, nbad=13, nsample=12, size=size)print(np.sum(x == 3) / size) # 0.198664 plt.hist(x, bins=8) plt.xlabel('狗的數量') plt.ylabel('50000個樣本中出現的次數') plt.title('超幾何分布',fontsize=20) plt.show()x = range(8) #用hypergeom.pmf(k, M, n, N, loc)來計算k次成功的概率 s = stats.hypergeom.pmf(k=x, M=20, n=7, N=12) print(np.round(s, 3)) 0.198664[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-Izzi6wBk-1606315239574)(output_8_1.png)]
[0. 0.004 0.048 0.199 0.358 0.286 0.095 0.01 ]‘’’
超幾何分布的均值與方差
均值E(x) = N(n/M)
方差Var(x) = N(n/M)(1‐n/M)((M‐N)/(M‐1))
注釋:考慮n次實驗的超幾何分布,令p=n/M,當總體容量足夠大時((M‐N)/(M‐1))近似于1,此時數學期望為Np,方差為Np(1‐p).
#用stats(M, n, N, loc=0, moments=‘mv’)計算均值和方差
stats.hypergeom.stats(20,7,12,moments=‘mv’)
‘’’
連續型隨機變量
均勻分布
- numpy.random.uniform(low=0.0, high=1.0, size=None) Draw samples from a uniform
distribution.
Samples are uniformly distributed over the half-open interval [low, high) (includes low, butexcludes high). In other words, any value within the given interval is equally likely to bedrawn by uniform .
【例】在low到high范圍內,創建大小為size的均勻分布的隨機數。
import numpy as np import matplotlib.pyplot as plt from scipy import statsnp.random.seed(20201125) a = 0 b = 100 size = 50000 x = np.random.uniform(a,b,size=size) print(np.all(x >= 0)) print(np.all(x < 100)) y = (np.sum(x < 50) - np.sum(x < 10)) / size print(y)plt.hist(x, bins = 20) plt.show()a = stats.uniform.cdf(10,0,100) b = stats.uniform.cdf(50,0,100) print(b-a) True True 0.40464[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-ViHdZr9m-1606315239575)(output_11_1.png)]
0.4作為uniform() 的特列,可以得到[0,1) 之間的均勻分布的隨機數。
- numpy.random.rand(d0, d1, …, dn) Random values in a given shape.
Create an array of the given shape and populate it with random samples from a uniform
distribution over [0, 1) .
【例】根據指定大小產生[0,1)之間均勻分布的隨機數。
import numpy as np np.random.seed(20201125) print(np.random.rand())print(np.random.rand(5))print(np.random.rand(4,3))np.random.seed(20201125) print(np.random.uniform()) print(np.random.uniform(size=5))print(np.random.uniform(size=(4,3))) 0.8098159304646425 [0.03579724 0.20674657 0.94257697 0.62413889 0.01230949] [[0.31290955 0.05072421 0.47959837][0.73333412 0.23161854 0.93494929][0.67984729 0.35497093 0.56270729][0.3101304 0.21993047 0.11158845]] 0.8098159304646425 [0.03579724 0.20674657 0.94257697 0.62413889 0.01230949] [[0.31290955 0.05072421 0.47959837][0.73333412 0.23161854 0.93494929][0.67984729 0.35497093 0.56270729][0.3101304 0.21993047 0.11158845]]作為uniform 的另一特例,可以得到[low,high) 之間均勻分布的隨機整數。
- numpy.random.randint(low, high=None, size=None, dtype=‘l’) Return random integers from low (inclusive) to high (exclusive).
Return random integers from the “discrete uniform” distribution of the specified dtype in the “half-open” interval [low, high). If high is None (the default), then results are from [0,low).
【例】若high 不為None 時,取[low,high)之間隨機整數,否則取值[0,low)之間隨機整數。
import numpy as npnp.random.seed(20201125) x = np.random.randint(2,size = 10) print(x)x = np.random.randint(5, size =(2,4)) print(x)x = np.random.randint(1,10,[3,4]) print(x) [1 1 1 1 1 0 0 1 1 0] [[0 4 1 4][2 4 3 1]] [[2 4 7 5][2 5 8 9][4 7 1 2]]正態分布
標準正態分布數學表示:
- numpy.random.randn(d0, d1, …, dn) Return a sample (or samples) from the “standard normal” distribution.
【例】根據指定大小產生滿足標準正態分布的數組(均值為0,標準差為1)。
import numpy as np import matplotlib.pyplot as plt from scipy import statsnp.random.seed(20201125) size = 50000 x = np.random.randn(size) y1 = (np.sum(x<1)-np.sum(x<-1))/size y2 = (np.sum(x<2)-np.sum(x<-2))/size y3 =(np.sum(x<3)-np.sum(x<-3))/size print(y1) print(y2) print(y3)plt.hist(x, bins=20) plt.show()y1 = stats.norm.cdf(1) - stats.norm.cdf(-1) y2 = stats.norm.cdf(2) - stats.norm.cdf(-2) y3 = stats.norm.cdf(3) - stats.norm.cdf(-3)print(y1) print(y2) print(y3) 0.68192 0.95412 0.99734[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-bW4FIzfD-1606315239577)(output_17_1.png)]
0.6826894921370859 0.9544997361036416 0.9973002039367398還可以指定分布以及所需參數來進行隨機,例如高斯分布中的mu和sigma。
- numpy.random.normal(loc=0.0, scale=1.0, size=None) Draw random samples from a normal (Gaussian) distribution.
normal() 為創建均值為 loc(mu),標準差為 scale(sigma),大小為 size 的數組。
sigma * np.random.randn(…) + mu
import numpy as np import matplotlib.pyplot as plt np.random.seed(20200614) x = 0.5 * np.random.randn(2, 4) + 5print(x) # [[5.39654234 5.4088702 5.49104652 4.95817289] # [4.31977933 4.76502391 4.70720327 4.36239023]] np.random.seed(20200614) mu = 5#平均值 sigma = 0.5#標準差 x = np.random.normal(mu, sigma, (2, 4)) print(x) [[5.39654234 5.4088702 5.49104652 4.95817289][4.31977933 4.76502391 4.70720327 4.36239023]] [[5.39654234 5.4088702 5.49104652 4.95817289][4.31977933 4.76502391 4.70720327 4.36239023]] size = 50000 x = np.random.normal(mu, sigma, size) print(np.mean(x)) # 4.996403463175092 print(np.std(x, ddof=1)) # 0.4986846716715106(#樣本標準差) 4.996403463175092 0.4986846716715106 plt.hist(x, bins=20) plt.show()[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-23IE0XtK-1606315239578)(output_21_0.png)]
指數分布
指數分布描述時間發生的時間長度間隔。
指數分布的數學表示:
- numpy.random.exponential(scale=1.0, size=None) Draw samples from an exponential distribution.
【例】scale = 1/lambda
import numpy as np import matplotlib.pyplot as plt from scipy import stats np.random.seed(20200614) lam = 7 size = 50000 x = np.random.exponential(1 / lam, size) y1 = (np.sum(x < 1 / 7)) / size y2 = (np.sum(x < 2 / 7)) / size y3 = (np.sum(x < 3 / 7)) / size print(y1) # 0.63218 print(y2) # 0.86518 print(y3) # 0.95056 plt.hist(x, bins=20) plt.show() y1 = stats.expon.cdf(1 / 7, scale=1 / lam) y2 = stats.expon.cdf(2 / 7, scale=1 / lam) y3 = stats.expon.cdf(3 / 7, scale=1 / lam) print(y1) # 0.6321205588285577 print(y2) # 0.8646647167633873 print(y3) # 0.950212931632136 0.63218 0.86518 0.95056[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-50zHUYYz-1606315239578)(output_23_1.png)]
0.6321205588285577 0.8646647167633873 0.950212931632136其它隨機函數
隨機從序列中獲取元素
- numpy.random.choice(a, size=None, replace=True, p=None) Generates a random sample from a given 1-D array.
從序列中獲取元素,若a 為整數,元素取值從np.range(a) 中隨機獲取;若a 為數組,取值從a 數組
元素中隨機獲取。該函數還可以控制生成數組中的元素是否重復replace ,以及選取元素的概率p 。
對數據集進行洗牌操作
數據一般都是按照采集順序排列的,但是在機器學習中很多算法都要求數據之間相互獨立,所以需要
先對數據集進行洗牌操作。
- numpy.random.shuffle(x) Modify a sequence in-place by shuffling its contents.
This function only shuffles the array along the first axis of a multi-dimensional array. The order of sub-arrays is changed but their contents remains the same.
對x 進行重排序,如果x 為多維數組,只沿第 0 軸洗牌,改變原來的數組,輸出為None。
【例】洗牌,改變自身內容,打亂順序。
import numpy as np np.random.seed(20200614) x = np.arange(10) np.random.shuffle(x) print(x) # [6 8 7 5 3 9 1 4 0 2] print(np.random.shuffle([1, 4, 9, 12, 15])) # None x = np.arange(20).reshape((5, 4)) print(x)np.random.shuffle(x) print(x) [6 8 7 5 3 9 1 4 0 2] None [[ 0 1 2 3][ 4 5 6 7][ 8 9 10 11][12 13 14 15][16 17 18 19]] [[ 8 9 10 11][ 0 1 2 3][12 13 14 15][16 17 18 19][ 4 5 6 7]]- numpy.random.permutation(x) Randomly permute a sequence, or return a permuted range.
If x is a multi-dimensional array, it is only shuffled along its first index.
permutation() 函數的作用與shuffle() 函數相同,可以打亂第0軸的數據,但是它不會改變原來的數
組。
【例】
import numpy as npnp.random.seed(20201125) x = np.arange(10) y = np.random.permutation(x) print(y)print(np.random.permutation([1,4,9,12,15]))x = np.arange(20).reshape((5,4)) print(x)y = np.random.permutation(x) print(y) [7 2 4 5 0 1 9 6 8 3] [15 12 9 1 4] [[ 0 1 2 3][ 4 5 6 7][ 8 9 10 11][12 13 14 15][16 17 18 19]] [[ 0 1 2 3][16 17 18 19][ 8 9 10 11][ 4 5 6 7][12 13 14 15]]總結
以上是生活随笔為你收集整理的Python:NumPy-随机抽样的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 武大博士后出站后应聘在社区做社工引热议,
- 下一篇: java语言基础知识(完整版)