相關(guān)性檢驗(yàn)

本文給出兩種相關(guān)系數(shù)，系數(shù)越大說(shuō)明越相關(guān)。你可能會(huì)參考另一篇博客獨(dú)立性檢驗(yàn)。

皮爾森相關(guān)系數(shù)

皮爾森相關(guān)系數(shù)（Pearson correlation coefficient）也叫皮爾森積差相關(guān)系數(shù)（Pearson product-moment correlation coefficient），是用來(lái)反應(yīng)兩個(gè)變量相似程度的統(tǒng)計(jì)量。或者說(shuō)可以用來(lái)計(jì)算兩個(gè)向量的相似度（在基于向量空間模型的文本分類(lèi)、用戶(hù)喜好推薦系統(tǒng)中都有應(yīng)用）。

皮爾森相關(guān)系數(shù)計(jì)算公式如下：

分子是協(xié)方差，分子是兩個(gè)變量標(biāo)準(zhǔn)差的乘積。顯然要求X和Y的標(biāo)準(zhǔn)差都不能為0。

因?yàn)?所以皮爾森相關(guān)系數(shù)計(jì)算公式還可以寫(xiě)成：

當(dāng)兩個(gè)變量的線(xiàn)性關(guān)系增強(qiáng)時(shí)，相關(guān)系數(shù)趨于1或-1。正相關(guān)時(shí)趨于1，負(fù)相關(guān)時(shí)趨于-1。當(dāng)兩個(gè)變量獨(dú)立時(shí)相關(guān)系統(tǒng)為0，但反之不成立。比如對(duì)于，X服從[-1,1]上的均勻分布，此時(shí)E(XY)為0，E(X)也為0，所以，但x和y明顯不獨(dú)立。所以“不相關(guān)”和“獨(dú)立”是兩回事。當(dāng)Y和X服從聯(lián)合正態(tài)分布時(shí)，其相互獨(dú)立和不相關(guān)是等價(jià)的。

對(duì)于居中的數(shù)據(jù)來(lái)說(shuō)（何謂居中？也就是每個(gè)數(shù)據(jù)減去樣本均值，居中后它們的平均值就為0），E(X)=E(Y)=0，此時(shí)有：

即相關(guān)系數(shù)可以看作是兩個(gè)隨機(jī)變量中得到的樣本集向量之間夾角的cosine函數(shù)。

進(jìn)一步當(dāng)X和Y向量歸一化后，||X||=||Y||=1，相關(guān)系數(shù)即為兩個(gè)向量的乘積。

Spearman秩相關(guān)系數(shù)

首先說(shuō)明秩相關(guān)系數(shù)還有其他類(lèi)型，比如kendal秩相關(guān)系數(shù)。

使用Pearson線(xiàn)性相關(guān)系數(shù)有2個(gè)局限：

必須假設(shè)數(shù)據(jù)是成對(duì)地從正態(tài)分布中取得的。
數(shù)據(jù)至少在邏輯范圍內(nèi)是等距的。

對(duì)于更一般的情況有其他的一些解決方案，Spearman秩相關(guān)系數(shù)就是其中一種。Spearman秩相關(guān)系數(shù)是一種無(wú)參數(shù)（與分布無(wú)關(guān)）檢驗(yàn)方法，用于度量變量之間聯(lián)系的強(qiáng)弱。在沒(méi)有重復(fù)數(shù)據(jù)的情況下，如果一個(gè)變量是另外一個(gè)變量的嚴(yán)格單調(diào)函數(shù)，則Spearman秩相關(guān)系數(shù)就是+1或-1，稱(chēng)變量完全Spearman秩相關(guān)。注意這和Pearson完全相關(guān)的區(qū)別，只有當(dāng)兩變量存在線(xiàn)性關(guān)系時(shí)，Pearson相關(guān)系數(shù)才為+1或-1。

對(duì)原始數(shù)據(jù)x_i,y_i按從大到小排序，記x'_i,y'_i為原始x_i,y_i在排序后列表中的位置，x'_i,y'_i稱(chēng)為x_i,y_i的秩次，秩次差d_i=x'_i-y'_i。Spearman秩相關(guān)系數(shù)為：

位置	原始X	排序后	秩次	原始Y	排序后	秩次	秩次差
1	12	546	5	1	78	6	1
2	546	45	1	78	46	1	0
3	13	32	4	2	45	5	1
4	45	13	2	46	6	2	0
5	32	12	3	6	2	4	1
6	2	2	6	45	1	3	-3

對(duì)于上表數(shù)據(jù)，算出Spearman秩相關(guān)系數(shù)為：1-6*(1+1+1+9)/(6*35)=0.6571

查閱秩相關(guān)系數(shù)檢驗(yàn)的臨界值表

n	顯著水平
	0.01	0.05
5	0.9	1
6	0.829	0.943
7	0.714	0.893

n=6時(shí)，0.6571<0.829，所以在0.01的顯著水平下認(rèn)為X和Y是不相關(guān)的。

如何原始數(shù)據(jù)中有重復(fù)值，則在求秩次時(shí)要以它們的平均值為準(zhǔn)，比如：

原始X	秩次	調(diào)整后的秩次
0.8	5	5
1.2	4	(4+3)/2=3.5
1.2	3	(4+3)/2=3.5
2.3	2	2
18	1	1

Spearman秩相關(guān)系數(shù)應(yīng)該是從秩和檢驗(yàn)延伸過(guò)來(lái)的，因?yàn)樗鼈兒芟瘛?/p>

總結(jié)

以上是生活随笔為你收集整理的相关性检验的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。