LASSO與Item Response Theory模型中的隱變量選擇

• Item Response Theory簡介
• • 統(tǒng)計(jì)模型
• Latent Traits Selection
• • 兩參數(shù)模型的LASSO
  • BIC for tuning
  • Latent traits selection的EM算法

這是Latent Variable Selection for Multidimensional Item Response Theory Models via L1 Regularization的簡單介紹。

---

Item Response Theory簡介

在心理學(xué)中，有很多用于測量個(gè)人特質(zhì)（trait）與dichotomous-response、polytomous-response item（就是用一些二選或者多選的問題來看被試者在一些具體場景中的反應(yīng)）的量表和實(shí)驗(yàn)，基于這些量表與實(shí)驗(yàn)的測量結(jié)果，心理學(xué)家可以發(fā)掘item-trait之間的關(guān)系。

下面是幾個(gè)二選的例子（如何應(yīng)對壞男人）

下面是兩個(gè)多選問題的例子（gender-orientation的測試）

統(tǒng)計(jì)模型

Item Response Theory (IRT)就是很常用的描述item-trait relation的統(tǒng)計(jì)模型。用$\theta =({\theta }^1,?,{\theta }^K{)}^T$表示被試者的特質(zhì)向量（這個(gè)是不可測量的），每一個(gè)分量表示被試者的一種潛在特質(zhì)；考慮$J$個(gè)二選題組成的量表，用$Y_j$表示被試者對第$j$個(gè)問題的回答，假設(shè)我們討論兩參數(shù)模型
$$P(Y_j=1|\theta )=F(a_j^T\theta +b_j)$$

其中$a_j=(a_{j1},?,a_{jK}{)}^T$，$F(?)$是一個(gè)累積分布函數(shù)，定義
$$A=(a_1,?,a_J),b=(b_1,?,b_J{)}^T$$

稱$a_j$為discrimination parameter vector，$b_j$為difficulty parameter。如果$a_{jk}=0$，就可以認(rèn)為特質(zhì)$k$在被試者對第$j$個(gè)問題做出1的回應(yīng)中起到了一定作用。于是，為了構(gòu)建特質(zhì)與被試者在不同情景中的反應(yīng)之間的關(guān)系，我們希望找出在被試者對每一個(gè)問題做出回應(yīng)的過程中起作用的那些特質(zhì)，這個(gè)正是variable selection可以解決的。正式描述的話就是我們希望估計(jì)一個(gè)0-1矩陣
$$\Lambda =({\lambda }_{jk}{)}_{J\times K},{\lambda }_{jk}=I_{a_{jk}=0}$$

用來描述item-trait relation。

另外，關(guān)于$F$有兩種流行的選擇：
Normal Ogive Model
$$P(Y_j=1|\theta ,a_j,b_j)={\int }_{?\infty }^{a_j^T\theta +b_j}\frac{e^{?\frac{u^2}{2}}}{\sqrt{2\pi }}du$$

Logistics Model

$$P(Y_j=1|\theta ,a_j,b_j)=\frac{\exp (a_j^T\theta +b_j)}{1+\exp (a_j^T\theta +b_j)}$$

在原文中，作者也討論了一種三參數(shù)模型：
$$P(Y_j=1|\theta ,a_j,b_j,c_j)=c_j+(1?c_j)F(a_j^T\theta +b_j)$$

$c_j$表示guessing probability。

Latent Traits Selection

兩參數(shù)模型的LASSO

假設(shè)有$N$個(gè)被試者，他們對$J$個(gè)問題的回答用$Y=(Y_{ij}{)}_{N\times J}$表示，他們的特質(zhì)滿足${\theta }_1,?,{\theta }_N{～}_{iid}N(0,\Sigma )$（概率密度記為$?(\theta )$），記$\Theta =({\theta }_1,?,{\theta }_N)$，于是兩參數(shù)模型的似然函數(shù)為（包含complete data $Y$與missing data $\Theta$）
$$L(A,b|Y,\Theta )=\prod _{i=1}^N?({\theta }_i)\prod _{j=1}^J[F(a_j^T{\theta }_i+b_j){]}^{y_{ij}}{\left[1?F(a_j^T{\theta }_i+b_j)\right]}^{1?y_{ij}}$$

complete data的對數(shù)似然為
$$l(A,b|Y)=\log {\int }_{\Theta \in {\mathbb{R}}^{K\times N}}L(A,b|Y,\Theta )d\Theta$$

用complete data的對數(shù)似然扣掉discrimination parameter的LASSO penalty作為score function，最大化score function可以得到參數(shù)的LASSO估計(jì)：
$$({\hat{A}}_{\eta },{\hat{b}}_{\eta })=\mathrm{argmax}l(A,b|Y)?\eta {\Vert A\Vert }_1$$

其中$\eta >0$是regularization parameter，
$${\Vert A\Vert }_1=\sum _{j=1}^J\sum _{k=1}^K|a_{jk}|$$

如果$\eta =0$，那么LASSO估計(jì)退化為MLE。

BIC for tuning

原文作者采用BIC選擇regularization parameter $\eta$，IRT的BIC定義為
$$\begin{gathered} BIC({\Lambda }^{?})=?2\underset{\Lambda (A)={\Lambda }^{?},b}{\max }l(A,b|Y)+{\Vert A\Vert }_0\log N \\ {\Vert A\Vert }_0=\sum _{j,k}{I}_{a_{jk}=0} \end{gathered}$$

在兩參數(shù)模型的LASSO中，我們可以按下面的步驟做tuning：

給定一個(gè)$\eta$的取值，得到兩參數(shù)模型的LASSO估計(jì)${\hat{A}}_{\eta },{\hat{b}}_{\eta }$

根據(jù)${\hat{A}}_{\eta }$寫出指標(biāo)矩陣${\Lambda }_{\eta }=\Lambda ({\hat{A}}_{\eta })$

對于${\Lambda }_{\eta }$，計(jì)算$BIC({\Lambda }_{\eta })$

對于$\eta$取值的一個(gè)范圍，計(jì)算出對應(yīng)的$BIC$后選出$BIC$最小的${\eta }^{?}$作為regularization parameter。

Latent traits selection的EM算法

這部分我暫時(shí)不關(guān)注，所以貼原文（希望了解更多細(xì)節(jié)與數(shù)值實(shí)驗(yàn)的同學(xué)可以自行閱讀全文）

總結(jié)

以上是生活随笔為你收集整理的LASSO与Item Response Theory模型中的隐变量选择的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。