當(dāng)前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

UA MATH566 统计理论 Fisher信息论的性质下

發(fā)布時間：2025/4/14 编程问答 30 豆豆

生活随笔收集整理的這篇文章主要介紹了 UA MATH566 统计理论 Fisher信息论的性质下小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

UA MATH566 統(tǒng)計理論 Fisher信息量的性質(zhì)下

輔助統(tǒng)計量的Fisher信息為0
分布族參數(shù)變換后的Fisher信息
統(tǒng)計量的Fisher信息的有界性

下面介紹一些Fisher信息量的常用性質(zhì)。

輔助統(tǒng)計量的Fisher信息為0

假設(shè) $A(X)～g(a,θ)A(X)\sim g(a,\theta)$ ，它的Fisher信息為
$IA(X)(θ)=E[S(A,θ)]2=E[?log?g(A,θ)?θ?log?gT(A,θ)?θ]IA(X)(θ)=0?E[?log?g(A,θ)?θ?log?gT(A,θ)?θ]=0I_{A(X)}(\theta) = E[S(A,\theta)]^2 = E \left[ \frac{\partial \log g(A,\theta)}{\partial \theta} \frac{\partial \log g^T(A,\theta)}{\partial \theta}\right] \\ I_{A(X)}(\theta) = 0 \Leftrightarrow E \left[ \frac{\partial \log g(A,\theta)}{\partial \theta} \frac{\partial \log g^T(A,\theta)}{\partial \theta}\right] = 0$

假設(shè) $g(a,θ)g(a,\theta)$ 是完備的，則上式表示
$?log?g(a,θ)?θ=0,?a\frac{\partial \log g(a,\theta)}{\partial \theta} = 0 ,\forall a$

這說明 $g(a,θ)g(a,\theta)$ 與參數(shù) $θ\theta$ 無關(guān)，這正是 $A (X)$ 為輔助統(tǒng)計量的定義。根據(jù)這個推導(dǎo)過程，如果某個統(tǒng)計量的Fisher信息量為0，那么它也一定是輔助統(tǒng)計量。

分布族參數(shù)變換后的Fisher信息

已知分布族 $f(x,θ)f(x,\theta)$ 的Fisher信息為 $I(θ)I(\theta)$ ，現(xiàn)在想把它的參數(shù)變換為 $ξ\xi$ ，則變換后的Fisher信息為
$I(ξ)=[Dξθ(ξ)]TI(θ)Dξθ(ξ)I(\xi) = [D_{\xi}\theta(\xi)]^TI(\theta)D_{\xi}\theta(\xi)$

假設(shè) $θ\theta$ 為 $n$ 維的， $ξ\xi$ 為 $m$ 維的，那么上式可以用分量表示為
$Iab(ξ)=∑i,j=1nIij?θi?ξa?θj?ξb,a,b=1,?,mI_{ab}(\xi) = \sum_{i,j=1}^n I_{ij}\frac{\partial \theta_i}{\partial \xi_a}\frac{\partial \theta_j}{\partial \xi_b},a,b = 1,\cdots,m$

根據(jù)定義計算即可
$Iab(ξ)=E[?log?L?ξa?log?L?ξb]=E[(∑i=1n?log?L?θi?θi?ξa)(∑j=1n?log?L?θj?θj?ξb)]=∑i,j=1nE[?log?L?θi?log?L?θj]?θi?ξa?θj?ξb=∑i,j=1nIij?θi?ξa?θj?ξbI_{ab}(\xi) = E \left[ \frac{\partial \log L}{\partial \xi_a} \frac{\partial \log L}{\partial \xi_b}\right] = E \left[ \left(\sum_{i=1}^n \frac{\partial \log L}{\partial \theta_i} \frac{\partial \theta_i}{\partial \xi_a}\right)\left(\sum_{j=1}^n \frac{\partial \log L}{\partial \theta_j} \frac{\partial \theta_j}{\partial \xi_b}\right)\right] \\ =\sum_{i,j=1}^n E \left[ \frac{\partial \log L}{\partial \theta_i} \frac{\partial \log L}{\partial \theta_j}\right]\frac{\partial \theta_i}{\partial \xi_a}\frac{\partial \theta_j}{\partial \xi_b}=\sum_{i,j=1}^n I_{ij}\frac{\partial \theta_i}{\partial \xi_a}\frac{\partial \theta_j}{\partial \xi_b}$

例自然參數(shù)形式的指數(shù)分布族 $f(x,θ)=h(x)exp?(θTT(x)?b(θ))f(x,\theta) = h(x)\exp(\theta^T T(x)-b(\theta))$ 的Fisher信息量為
$I(θ)=b′′(θ)=Var(T(X))I(\theta) = b''(\theta) = Var(T(X))$

假設(shè)參數(shù) $η=Eθ(T(X))=b′(θ)\eta = E_{\theta}(T(X)) = b'(\theta)$ ，則根據(jù)隱映照定理，
$Dηθ(η)=[b′′(θ)]?1,θ=b′?1(η)D_{\eta}\theta(\eta) = [b''(\theta)]^{-1},\theta = b^{'-1}(\eta)$

根據(jù)Fisher信息參數(shù)變換的性質(zhì)，
$I(η)=[b′′?1(θ)]TI(θ)b′′?1(θ)=b′′?1(θ),θ=b′?1(η)I(\eta) = [b^{''-1}(\theta)]^{T}I(\theta)b^{''-1}(\theta) = b^{''-1}(\theta),\theta = b^{'-1}(\eta)$

統(tǒng)計量的Fisher信息的有界性

假設(shè) $\sim f(x,\theta)$ ， $\sim g(t,\theta)$ 是它的任意統(tǒng)計量，則
$\le I_T(X) \le I_X(\theta)$

當(dāng)且僅當(dāng) $T (X)$ 為輔助統(tǒng)計量時取下界，當(dāng)且僅當(dāng) $T (X)$ 為充分統(tǒng)計量時取上界。

證明
下界可以用 $IT(X)(θ)=Varθ(T(X))I_{T(X)}(\theta) = Var_{\theta}(T(X))$ 說明，方差一定是非負(fù)的，第一條性質(zhì)說明當(dāng)且僅當(dāng) $T (X)$ 為輔助統(tǒng)計量時取等。計算
$IX(θ)=Var(S(X,θ))=E[Var(S(X,θ)∣T)]+Var[E(S(X,θ)∣T)]I_{X}(\theta) = Var (S(X,\theta)) = E[Var (S(X,\theta)|T)] + Var[E(S(X,\theta)|T)]$

假設(shè) $X$ 是概率空間 $(X,B(X),PX)(\mathcal{X},\mathcal{B}(\mathcal{X}),P_X)$ 上的隨機變量， $X?Rn\mathcal{X} \subset \mathbb{R}^n$ 。統(tǒng)計量 $T (X)$ 是一個由復(fù)合函數(shù) $\mathcal{X} \to \mathcal{T} \subset \mathbb{R}^k，k<n$ 定義的在概率空間 $(X,B(X),PX)(\mathcal{X},\mathcal{B}(\mathcal{X}),P_X)$ 上的隨機變量，其中 $T$ 是可測函數(shù)。假設(shè) $T (X)$ 是 $(T,B(T),PT)(\mathcal{T},\mathcal{B}(\mathcal{T}),P_T)$ 上的隨機變量，則 $T$ 是可測函數(shù)意味著 $?B∈B(T),T?1(B)∈B(X)\forall B \in \mathcal{B}(\mathcal{T}),T^{-1}(B) \in \mathcal{B}(\mathcal{X})$ ，從而導(dǎo)出測度 $P_T$ 可以表示為 $P_T(B)=P_X(T^{-1}(B))$ 。假設(shè)測度被參數(shù)化，且用 $θ\theta$ 表示其參數(shù)，則導(dǎo)出測度的關(guān)系意味著
$?PT(B)?θ=?PX(T?1(B))?θ\frac{\partial P_T(B)}{\partial \theta} = \frac{\partial P_X(T^{-1}(B))}{\partial \theta}$

將概率測度寫成概率密度的積分，上式表示
$?PT(B)?θ=??θ∫Bg(t,θ)dt=?PX(T?1(B))?θ=??θ∫T?1(B)f(x,θ)dx\frac{\partial P_T(B)}{\partial \theta} = \frac{\partial }{\partial \theta} \int_{B} g(t,\theta)dt = \frac{\partial P_X(T^{-1}(B))}{\partial \theta} = \frac{\partial }{\partial \theta}\int_{T^{-1}(B)}f(x,\theta)dx$

湊出得分函數(shù)的形式，
$∫Bg(t,θ)S(t,θ)dt=∫T?1(B)f(x,θ)S(x,θ)dx\int_{B} g(t,\theta)S(t,\theta) dt = \int_{T^{-1}(B)}f(x,\theta)S(x,\theta)dx$

假設(shè) $f(x,θ)f(x,\theta)$ 是完備分布族，這個式子說明 $S(T,θ)=E[S(X,θ)∣T]S(T,\theta) = E[S(X,\theta)|T]$ 。因此第二項可以化簡為
$Var[E(S(X,θ)∣T)]=Var[S(T,θ)]=IT(θ)Var[E(S(X,\theta)|T)] = Var[S(T,\theta)] = I_T(\theta)$

因此
$IX(θ)?IT(θ)=E[Var(S(X,θ)∣T)]≥0I_X(\theta) - I_T(\theta) = E[Var (S(X,\theta)|T)]\ge0$

下面驗證取等條件。充分性：
假設(shè) $T$ 是充分統(tǒng)計量，根據(jù)Fisher-Neyman定理，
$f(x,θ)=g(T(x),θ)h(x)?log?f(x,θ)=log?g(T(x),θ)+log?h(x)???θlog?f(x,θ)=??θlog?g(T(x),θ)f(x,\theta) = g(T(x),\theta)h(x) \\ \Rightarrow \log f(x,\theta) = \log g(T(x),\theta) + \log h(x) \\ \Rightarrow \frac{\partial }{\partial \theta} \log f(x,\theta) = \frac{\partial }{\partial \theta} \log g(T(x),\theta)$

因此 $IT(θ)=IX(θ)I_T(\theta) = I_X(\theta)$ 。

必要性：
我們計算下面這個量，
$E[(S(X,θ)?S(T,θ))(S(X,θ)?S(T,θ))T]=E[S(X,θ)ST(X,θ)]+E[S(T,θ)ST(T,θ)]?2E[S(X,θ)ST(T,θ)]=IX(θ)+IT(θ)?2IT(θ)=IX(θ)?IT(θ)E[(S(X,\theta)-S(T,\theta))(S(X,\theta)-S(T,\theta))^T] \\ = E[S(X,\theta)S^T(X,\theta)] + E[S(T,\theta)S^T(T,\theta)] - 2E[S(X,\theta)S^T(T,\theta)] \\ = I_X(\theta) + I_T(\theta) - 2I_T(\theta) = I_X(\theta) - I_T(\theta)$

其中
$E[S(X,θ)ST(T,θ)]=E[E[S(X,θ)ST(T,θ)∣T]]=E[E[S(X,θ)∣T]ST(T,θ)]=E[S(T,θ)ST(T,θ)]=IT(θ)E[S(X,\theta)S^T(T,\theta)] = E[E[S(X,\theta)S^T(T,\theta)|T]] = E[E[S(X,\theta)|T]S^T(T,\theta)] \\ = E[S(T,\theta)S^T(T,\theta)] = I_T(\theta)$

這個式子說明
$IX?IT=E[(S(X,θ)?S(T,θ))(S(X,θ)?S(T,θ))T]I_X - I_T = E[(S(X,\theta)-S(T,\theta))(S(X,\theta)-S(T,\theta))^T]$

左邊為0，說明 $S(T,θ)=S(X,θ)S(T,\theta) = S(X,\theta)$ ，即
$??θlog?f(x,θ)=??θlog?g(T(x),θ)\frac{\partial }{\partial \theta} \log f(x,\theta) = \frac{\partial }{\partial \theta} \log g(T(x),\theta)$

$f(x,θ)f(x,\theta)$ 與 $g(t,θ)g(t,\theta)$ 只相差一個與 $θ\theta$ 無關(guān)的常函數(shù)，根據(jù)Neyman-Fisher定理， $T (X)$ 是充分統(tǒng)計量。

總結(jié)

以上是生活随笔為你收集整理的UA MATH566 统计理论 Fisher信息论的性质下的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。

上一篇： UA MATH566 统计理论 Fish
下一篇： UA MATH571B 试验设计总结