UA MATH563 概率論的數學基礎 中心極限定理5 Renyi定理

這是獨立隨機變量及其性質的一個應用，假設$X_1,?,X_n{～}_{iid}F$，其中$F$連續可微。

引理 $P(X_i=X_j)=1,?i=j$
證明 我們來說明$X,Y$獨立同分布于$F$，則$P(X=Y)=0$，這個結果非常類似在平面中，直線的Lebesgue測度為0，雖然結論非常直觀，但是我們要處理的對應也是可能取到無窮的，這在分析上會帶來一些困難，但我們可以用truncation技巧，任選一個正數$M>0$，
$$\{X=Y\}=\{X=Y,|X|,|Y|\le M\}\cap \{X=Y,|X|,|Y|>M\}$$

先考慮第二項，根據獨立性
$$\begin{gathered} P(\{X=Y,|X|,|Y|>M\})\le P(|X|,|Y|>M) \\ =P(|X|>M)P(|Y|>M)=[1?F(M)+F(?M){]}^2 \end{gathered}$$

根據累積分布函數的性質，當$M$足夠大時，即$?\delta >0$，$?M>\delta$，
$$F(?M)<?,1?F(M)<?,??>0$$

下面考慮第一項，對于$|X|,|Y|\le M$的區域，我們可以把它分解成$(2Mn{)}^2$個小區域，并且只有對角線區域，也就是$(a/n,(a+1)/n]\times (a/n,(a+1)/n]$，$a=?Mn,?,Mn$這樣的區域才有概率，計算
$$\begin{gathered} P(X,Y\in (a/n,(a+1)/n]\times (a/n,(a+1)/n]) \\ =(F(\frac{a+1}{n})?F(\frac{a}{n}){)}^2 \end{gathered}$$

于是
$$\begin{gathered} P(X=Y,|X|,|Y|\le M) \\ \le P(\underset{a}{?}(a/n,(a+1)/n]\times (a/n,(a+1)/n]) \\ =\sum _{a=?Mn}^{Mn}(F(\frac{a+1}{n})?F(\frac{a}{n}){)}^2 \\ \le \underset{a}{\sup }|F(\frac{a+1}{n})?F(\frac{a}{n})|\sum _{a=?Mn}^{Mn}[F(\frac{a+1}{n})?F(\frac{a}{n}))] \\ =\underset{a}{\sup }|F(\frac{a+1}{n})?F(\frac{a}{n})|[F(M)?F(?M)] \\ \le \underset{a}{\sup }|F(\frac{a+1}{n})?F(\frac{a}{n})| \end{gathered}$$

因為$F$是連續的，事實上連續的累積分布函數在閉區間上會是一致連續的，所以當$n$足夠大時，
$$\underset{a}{\sup }|F(\frac{a+1}{n})?F(\frac{a}{n})|<?$$

綜上，$P(X=Y)=0$。

定義 稱$X_i$是一個record如果$X_i>\max (X_1,?,X_{i?1})$；$X_j$的rank為$R_j={\sum }_{k=1}^j{1}_{X_i\ge X_j}$，顯然$R_j=1?X_{j}isarecord$。

評注 我們可以這樣來理解，假設$X_1,?,X_n$表示某氣象站在某地一天內進行的$n$次溫度測量，但實際上該氣象站只需要披露最低溫與最高溫，$X_i>\max (X_1,?,X_{i?1})$表示$X_i$是到第$i$次測量為止的最高溫，于是它形成一個新記錄，$R_j$表示的是到第$j$次測量為止，第$j$次測量值的排名，顯然排名為1等價于它是一個新記錄。

Renyi定理 $R_1,?,R_n$獨立且服從同樣的分布：
$$P(R_j=k)=\frac{1}{j},k=1,?,j$$

評述 定義$A_j=\{R_j=1\}$（$X_j$是一個新記錄），Renyi定理說明$1_{A_1},?,1_{A_n}$獨立，且$1_{A_j}～Ber(1/j)$，簡單來說也就是第一、二、。。。，n個測量成為新記錄的概率分別是$1,1/2,?,1/n$。

證明
對于$X_1,?,X_n$，用$X_1(w),?,X_n(w)$表示一組測量數據(也就是這個隨機變量序列的一個realization)，則$X_1(w),?,X_n(w)$可能有$n!$種次序(其實就是$n!$種排列)，因為$X_1,?,X_n$獨立同分布，我們可以說明每一種排列的可能性相同，下面是一個簡單的思路：

計算某一種順序的概率，比如$X_1<X_2<?<X_n$，
$$P(X_1<X_2<?<X_n)={\int }_{X_1<X_2<?<X_n}d{\mu }_1\times {\mu }_2\times ?\times {\mu }_n$$

如果交換$X_1,X_2$的次序，
$$P(X_2<X_1<?<X_n)={\int }_{X_2<X_1<?<X_n}d{\mu }_2\times {\mu }_1\times ?\times {\mu }_n$$

因為$X_1,X_2$獨立同分布，${\mu }_1={\mu }_2$，所以
$$d{\mu }_1\times {\mu }_2\times ?\times {\mu }_n=d{\mu }_2\times {\mu }_1\times ?\times {\mu }_n$$

上面兩個積分區域對應的都是${\mathbb{R}}^n$被平均分成$n!$份后的一份，根據對稱性，
$$P(X_1<X_2<?<X_n)=P(X_2<X_1<?<X_n)=\frac{1}{n!}$$

對于每一種排列，我們都可以做這個操作，得到相同的概率。

經過簡單觀察，我們可以發現$\{R_1,R_2,?,R_n\}$的值與$X_1,?,X_n$的每一種排列之間是一一對應。比如$R_1=1,R_2=2,R_3=3$對應的排列順序就是$X_1>X_2>X_3$，再比如$R_1=1,R_2=1,R_3=1$對應$X_1<X_2<X_3$。所以
$$P(R_1=r_1,?,R_n=r_n)=P(某種排列順序)=\frac{1}{n!}$$

這是$R_1,?,R_n$的聯合分布，下面我們計算每一個$R_j$的邊緣分布。
$$\begin{gathered} P(R_j=r_j)=\sum _{r_1,?,r_{j?1},r_{j+1},?,r_n}P(R_1=r_1,?,R_n=r_n) \\ =1\times 2\times ?(j?1)?(j+1)\times ?\times n/n!=\frac{1}{j} \end{gathered}$$

因此，我們不難驗證
$$\prod _{j=1}^{n}P(R_j=r_j)=P(R_1=r_1,?,R_n=r_n)=\frac{1}{n!}$$

所以$R_1,?,R_n$獨立。

總結

以上是生活随笔為你收集整理的UA MATH563 概率论的数学基础 中心极限定理5 Renyi定理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。