看穿机器学习（W-GAN模型）的黑箱
圖a. Principle of GAN.
前兩天紐約暴雪，天地一片蒼茫。今天元宵節，長島依然清冷寂寥，正月十五鬧花燈的喧囂熱鬧已成為悠遠的回憶。這學期，老顧在講授一門研究生水平的數字幾何課程，目前講到了2016年和丘成桐先生、羅鋒教授共同完成的一個幾何定理【3】，這個工作給出了經典亞歷山大定理（Alexandrov Theorem）的構造性證明，也給出了最優傳輸理論（Optimal Mass Transportation）的一個幾何解釋。這幾天，機器學習領域的Wasserstein GAN突然變得火熱，其中關鍵的概念可以完全用我們的理論來給出幾何解釋，這允許我們在一定程度上親眼“看穿”傳統機器學習中的“黑箱”。下面是老顧下周一授課的講稿。
生成對抗網絡 GAN
訓練模型?生成對抗網絡GAN （Generative Adversarial Networks）是一個“自相矛盾”的系統，就是以己之矛克以己之盾，在矛盾中發展，使得矛更加鋒利，盾更加強韌。這里的矛被稱為是判別器（Descriminator），這里的盾被稱為是生成器（Generator）。
圖b. Generative Model.
生成器G一般是將一個隨機變量（例如高斯分布，或者均勻分布），通過參數化的概率生成模型（通常是用一個深度神經網來進行參數化），進行概率分布的逆變換采樣，從而得到一個生成的概率分布。判別器D也通常采用深度卷積神經網。
圖1. GAN的算法流程圖。
矛盾的交鋒過程如下：給定真實的數據，其內部的統計規律表示為概率分布，我們的目的就是能夠找出。為此，我們制作了一個隨機變量生成器G，G能夠產生隨機變量，其概率分布是，我們希望盡量接近。為了區分真實概率分布和生成概率分布，我們又制作了一個判別器D，給定一個樣本，D來復制判別這個樣本是來自真實數據還是來自偽造數據。Goodfellow給GAN中的判別器設計了如下的損失函數（lost function）， 盡可能將真實樣本判為正例，生成樣本判為負例：
。
第一項不依賴于生成器G, 此式也可以定義GAN中的生成器的損失函數。
???????????????????????????
在訓練中，判別器D和生成器G交替學習，最終達到納什均衡（零和游戲），判別器無法區分真實樣本和生成樣本。
優點?GAN具有非常重要的優越性。當真實數據的概率分布不可計算的時候，傳統依賴于數據內在解釋的生成模型無法直接應用。但是GAN依然可以使用，這是因為GAN引入了內部對抗的訓練機制，能夠逼近一下難以計算的概率分布。更為重要的，Yann LeCun一直積極倡導GAN，因為GAN為無監督學習提供了一個強有力的算法框架，而無監督學習被廣泛認為是通往人工智能重要的一環。
缺點?原始GAN形式具有致命缺陷：判別器越好，生成器的梯度消失越嚴重。我們固定生成器G來優化判別器D。考察任意一個樣本，其對判別器損失函數的貢獻是
兩邊對求導，得到最優判別器函數
代入生成器損失函數，我們得到所謂的Jensen-Shannon散度（JS）
。
在這種情況下（判別器最優），如果的支撐集合（support）交集為零測度，則生成器的損失函數恒為0，梯度消失。
改進?本質上，JS散度給出了概率分布之間的差異程度，亦即概率分布間的度量。我們可以用其他的度量來替換JS散度。Wasserstein距離就是一個好的選擇，因為即便的支撐集合（support）交集為零測度，它們之間的Wasserstein距離依然非零。這樣，我們就得到了Wasserstein GAN的模式【1】【2】。Wasserstein距離的好處在于即便兩個分布之間沒有重疊，Wasserstein距離依然能夠度量它們的遠近。
為此，我們引入最優傳輸的幾何理論（Optimal Mass Transportation），這個理論可視化了W-GAN的關鍵概念，例如概率分布，概率生成模型（生成器），Wasserstein距離。更為重要的，這套理論中，所有的概念，原理都是透明的。例如，對于概率生成模型，理論上我們可以用最優傳輸的框架取代深度神經網絡來構造生成器，從而使得黑箱透明。
最優傳輸理論梗概
給定歐氏空間中的一個區域，上面定義有兩個概率測度和，滿足
,
我們尋找一個區域到自身的同胚映射（diffeomorphism），, 滿足兩個條件：保持測度和極小化傳輸代價。
保持測度?對于一切波萊爾集,
換句話說映射T將概率分布映射成了概率分布，記成?。直觀上，自映射，帶來體積元的變化，因此改變了概率分布。我們用和來表示概率密度函數，用來表示映射的雅克比矩陣（Jacobian matrix），那么保持測度的微分方程應該是：,
，
這被稱為是雅克比方程（Jacobian Equation）。
最優傳輸映射?自映射的傳輸代價（Transportation Cost）定義為
。
在所有保持測度的自映射中，傳輸代價最小者被稱為是最優傳輸映射（Optimal Mass Transportation Map），亦即：
,
最優傳輸映射的傳輸代價被稱為是概率測度和概率測度之間的Wasserstein距離，記為。
在這種情形下，Brenier證明存在一個凸函數，其梯度映射
就是唯一的最優傳輸映射。這個凸函數被稱為是Brenier勢能函數（Brenier potential）。
由Jacobian方程，我們得到Brenier勢滿足蒙日-安培方程，梯度映射的雅克比矩陣是Brenier勢能函數的海森矩陣（Hessian Matrix），
。
蒙日-安培方程解的存在性、唯一性等價于經典的凸幾何中的亞歷山大定理（Alexandrov Theorem）。
圖2. 亞歷山大定理。
亞歷山大定理? 如圖2所示，給定平面凸區域，考察一個開放的凸多面體，選定一個面，的法向量記為，的投影和相交的面積記為，則總投影面積滿足
，
凸多面體可以被確定。亞歷山大定理對任意維凸多面體都成立。
后面，我們可以看到，這個凸多面體就是Brenier勢能函數，其梯度映射將一個概率分布映到另外一個概率分布，并且這兩個概率分布之間的Wasserstein 距離對偶于此凸多面體決定的體積。理論上，這個凸多面體可以作為W-GAN模型中的生成器G。
W-GAN中關鍵概念可視化
Wasserstein-GAN模型中，關鍵的概念包括概率分布（概率測度），概率測度間的最優傳輸映射（生成器），概率測度間的Wasserstein距離。下面，我們詳細解釋每個概念所對應的構造方法，和相應的幾何意義。
概率分布?GAN模型中有兩個至關重要的概率分布（probability measure），一個是真實數據的概率分布，一個是生成數據的概率分布。另外，生成器的輸入隨機變量，滿足標準概率分布（高斯、均勻分布）。
????圖3. 由保角變換（conformal mapping）誘導的圓盤上概率測度。
概率測度可以看成是一種推廣的面積（或者體積）。我們可以用幾何變換隨意構造一個概率測度。如圖3所示，我們用三維掃描儀獲取一張人臉曲面，那么人臉曲面上的面積就是一個概率測度。我們縮放變換人臉曲面，使得總曲面等于。然后，我們用保角變換將人臉曲面映射到平面圓盤。如圖3所示，保角變換將人臉曲面上的無窮小圓映到平面上的無窮小圓，但是，小圓的面積發生了變化。每對小圓的面積比率定義了平面圓盤上的概率密度函數。
我們可以將以上的描述嚴格化。人臉曲面記為，其上具有黎曼度量。平面圓盤記為，平面坐標為，平面的歐氏度量為。保角映射記為
，
則，這里面積變換率函數給出了概率密度函數。誘導了圓盤上的一個概率測度。
圖4. 兩個概率測度之間的最優傳輸映射。
最優傳輸映射?圓盤上本來有均勻分布，又有保角變換誘導的概率分布，則存在唯一的最優傳輸映射。圖4顯示了這個映射，中間幀到右幀的映射就是最優傳輸映射。我們看到，鼻尖周圍的區域被壓縮，概率密度提高。
圖5. 離散最優傳輸。
離散最優傳輸映射?最優傳輸映射的數值計算非常幾何化，因此可以直接被可視化。我們將目標概率測度離散化，表示成一族離散點，；每點被賦予一個狄拉克測度，，滿足。然后，我們求得單位圓盤的一個胞腔分解，，每個胞腔映到相應的目標點，。映射保持概率測度，胞腔的面積等于目標測度，
,
同時極小化傳輸代價，
。
圖6. 離散Brenier勢能函數，離散最優傳輸映射。
離散Brenier勢能?離散最優傳輸映射是離散Brenier勢能函數的梯度映射。對于每一個目標離散點，我們構造一個平面?，這里平面的截距是未知變量。這些平面的上包絡（upper envelope）構成一個開放的凸多面體，恰為離散Brenier勢能函數的圖（Graph）,
。
圖6左側顯示了離散Briener勢能函數。凸多面體在平面上的投影構成了平面的胞腔分解，凸多面體的每個面被映成了一個胞腔；每個面的梯度都是，因此Brenier勢能函數的梯度映射就是。
根據保測度性質，每個胞腔的面積應該等于指定面積。由此，我們調節平面的截距以滿足這個限制。根據亞歷山大定理，這種截距存在，并且本質上唯一。
離散Wasserstein距離?我們和丘成桐先生建立了變分法來求取平面的截距。給定截距向量，平面族為，其上包絡構成的Briener勢能函數為?, 上包絡的投影生成了平面的胞腔分解, 胞腔的面積記為。我們定義的能量為，
,
這個能量在子空間?上是嚴格凹的，其唯一的全局最大點就給出了滿足保測度條件的截距。這個能量的非線性項，實際上是上包絡截出的柱體體積，
，
圖7給出了柱體體積的可視化，柱體體積是凸函數。
圖7. 離散Brenier勢能函數的圖截出的柱體體積。
體積函數和Wasserstein距離之間相差一個勒讓德變換（Legendre Transformation）。勒讓德變換非常幾何化，我們可以將其可視化。給定一個定義在實數軸上的二階光滑凸函數，其圖是一條凸曲線，這條凸曲線由其所有的切線包絡而成。如果，在任意一點，函數的切線的斜率為y，則此切線的截距滿足
，
這被稱為是函數的勒讓德變換。以切線的斜率為參數，以切線的截距為函數值。
圖8.凸函數的圖像由其切線包絡而成，切線集合被表示成原函數的勒讓德對偶。
因為的凸性，映射是微分同胚，記為。那么，原函數和勒讓德變換后的函數滿足關系：
,
這里c,d是常數。原函數和其勒讓德變換的直觀圖解由圖9給出。我們在xy-平面上畫出曲線，曲線下面的面積是，曲線上面的面積是勒讓德變換。
圖9. 圖解勒讓德變換。
勒讓德變換的幾何圖景對任意維都對。我們下面來考察體積函數的勒讓德變換。根據定義，
,
假如我們變動截距，或者等價地變動胞腔面積，考察兩個胞腔交界處，
,
p本來屬于，變化后屬于，所有這種點的總面積為。則為Wasserstein距離帶來的變化是：
因此，總的Wasserstein距離的變化是
。
由此我們看到Wasserstein距離等于
，
其非線性部分是柱體積的勒讓德變換。
總結
通過以上討論，我們看到給定兩個概率分布，則存在唯一的一個凸函數（Brenier 勢函數），其梯度映射把一個概率分布映成了另外一個概率分布。這個最優傳輸映射的傳輸代價就給出了兩個概率分布之間的Wasserstein距離。Brenier勢能函數，Wasserstein距離都有明晰的幾何解釋。
在Wasserstein-GAN模型中，通常生成器和判別器是用深度神經網絡來實現的。根據最優傳輸理論，我們可以用Briener勢函數來代替深度神經網絡這個黑箱，從而使得整個系統變得透明。在另一層面上，深度神經網絡本質上是在訓練概率分布間的傳輸映射，因此有可能隱含地在學習最優傳輸映射，或者等價地Brenier勢能函數。對這些問題的深入了解，將有助于我們看穿黑箱。
圖10. 基于二維最優傳輸映射計算的曲面保面積參數化（area preserving parameterization），蘇政宇作。
圖11. 基于三維最優傳輸映射計算的保體積參數化 （volume preserving parameterization），蘇科華作。
（在2016年，老顧撰寫了多篇有關最優傳輸映射的博文，非常欣慰地看到這些文章啟發了一些有心的學者，發表了SIGGRAPH論文，申請了NSF基金。感謝大家關注老顧談幾何，希望繼續給大家靈感。）
[1]Arjovsky, M. & Bottou, L.eon (2017) Towards Principled Methods for Training Generative Adversarial Networks
[2] Arjovsky, M., Soumith, C. & Bottou, L.eon (2017) Wasserstein GAN.
[3] Xianfeng Gu, Feng Luo, Jian Sun and Shing-Tung Yau, Variational Principles forMinkowski Type Problems, Discrete Optimal Transport, and Discrete Monge-Ampere
Equations, Vol. 20, No. 2, pp. 383-398, Asian Journal of Mathematics (AJM), April 2016.
https://mp.weixin.qq.com/s/trvMOTXNs7L6fSmTkZXwsA
總結
以上是生活随笔為你收集整理的看穿机器学习（W-GAN模型）的黑箱的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 谷歌大脑Wasserstein自编码器：
- 下一篇： Understanding Genera