Phase retrieval交替投影
相位恢復（PR）關心的是在給定幅度信息以及受到實空間限制下，找到復值函數（通常在傅立葉空間中）的相位[1]。
PR是一個非凸優化問題，已經成為大量工作[1,2,3,4,5,6,9]的主題，并且成為結晶學的支柱，是結構生物學的中堅力量。
下面顯示的是PR重建過程的一個例子，展示了3D彌散數據（傅里葉幅度）重構實空間3D密度的納米晶體[15]。
大多PR問題的成功算法是基于投影的方法，這是受到了凸優化投影到凸集上的啟發[10]。由于基于投影的方法在PR上取得了成功，探索能否使用類似的方法訓練神經網絡。
交替投影
凸集投影（POCS）是找到凸集之間交點的有用方法。上面顯示了一個簡單的例子，其中兩個凸約束集C1（紅色）和C2（藍色）。通過簡單的迭代映射連續地投影每個集合來找到交集：
其中P是各自的集合上的投影。投影是冪等PP=P，并且是距離最小化;
P(x)=y以至于最小；
當滿足下式的時候，能夠發現解決方案：
當約束集為非凸時，很少能得出一般結論。因此，使用簡單的交替投影可能會導致局部最小值的停滯。下面展示一個例子，其中集合被設置為非凸，找到交集（全局極小值）的能力高度依賴于初始猜測值。
盡管集合在不為凸的情況下失去了保障，但投影方法被證明是尋找非凸優化問題解決方案的一種有效方法。例子包括數獨、n皇后問題、圖形著色和相位檢索等[4,10]。
差異圖
最成功的非凸投影算法之一是差分圖（DM）[4,8]，可以寫成
其中
其中y1和y2被稱為估計。一旦達到定點：
這意味著兩個估計等價于解決方案；
差異圖通過作為泛化或等價特定超參數，關聯了PR文獻中許多的不同算法[1,3,6]，不于上述形式，簡單版本的差異圖經常被使用：
這種更簡單的版本通常表現良好，并減少每次迭代所需的投影數量（投影的順序也可以切換）。公式中的2P2-I項也被稱為反射操作，出現在許多投影算法中[9]。
同樣的非凸問題如下圖所示，但使用差分映射算法后不會被困在局部最小值中，而是能夠逃脫并搜索更多的解空間，最后收斂于一個解決方案。
分治算法
差異圖先前被定義為兩個投影，那么當有兩個以上時會發生什么呢？在這種情況下，定義一個新的迭代X，它是n個重復連接[10]：
然后定義平均和直積投影;
其中Pl為第l個投影，x是加權和;
那么許多預測的差異圖為
更新X：
這種方法被稱為“分治算法”。下面是一個數獨拼圖的迭代例子，其收斂使用了差異圖與分治算法。
數獨有4個約束：每行的數字為1到9，每列的數字為1到9，3x3子方格的數字為1到9，最后數字與部分填充的模板一致。該代碼實現這個例子。
用于訓練神經網絡的投影
對差異圖、投影及其在非凸優化中的應用有了解后，下一步是對神經網絡的訓練進行預測。下例僅考慮一個分類任務，基本思想是尋找一個能正確分類數據的權重向量，將數據分解成K個子集：
定義一個“投影”權重的投影，使得子集中的所有訓練數據被正確分類（或者損失為0）。實際上，使用的是子集的梯度下降來實現投影（基本上是過度擬合的點）。目標是獲得能正確分類每個數據子集的權重，并且要查找這些集合的交集。
結果
為了測試訓練方案（代碼），使用標準方法[13]訓練了一個小型網絡，并將其與基于投影的方法進行比較。小型網絡使用非常簡單的層，大約包含22000個參數; 1個卷積層，8個3x3濾波器；2個子采樣；1個全連接層（激活函數為ReLU），有16個節點；最后softmax有10個輸出（MNIST的10類）。使用Glorot uniform[11]初始化權重。
下圖顯示其平均訓練和測試損失曲線：
訓練損失曲線
測試損失函數
從圖中可以看出效果不錯。訓練數據被分為大小相同的3組，都被用于投影約束。對于投影而言，需要找到一組最新的權重，使其與先前一組權重的距離最小。另外使用梯度下降法進行訓練，一旦訓練數據的準確度達到99％就終止投影。更新后的權重投影到3組上產生3個新的權重集合，這些集合連接在一起以形成
平均投影可以通過將權重平均得到，之后進行復制并連接后形成新的向量：
根據差異圖將這兩個投影步驟組合以獲得權重的更新方案。除了常規度量外，還可以監視差異圖誤差來尋找收斂。差異映射誤差由下式定義：
上式值越低，表明解決方案越好。差異圖錯誤達到穩定表明已經找到了一個近似的解決方案。差異圖錯誤通常在穩定前會突然下降[4]，表明找到合適的解決方案。
在上例中，投影是通過訓練數據子集上的反復梯度變化定義，本質上是過度擬合的點。在下例中，遍歷完一次訓練數據后就終止投影。
下面顯示的是平均cv測試和訓練誤差（與上述相同的常規訓練相比）
從圖中可以看到這種方法仍然可行，為什么會這樣呢？如果投影操作提前終止，那么能想到的一點就是簡單地將該投影視為一個松弛投影或非最佳投影。凸優化和PR的結果[4,5,7,14]仍然表明，松弛投影或非最佳投影趨于好的解決方案。另外，在單遍歷投影限制中，可以通過交替投影來恢復傳統的基于梯度下降的訓練方案（以3組為例）：
最后，常規訓練中的參數設置會對網絡的結果產生很大的影響，具體參數設置可以查看原文。訓練這樣的網絡并執行提前終止，傳統訓練方法的最終損失和準確度分別為0.0724和97.5％，而使用差異圖方法的結果分別為0.0628和97.9％。
投影方法的擴展
關于投影方法的好處之一是可以輕松實現額外的約束。對于L1正則化而言，可以定義收縮或軟閾值操作，如
其他投影可以是卷積核的對稱性或權重的直方圖約束。
其他注意事項
本文還有很多未回答的問題，并沒有深入研究。比如最佳集合數是多少、投影操作如何工作、近解決方案的平均有助于泛化等問題。雖然還有很多問題需要回答，但是使用相位檢索和非凸投影方法來重新構建訓練得到了一些有趣的結果。
參考文獻
[1]?J.R. Fienup, "Phase retrieval algorithms: a comparison". Applied Optics 2758-2769 (1982).
[2]??H.H. Bauschke, P.L. Combettes, and D.R. Luke, "Phase retrieval, error reduction algorithm, and Fienup variants: a view from convex optimization". Journal of the Optical Society of America A. 19:1334-1345 (2002).
[3]?Bauschke H H, Combettes P L and Luke D R "Hybrid projection–reflection method for phase retrieval" J. Opt. Soc. Am. A 20 1025–34 (2003).
[4]?V. Elser, 'Phase retrieval by iterated projections', J. Opt. Soc. Am. A/Vol. 20, (2003).
[5]?S. Marchesini, H. He, H. N. Chapman, S. P. Hau-Riege, A. Noy, M. R. Howells, U. Weierstall, and J. C. H. Spence, "X-ray image reconstruction from a diffraction pattern alone" Phys. Rev. B 68, 140101 (2003).
[6]Luke Russel D, “Relaxed averaged alternating reflections for diffraction imaging” Inverse problems, 21, 37-50 (2005).
[7]?Pierre Thibault, Veit Elser, Chris Jacobsen, David Shapiro and David Sayre, 'Reconstruction of a yeast cell from X-ray diffraction data', Acta. Cryst. (2006).
[8]??V. Elser, et al. "Searching with iterated maps" 104 (2), 418-423 (2007).
[9]?S. Marchesini, "A unified evaluation of iterative projection algorithms for phase retrieval", Review of Scientific Instruments 78 (2007).
[10]?S. Gravel, V. Elser, "Divide and concur: A general approach to constraint satisfaction". Physical Review E. (2008).
[11]??X Glorot, Y Bengio, "Understanding the difficulty of training deep feedforward neural networks.", Aistats 9, 249-256 (2010).
[12]??Pierre Thibault& Andreas Menzel, "Reconstructing state mixtures from diffraction measurements"", Nature 494, 68–71 (2013).
[13]?Diederik Kingma, Jimmy Ba, "Adam - A Method for Stochastic Optimization" (http://arxiv.org/abs/1412.6980v8) (2014).
[14]??J. N. Clark, X Huang, RJ Harder, IK Robinson, "Dynamic Imaging Using Ptychography"" Physical Review Letters 112, 113901 (2014).
[15]Jesse N. Clark, Johannes Ihli, Anna S. Schenk, Yi-Yeoun Kim, Alexander N. Kulak, James M. Campbell, Gareth Nisbet, Fiona C. Meldrum & Ian K. Robinson "Three-dimensional imaging of dislocation propagation during crystal growth and dissolution",?Nature Materials?14, 780–784 (2015)
總結
以上是生活随笔為你收集整理的Phase retrieval交替投影的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Sencha-概念-Events(事件)
- 下一篇： SOAP