姚班天才少年鬲融凭非凸优化研究成果获得斯隆研究奖
鬲融 2004 年從河北省保送至清華大學計算機系,是首屆清華姚班畢業生,普林斯頓大學計算機科學系博士,曾在微軟研究院新英格蘭分部做博士后,2015年至今在杜克大學擔任助理教授。
斯隆研究獎自1955年設立,每年頒發一次,旨在向物理學、化學和數學領域的這些“早期職業科學家和學者提供支持和認可”,后來陸續增加了神經科學、經濟學、計算機科學、以及計算和進化分子生物學。2019屆斯隆研究獎獲獎者共126名,其中,含鬲融在內共有19位華人學者獲獎。
斯隆研究獎歷來有“諾獎風向標”的美譽。因為迄今為止,已有47位該獎項獲獎人獲得了“諾貝爾獎”。另有17位獲獎人獲得了“數學菲爾茲獎”,69位獲獎人獲得“美國國家科學獎章”,18位獲得“約翰·貝茨·克拉克獎”。
鬲融求學期間有許多突出事跡,可謂是天才少年,在這篇文章中有較為詳細的敘述,以及這之后在讀博期間獲得了 NIPS 2016 的最佳學生論文獎。下面我們著重介紹一下他近期的研究成果。
鬲融的研究領域為理論計算機科學和機器學習。他在個人主頁上寫道“深度學習等現代機器學習算法嘗試從數據中自動學習有用的隱含表示。那么我們要如何公式化數據中的隱含結構,以及如何設計高效的算法找到它們呢?我的研究就以非凸優化和張量分解為工具,通過研究文本、圖像和其他形式的數據分析中出現的問題,嘗試解答這些疑問。”
鬲融的研究有三個主要課題:表示學習(Representation Learning)、非凸優化(Non-convex Optimization)以及張量分解(Tensor Decompositions)。此次獲得斯隆研究獎,正是基于鬲融在非凸優化方面的研究。根據他本人介紹:“現在機器學習大多使用深度學習算法,這些算法需要通過解決一些非凸優化問題來找到最優的神經網絡參數。理論上非凸優化在最壞情況下是非常困難的,但是實際上即使是非常簡單的算法(比如梯度下降gradient descent)都表現很好。我最近的工作對于一些簡單的非凸優化問題給出了一些分析,可以證明所有的局部最優解都是全局最優解。”
他還補充道:“科研中感覺有些問題一開始看來完全沒有頭緒,但是有幾個特別感興趣的問題我一般會每隔一段時間再看一下。現在理論機器學習方向發展很快,往往過了一段時間就有很多新的技術可以嘗試。其實一開始研究非凸優化的問題是為了解決張量分解的問題(這個是我之前做的研究),但是開始做了之后才發現我們用的工具在很多其他問題中也非常有效。”
不僅此次獲獎的研究結論“簡單的非凸優化中所有的局部最優解都是全局最優解”對機器學習領域的研究人員們來說是一個令人欣慰的結論,鬲融更多關于別的課題的研究論文也發表在了NIPS、ICML、ICLR等頂級人工智能學術會議上。雷鋒網 AI 科技評論下面列舉一些。
Learning Two-layer Neural Networks with Symmetric Inputs,借助對稱輸入學習雙層神經網絡. ICLR 2019.?https://arxiv.org/abs/1810.06793
Understanding Composition of Word Embeddings via Tensor Decomposition,通過張量分解理解詞嵌入的成分. ICLR 2019.?https://openreview.net/forum?id=H1eqjiCctX
Stronger generalization bounds for deep nets via a compression approach,通過壓縮方式為深度神經網絡賦予更強的泛化邊界. ICML 2018.?https://arxiv.org/abs/1802.05296
Minimizing Nonconvex Population Risk from Rough Empirical Risk,從粗糙的經驗風險中最小化非凸種群風險. NeurIPS 2018.?https://arxiv.org/abs/1803.09357
Beyond Log-concavity: Provable Guarantees for Sampling Multi-modal Distributions using Simulated Tempering Langevin Monte Carlo,超越對數凹面:通過仿真時序郎之萬蒙特卡洛實現采樣多模態分布的可證明保證. NIPS 2017 Bayesian Inference Workshop. NeurIPS 2018.?https://arxiv.org/abs/1812.00793
Global Convergence of Policy Gradient Methods for Linearized Control Problems,用于線性化控制問題的策略梯度方法的全局收斂性. ICML 2018.?https://arxiv.org/abs/1801.05039
Learning One-hidden-layer Neural Networks with Landscape Design,通過曲面設計學習單層隱層的神經網絡. ICLR 2018.?https://arxiv.org/abs/1711.00501
Generalization and Equilibrium in Generative Adversarial Nets (GANs),對抗性生成式網絡的泛化性和均衡研究. ICML 2017.?https://arxiv.org/abs/1703.00573
No Spurious Local Minima in Nonconvex Low Rank Problems: A Unified Geometric Analysis,低階非凸問題中不存在虛假的局部極小值:一個統一的幾何分析. ICML 2017.?https://arxiv.org/abs/1704.00708
How to Escape Saddle Points Efficiently,如何高效地離開駐點.? ICML 2017.?https://arxiv.org/abs/1703.00887
On the Optimization Landscape of Tensor decompositions,關于張量分解的優化圖像.NIPS 2016 非凸 workshop 最佳理論研究獎.?https://sites.google.com/site/nonconvexnips2016/files/Paper8.pdf
Matrix Completion has No Spurious Local Minimum,矩陣期滿中不存在虛假的局部極小值. NIPS 2016 最佳學生論文獎.?http://arxiv.org/abs/1605.07272
Provable Algorithms for Inference in Topic Models,話題模型中可證明的推理算法. In ICML 2016.?http://arxiv.org/abs/1605.08491
Efficient Algorithms for Large-scale Generalized Eigenvector Computation and Canonical Correlation Analysis,幾個高效的大規模泛化特征向量計算和規范關聯分析算法. ICML 2016.?http://arxiv.org/abs/1604.03930
Rich Component Analysis,富成分分析. In ICML 2016.?http://arxiv.org/abs/1507.03867
Intersecting Faces: Non-negative Matrix Factorization With New Guarantees,相交的截面:帶有新的保證的非負矩陣乘法. ICML 2015.?http://arxiv.org/abs/1507.02189
Un-regularizing: approximate proximal point and faster stochastic algorithms for empirical risk minimization,反規范化:用于經驗風險最小化的逼近近似點和更快的隨機算法. ICML 2015.?http://arxiv.org/abs/1506.07512
此外他還有多篇論文發表在各年的 COLT(Annual Conference on Learning Theory,ACM 主辦,計算學習理論頂級會議) 中。
他的個人主頁見?https://users.cs.duke.edu/~rongge/。
————
編輯?∑Pluto
來源:雷鋒網
更多精彩:
?泰勒定理的奇聞軼事
?丘成桐:漫談微分幾何
?Leibniz 如何想出微積分?(一)
?線性相關和秩的物理意義
?數學史上你認為最丑陋的公式是什么?
?陶哲軒談什么是好的數學
?田淵棟:數學的用處(下篇)
?你絕對沒想過原來數學家這么流氓,一言不合就進行暴力證明
?世界上最牛的五篇博士論文
?數學中有哪些巧合讓人眼前一亮?
?算法立功!清華畢業教授美國被搶車,警察無能為力自己用“貪心算法”找回
?學術史上的奇文:怎樣用數學抓獅子
?臺大教授的反思:最難的一課 我們卻沒教給學生
?麻省理工學院(MIT)研究生學習指導—— 怎樣做研究生
?分享 數學,常識和運氣 ——投資大師詹姆斯·西蒙斯2010年在MIT的講座
算法數學之美微信公眾號歡迎賜稿
稿件涉及數學、物理、算法、計算機、編程等相關領域,經采用我們將奉上稿酬。
投稿郵箱:math_alg@163.com
總結
以上是生活随笔為你收集整理的姚班天才少年鬲融凭非凸优化研究成果获得斯隆研究奖的全部內容,希望文章能夠幫你解決所遇到的問題。