Auto Byte

專注未來出行及智能汽車科技

微信掃一掃獲取更多資訊

Science AI

關注人工智能與其他前沿技術、基礎學科的交叉研究與融合發展

微信掃一掃獲取更多資訊

編輯陳萍 小舟

清華、人大獲獎,浙大提名,ICLR 2022杰出論文獎出爐

ICLR 2022 公布獲獎名單,杰出論文獎有 7 篇,3 篇獲得杰出論文榮譽提名。

ICLR 2022 杰出論文獎已公布!今年共有 7 篇論文因其出色的條理性、洞察力、創造力和持久的影響力而被選為杰出論文獎。此外,ICLR 2022 還公布了 3 篇杰出論文榮譽提名。


今年年初,ICLR 2022 放出了本屆會議的論文接收結果:共有 54 篇 Oral(口頭報告)論文和 176 篇 Spolight 論文,論文接收總數 1095 篇,最終投稿量 3391 篇,論文接收率 32.3%。

現在,ICLR 2022 官方從 1095 篇接收論文中挑選出了 7 篇杰出論文,獲獎論文作者分別來自清華大學、中國人民大學高瓴人工智能學院、谷歌研究院、安特衛普大學、斯坦福大學、康奈爾大學、多倫多大學、DeepMind 等機構。其中張鈸院士、朱軍教授的論文《ANALYTIC-DPM: AN ANALYTIC ESTIMATE OF THE OPTIMAL REVERSE VARIANCE IN DIFFUSION PROBABILISTIC MODELS 》獲得杰出論文獎。

杰出論文

論文 1:ANALYTIC-DPM: AN ANALYTIC ESTIMATE OF THE OPTIMAL REVERSE VARIANCE IN DIFFUSION PROBABILISTIC MODELS


  • 作者:Fan Bao 、 李崇軒 、朱軍、張鈸

  • 機構:清華大學、中國人民大學高瓴人工智能學院等

  • 論文鏈接:https://openreview.net/pdf?id=0xiJLKH-ufZ


獲獎理由:擴散概率模型(Defusion probabilistic model,DPM)是一類強大的生成模型,是機器學習中一個快速發展的話題。本文旨在解決 DPM 模型的固有局限性,這種局限性為 DPM 中最優反向方差的計算緩慢且昂貴。作者首先給出了一個令人驚訝的結果,即 DPM 的最優反向方差和相應的最優 KL 散度都有其得分函數的解析形式。之后他們提出了新穎而優雅的免訓練推理框架:Analytic-DPM,它使用蒙特卡羅方法和預訓練的基于得分模型來估計方差和 KL 散度的分析形式。

這篇論文在理論貢獻(表明 DPM 的最優反向方差和 KL 散度都具有解析形式)和實際益處(提出適用于各種 DPM 模型的免訓練推理)方面都很重要,并且很可能影響未來對 DPM 的研究。

論文 2:Hyperparameter Tuning with Renyi Differential Privacy


  • 作者:Nicolas Papernot、Thomas Steinke

  • 機構:谷歌研究院

  • 論文鏈接:https://openreview.net/pdf?id=-70L8lpp9DF


獲獎理由:本文對學習算法差分隱私分析的一個重要盲點提供了新的見解,即學習算法在數據上進行多次運行以調優超參數。作者指出,在某些情況下,部分數據可能會扭曲最優超參數,從而泄露私人信息。此外,作者在 Renyi 差分隱私框架下為超參數搜索過程提供了隱私保障。

這是一篇優秀的論文,考慮了學習算法的日常使用及其對社會隱私的影響,并提出了解決方案。這項工作將為差分隱私機器學習算法的后續工作提供基礎。

論文 3:Learning Strides in Convolutional Neural Networks


  • 作者:Rachid Riad、Olivier Teboul、David Grangier、Neil Zeghidour

  • 機構:谷歌研究院等

  • 論文鏈接:https://openreview.net/pdf?id=M752z9FKJP


獲獎理由:本文討論了任何使用卷積網絡的研究者都面臨的一個重要問題,即以一種原則性的方式設置 stride,這種根據原則性的方法忽略了可能的實驗和試錯。作者提出了一種新穎的、非常聰明的、可以用來學習 stride 的數學公式,并展示了一種實用方法,該方法在綜合基準中實現了 SOTA 結果。文中主要思想是 DiffStride,這是第一個具有可學習 stride 的下采樣層,它允許學習傅里葉域中裁剪掩碼的大小,以適合可微編程的方式有效地調整大小。

這是一篇優秀的論文,它提出了一種可能成為常用工具箱以及深度學習課程一部分的方法。

論文 4:Expressiveness and Approximation Properties of Graph Neural Networks


  • 作者:Floris Geerts、Juan L Reutter

  • 機構:安特衛普大學等

  • 論文地址:https://openreview.net/pdf?id=wIzUeM3TAU


獲獎理由:這篇理論比較強的論文展示了如何將有關不同圖神經網絡 GNN 架構的表達性和可分離性的問題進行簡化(有時通過檢查它們在張量語言中的計算來大大簡化),其中這些問題與常見的組合概念有關,例如樹寬(treewidth)。特別地,本文提出通過 Weisfeiler-Leman (WL) 檢驗,可以很容易地得到 GNN 分離力(separation power)的邊界,該檢驗已成為衡量 GNN 分離力的標準。該框架對通過 GNN 研究函數的逼近性也有一定的指導意義。

本文通過提供描述、比較和分析 GNN 架構的通用框架,有可能對未來的研究產生重大影響。此外,本文提供了一個工具箱,GNN 架構設計人員可以使用該工具箱分析 GNN 的分離能力,而無需了解 WL 測試的復雜性。

論文 5:Comparing Distributions by Measuring Differences that Affect Decision Making


  • 作者:Shengjia Zhao, Abhishek Sinha, Yutong (Kelly) He, Aidan Perreault, Jiaming Song, Stefano Ermon

  • 機構:斯坦福大學

  • 論文地址:https://openreview.net/forum?id=KB5onONJIAU


獲獎理由:該研究提出了一類新的差異(discrepancy),可以根據決策任務的最佳損失比較兩個概率分布。通過適當地選擇決策任務,該方法泛化了 Jensen-Shannon 散度(divergence)和最大平均差異族。與各種基準上的競爭基線相比,該方法實現了卓越的測試性能,并且具有廣闊的應用前景,可用于了解氣候變化對不同社會和經濟活動的影響、評估樣本質量以及選擇針對不同決策任務的特征。評審委員會認為該論文具有非凡的實驗意義,因為該方法允許用戶在通過決策損失比較分布時直接指定其偏好,這意味著實際應用將有更高的可解釋性。

論文 6:Neural Collapse Under MSE Loss: Proximity to and Dynamics on the Central Path


  • 作者:X.Y. Han, Vardan Papyan, David L. Donoho

  • 機構:康奈爾大學、多倫多大學、斯坦福大學

  • 論文地址:https://openreview.net/forum?id=w1UbdvWH_R3


獲獎理由:該研究對當今深度網絡訓練范式中普遍存在的「神經崩潰(neural collapse)」現象提出了新的理論見解。在神經崩潰期間,最后一層特征崩潰到類均值,分類器和類均值都崩潰到相同的 Simplex Equiangular Tight Frame,分類器行為崩潰到最近類均值決策規則。

該研究沒有采用在數學上難以分析的交叉熵損失,而是提出了一種新的均方誤差 (MSE) 損失分解,以便分析神經崩潰下損失的每個組成部分,這反過來又形成了一種新的「中心路徑(central path)」理論構造,其中線性分類器在整個動態過程中對特征激活保持 MSE 最優。最后,通過探究沿中心路徑的重歸一化(renormalized)梯度流,研究者推導出預測神經崩潰的精確動態。該研究為理解深度網絡的實驗訓練動態提供了新穎且極具啟發性的理論見解。

論文 7:Bootstrapped Meta-Learning


  • 作者:Sebastian Flennerhag, Yannick Schroecker, Tom Zahavy, Hado van Hasselt, David Silver, Satinder Singh
  • 機構:DeepMind
  • 論文地址:https://openreview.net/forum?id=b-ny3x071E5

獲獎理由:元學習具有增強人工智能的潛力,但元優化一直是釋放這種潛力的巨大挑戰,該研究為元學習開辟了一個新方向。受 TD 學習的啟發,研究者提出一種從自身或其他更新規則引導元學習器的方法。該研究進行了透徹的理論分析和多項實驗,在 Atari ALE 基準測試中為無模型智能體實現了新的 SOTA,并在多任務元學習中提升了性能和效率。

榮譽提名

除了 7 篇獲獎論文以外,還有 3 篇論文獲得杰出論文獎榮譽提名,分別是:

提名論文 1:Understanding over-squashing and bottlenecks on graphs via curvature

  • 作者:Jake Topping, Francesco Di Giovanni, Benjamin Paul Chamberlain, Xiaowen Dong, Michael M. Bronstein

  • 機構:牛津大學、倫敦帝國學院、推特公司

  • 論文地址:https://openreview.net/forum?id=7UmjRGzp-A


提名論文 2:Efficiently Modeling Long Sequences with Structured State Spaces

  • 作者:Albert Gu, Karan Goel, Christopher Re

  • 機構:斯坦福大學

  • 論文地址:https://openreview.net/forum?id=uYLFoz1vlAC


提名論文 3:PiCO: Contrastive Label Disambiguation for Partial Label Learning

  • 作者:Haobo Wang, Ruixuan Xiao, Yixuan (Sharon) Li, Lei Feng, Gang Niu, Gang Chen, Junbo Zhao

  • 機構:浙江大學、威斯康星大學麥迪遜分校、重慶大學、RIKEN

  • 論文地址:https://openreview.net/forum?id=EhYjZy6e1gJ


參考內容:
https://blog.iclr.cc/2022/04/20/announcing-the-iclr-2022-outstanding-paper-award-recipients/
產業浙江大學中國人民大學清華大學ICLR
暫無評論
暫無評論~
塔城颂嫌租售有限公司 济南东远国际货运代理有限公司| 铸造机床有限公司| 西安冰淇淋机有限公司| 纸管分切机上海有限公司| 广州爱蚂蚁科技有限公司| 皮带输送机有限公司| 转印机北京有限公司| 苏州丰升隆电子科技有限公司| 注浆泵有限公司| 喷雾干燥机有限公司| 44 927 939 349 41