Auto Byte

專注未來出行及智能汽車科技

微信掃一掃獲取更多資訊

Science AI

關注人工智能與其他前沿技術、基礎學科的交叉研究與融合發展

微信掃一掃獲取更多資訊

北京大學DAIR實驗室、騰訊機器學習平臺部Angel Graph團隊機器之心專欄

WWW 2022最佳論文出爐:北京大學團隊獲唯一最佳學生論文獎

來自北京大學 DAIR 實驗室與騰訊機器學習平臺部 Angel Graph 團隊共同完成的研究斬獲WWW 2022 唯一最佳學生論文獎(Best Student Paper Award)。

4 月 29 日晚,國際萬維網頂會 WWW-2022(The Web Conference,簡稱 WWW)公布了本屆會議的最佳論文。以北京大學計算機學院崔斌教授博士生張文濤為第一作者的論文 《可擴展的圖神經結構搜索系統 (PaSca: a Graph Neural Architecture Search System under the Scalable Paradigm) 》斬獲大會唯一的最佳學生論文獎(Best Student Paper Award)。

圖片

圖 1 獲獎證書以及官方宣傳

WWW(現改名為 TheWebConf)會議是計算機和互聯網領域歷史最為悠久同時最為權威的頂級學術會議之一,被中國計算機學會列為 A 類推薦國際學術會議。本次會議共收到 1822 篇論文投稿,最終錄用 323 篇,錄用率為 17.7%。本次會議僅評選出一篇最佳論文獎和一篇最佳學生論文獎,獲獎論文首先被會議 “系統和基礎設施” 方向推薦為最佳論文進入到大會最佳論文候選(共 11 篇),并在最終評比中獲最佳學生論文獎。獲獎論文是北京大學 DAIR 實驗室與騰訊機器學習平臺部 Angel Graph 團隊共同完成,這是 WWW 成立 30 多年以來,中國學術研究機構第 2 次獲得最佳學生論文獎。

圖片


  • 論文鏈接:https://dl.acm.org/doi/10.1145/3485447.3511986

  • 系統鏈接:https://github.com/PKU-DAIR/SGL


1. 內容簡介

神經網絡模型在多個圖任務上都取得了最佳效果,并受到了學術界和工業界的廣泛關注。然而,現有的圖神經網絡系統有如下圖所示的兩個瓶頸。一方面,受限于單機場景下的存儲和計算開銷以及分布式場景下的通信開銷,大多數基于消息傳播機制 (Neural Message Passing,NMP) 的圖神經網絡模型可擴展性較低,很難直接用于現實生活中的大規模圖數據。如圖 2 所示,以典型的基于消息傳播機制的 GraphSAGE 模型為例,分布式場景下的高昂通訊代價限制了圖神經網絡的可擴展性。此外,如圖 3 所示,現有的圖神經網絡系統需要用戶針對特定圖數據和圖任務編寫代碼和訓練流程,然而設計網絡結構也需要經驗豐富的專家,建模成本很高。

圖片

圖 2 圖神經網絡的可擴展性瓶頸

圖片

圖 3 圖神經網絡的建模瓶頸

本論文研究了大規模圖學習過程中面臨的圖模型可擴展性低以及建模門檻高兩個問題,進而提出了一套能自動化建模超大規模圖網絡的可擴展圖學習系統。具體來說,本文提出了一個新穎的圖神經網絡建模范式,并基于該范式設計了一個超過 15 萬種網絡結構的可擴展圖網絡設計空間,為圖神經網絡可擴展性的相關研究指明了一個新的方向和路線。此外,本文還實現并開源了一套多目標(如模型預測效果和資源占用)自動化圖神經結構搜索系統,來支持更簡單和更高效的大規模圖學習。

2. 系統目標以及系統設計與方法

區別于現有的大規模圖神經網絡系統,本文提出的 PaSca 是一個端到端的系統。如圖 4 所示,系統的輸入有兩部分組成:1)圖數據 2)搜索目標(預測性能、內存占用、訓練以及預測效率等)。給定這兩個輸入,系統能自動化地在預定義的可擴展圖網絡搜索空間進行高效地搜索,并輸出能兼容多個搜索目標的可擴展圖神經網絡模型。

圖片

圖 4 系統目標概覽

可擴展性圖神經網絡建模范式

圖片

圖 5 兩種建模范式的對比

如圖 5 所示,現有的圖神經網絡模型大都遵循如上圖所示的消息傳遞機制。此外,為了兼容主流的圖神經網絡模型,相應的圖神經網絡系統也使用基于消息傳遞機制的系統抽象。然而,基于消息傳播機制的圖模型在每個 batch 訓練過程中都需要進行聚合和更新操作。當圖節點數據分布在不同機器上時,頻繁的聚合操作會導致高昂的通信開銷。區別于現有的消息傳遞機制,本文提出的 Scalable Paradigm(SGAP)將消息聚合操作和更新操作分離,定義了可擴展性圖神經網絡建模的新范式:前處理—訓練—后處理,消息聚合操作只存在于前處理和后處理中,極大地降低了分布式場景下的通信開銷。

自動化搜索系統

本文提出的自動化搜索系統包含兩個模板,分別是搜索引擎以及分布式驗證引擎。如圖 6 所示,在每一次迭代中,搜索引擎都會從搜索空間中推薦相應的可擴展圖神經網絡結構,之后評估引擎訓練圖網絡模型并返回模型的驗證結果。

圖片

圖 6 PaSca 自動化搜索系統架構圖

搜索引擎的主要目標是找到在 SGAP 建模范式下能同時兼容多個搜索目標的可擴展圖神經網絡結構。如表 1 所示,它首先定義了一個包含 15 萬種不同網絡結構的搜索空間,并基于貝葉斯優化來實現網絡結構的推薦。在每次迭代中,推薦服務器會建模觀測到的網絡結構與優化目標值之間的關系,并推薦能最好地平衡多個優化目標的網絡結構。最后,它基于驗證引擎返回的觀測結果來更新歷史信息。

圖片

表 1 基于 SGAP 的網絡結構搜索空間

驗證引擎的主要是用來高效評估被推薦的模型性能。對于前處理和后處理階段,圖數據聚合器會將圖數據劃分并存儲到多臺機器上。對于任意節點,當它的第 i - 階消息計算完成之后,工作節點會拉取它的鄰居信息并計算它下一階的信息。在訓練階段,每個工作節點都可以用批訓練的方式基于參數服務器來實現網絡參數的更新。

3. 實驗效果

本文在十個真實的數據集上進行實驗,實驗主要是為了說明:1)基于 SGAP 的圖神經網絡建模范式具有高可擴展性;2)PaSca 系統搜索出來的網絡能很好地平衡多個搜索目標,并取得良好的預測性能。

圖片

圖 7 可擴展性分析

本文比較了基于 SGAP 范式建模的 PaSca-APPNP 模型以及基于 NMP 范式建模的 GraphSAGE 模型在分布式場景下的可擴展性。固定總的批處理大小并增加工作節點的數目,如圖 7 所示,實驗發現 PaSca-APPNP 能夠獲得更接近理想情況下的加速比。

圖片

圖 8 搜索結果的帕累托平面

如圖 8 所示,實驗展示了 PaSca 系統在 Cora 數據集的搜索結果的帕累托平面。本文從中挑選了 3 個代表性的模型,分別命名為 PaSca-V1, PaSca-V2 和 PaSca-V3。這些代表性模型能兼容不同的優化目標,比如 PaSca-V3 取得了最小的分類誤差但是比 PaSca-V2 的預測時間更久。

圖片

圖 9 搜索結果的訓練時間與預測性能對比

如圖 9 所示,本文實驗測試了搜索出來的代表性模型在實際 Industry 數據集上的預測性能和訓練時間??梢钥吹?PaSca-V2 和 PaSca-V3 的預測效果都優于 JK-Net,但是訓練時間更短。此外,如表 2 所示,本文在八個數據集上測試搜索出來的代表性模型的預測性能。實驗發現,基于 SGAP 建模范式的圖神經網絡模型能夠取得和其他范式下模型相當甚至更好的預測性能。另外,搜索出來的 PaSca-V3 始終取得了最好的模型預測性能。

圖片

表 2 搜索結果的預測性能
    
4. 系統應用

Angel Graph 圖計算團隊目前負責論文成果在騰訊內部的技術落地。獲獎論文的相關成果已實現于 Angel Graph 系統并部署于騰訊公司太極機器學習平臺,廣泛應用于金融風控和社交網絡推薦等業務,代表性業務落地場景如下:1)微信公眾號文章視頻推薦場景點擊率提升 1.6% 2)PCG 平臺與內容事業群內容風控場景惡意識別覆蓋率提升 10% 3)微信運營平臺中心社交反欺詐場景欺詐賬號識別覆蓋率提升 20% 4)全民 K 歌個人主頁用戶相似推薦場景人均關注提升 2.397%。

5. 總結

神經網絡模型在多個圖任務上都取得了最佳效果,并受到了學術界和工業界的廣泛關注。然而,大多數圖神經網絡模型可擴展性較低,很難直接用于現實生活中的大規模圖數據。此外,設計針對特定圖數據和圖任務的神經網絡結構也需要經驗豐富的專家,建模成本很高。為此,本文提出了一個非常新穎的圖神經網絡建模范式,并基于該范式設計了一個可擴展的圖神經結構搜索空間,為圖神經網絡可擴展性的相關研究指明了一個新的方向和路線。此外,本文還實現并開源了一套多目標(如模型預測效果和資源占用)自動化圖神經結構搜索系統,搜索出來的代表性模型在預測性能、效率以及可擴展性方面都取得了較好的平衡。PaSca 系統能幫助研究者更好地探索可擴展的圖神經網絡結構,極大地促進了圖神經網絡從學術研究走向實際落地。
理論最佳學生論文獎WWW-2022
相關數據
機器學習技術

機器學習是人工智能的一個分支,是一門多領域交叉學科,涉及概率論、統計學、逼近論、凸分析、計算復雜性理論等多門學科。機器學習理論主要是設計和分析一些讓計算機可以自動“學習”的算法。因為學習算法中涉及了大量的統計學理論,機器學習與推斷統計學聯系尤為密切,也被稱為統計學習理論。算法設計方面,機器學習理論關注可以實現的,行之有效的學習算法。

神經網絡技術

(人工)神經網絡是一種起源于 20 世紀 50 年代的監督式機器學習模型,那時候研究者構想了「感知器(perceptron)」的想法。這一領域的研究者通常被稱為「聯結主義者(Connectionist)」,因為這種模型模擬了人腦的功能。神經網絡模型通常是通過反向傳播算法應用梯度下降訓練的。目前神經網絡有兩大主要類型,它們都是前饋神經網絡:卷積神經網絡(CNN)和循環神經網絡(RNN),其中 RNN 又包含長短期記憶(LSTM)、門控循環單元(GRU)等等。深度學習是一種主要應用于神經網絡幫助其取得更好結果的技術。盡管神經網絡主要用于監督學習,但也有一些為無監督學習設計的變體,比如自動編碼器和生成對抗網絡(GAN)。

北京大學機構

北京大學創辦于1898年,初名京師大學堂,是中國第一所國立綜合性大學,也是當時中國最高教育行政機關。辛亥革命后,于1912年改為現名。2000年4月3日,北京大學與原北京醫科大學合并,組建了新的北京大學。原北京醫科大學的前身是國立北京醫學專門學校,創建于1912年10月26日。20世紀三、四十年代,學校一度名為北平大學醫學院,并于1946年7月并入北京大學。1952年在全國高校院系調整中,北京大學醫學院脫離北京大學,獨立為北京醫學院。1985年更名為北京醫科大學,1996年成為國家首批“211工程”重點支持的醫科大學。兩校合并進一步拓寬了北京大學的學科結構,為促進醫學與人文社會科學及理科的結合,改革醫學教育奠定了基礎。

官網,http://www.pku.edu.cn/
推薦文章
暫無評論
暫無評論~
塔城颂嫌租售有限公司 上海市高登商业展览有限公司| 上海旭宏国际贸易有限公司| 发电机北京有限公司| 江苏润通机具有限公司| 三亚百泰生物科技有限公司| 苏州优空间家具有限公司| 济宁腾宇机械设备有限公司| 上海格博会展责任有限公司| 制粒干燥设备有限公司| 安徽璟彩建筑材料有限公司| 787 151 670 809 469