神經網路搜索提速千倍！什麼方法，比谷歌大腦掛嘴邊的NAS還強？
岳排槐 發自 LZYY
量子位 出品 | 公眾號 QbitAI
去年，谷歌大腦團隊發布神經網路自動架構搜索（NAS）。這個方法理論上能夠更好地、自動化地設計神經網路的架構。
儘管NAS表現出色，但卻要耗費大量的計算資源。運行一次，可能需要450塊GPU跑上3-4天，大約耗用32400-43200個GPU小時。
一旦投入不夠，就得不到理想的結果。
顯然大牛們不會坐視不理。一年後，谷歌大腦團隊發布了他們最新的研究成果：ENAS，全稱是：Efficient NeuralArchitecture Search。
谷歌大腦的團隊成員發現，NAS的計算瓶頸在於訓練子模型收斂時，只衡量準確率而丟掉了所有訓練成的權重。
Advertisements
最新的研究，就是強制所有子模型共享權重，來提高NAS的效率。這個方法的複雜性在於，每個子模型的權重使用並不相同。
最終，谷歌大腦團隊還是成功了。使用新方法后，僅用一塊英偉達GTX 1080Ti顯卡，就能在16個小時之內完成架構搜索。
與NAS相比，GPU時間耗用減少了1000倍以上。
這篇論文剛剛提交到arXiv上發表。作者包括：Hieu Pham、Melody Y. Guan、Barret Zoph、QuocV. Le、Jeff Dean。
如果你對論文細節感興趣，傳送門在此：
https://arxiv.org/abs/1802.03268
另外，在ICLR2018大會接收的論文中，也有一些算是類似方向的研究。如果你同樣感興趣，請收下這個來自谷歌大腦團隊成員@hardmaru分享的傳送門：
Advertisements
https://openreview.net/forum?id=rydeCEhs-
https://openreview.net/forum?id=BJQRKzbA-
— 完 —
誠摯招聘
量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。
量子位 QbitAI · 頭條號簽約作者
վ'ᴗ' ի 追蹤AI技術和產品新動態