技術趨勢分析：Google將機器學習晶元帶入雲端

圖1、Google將機器學習晶元帶入雲端

大約兩年前，Google透露，它已經建立了一款稱為張量處理單元（Tensor processing unit）的定製晶元，用於改進其StreetView軟體的街道標識的讀取效果，其搜索引擎演算法的準確性以及它在幾十種其他互聯網服務中使用的機器學習方法。

圖2、TPU的訓練管道

但該公司從未計劃無限期地將自定義加速器保留在後端。Google目標一直是將張量處理單元（Tensor processing unit）（通常稱為TPU）的核心通過雲端傳遞給軟體工程師。周一，谷歌終於開始向其他公司提供TPU晶元，將這款定製晶元放在更多的人手中，並在更多人眼前展現其性能。

圖3、TensorFlow的分層架構

Google的張量處理單元（Tensor processing unit）（通常稱為TPU）配備四個連接在一起的定製晶元，以提供機器學習需要完成每秒180萬億次操作的工作量。根據谷歌的說法，憑藉所有這些計算能力，軟體工程師可以在幾個小時而不是幾天的時間內訓練用於機器學習的神經網路，而無需構建專有的計算集群。

圖4、Intel的MLSL架構

「傳統上，為定製ASIC和超級計算機編寫程序需要深入專業的專業知識，」Google Cloud的雲端TPU產品經理John Barrus和Google Brain團隊內部TensorFlow和Cloud TPU產品經理Zak Stone在一篇博文中寫道。

為了降低編程的門檻，Google提供了一套基於TensorFlow的軟體工具，這是Google開發的機器學習軟體框架。該公司表示，它將提供可用於物體檢測，圖像分類和語言翻譯的模型作為客戶參考。谷歌表示，對於那些參與Beta測試的人來說，每小時TPU將收取6.50美元。

圖5、TPU的功能塊

谷歌的目標是誘使軟體工程師在亞馬遜和微軟的雲中使用它的雲計算平台。但在此過程中，谷歌開始與其他晶元供應商展開競爭，尤其是Nvidia，該公司正在花費數十億美元購買大量內存和更快的連接晶元，以保持其在機器學習領域中的領先地位。

將其定製晶元遷移到雲中也使Google陷入與機器學習相關的半導體初創企業的競爭碰撞過程中，其中包括前谷歌工程師創建的Groq，這些工程師參與開發了Google的第一代TPU。其他接近發布晶元的公司，如Graphcore和Wave Computing，可能也會受到谷歌對垂直整合的意圖的傷害，尤其是在其他互聯網巨頭也會跟隨Google的情況下。

圖6、基於TPU的應用架構

谷歌表示，第一批使用定製硬體的客戶包括Lyft，該公司正在研發可在其搭乘共享網路中部署的自動駕駛汽車，該公司去年在Google的母公司Alphabet的領導下籌集了10億美元的融資資金。Barrus和Stone在博客文章中透漏另一位早期的用戶是投資管理公司Two Sigma。

有幾個問題我們還沒有答案，例如目前還不清楚自去年支持機器學習的兩個階段（即訓練和推理）以來Google自己的定製晶元經過多少內部訓練和推理。另外，谷歌仍然面臨這樣的問題：它是否能說服雲客戶停止使用Nvidia的圖形處理器進行訓練，以及英特爾的中央處理器進行推理。

去年，谷歌退出了第一代TPU晶元的性能提升，該晶元僅針對機器學習的推理階段進行了優化。它聲稱加速器比基於Nvidia開普勒架構的晶元的運行速度要快13倍。但是需要指出的是，因為開普勒比現在Nvidia的Volta架構落後了整整兩代，這個架構是圍繞定製內核構建的，這些定製內核能夠在機器學習中進行大量的數字處理。

圖7、Nvidia投入巨資打造了Volta人工智慧平台

Nvidia估計它花費了30億美元打造了Volta。基於該架構的最新系列晶元可以提供每秒125萬億次的浮點運算，用於訓練和運行神經網路。這些晶元可以打包成微型超級計算機，可以插入在標準的伺服器中，也可以轉移到石油鑽井平台或者其它施工現場，從而實現在本地而不是在公共雲中進行演算法訓練。

谷歌不會停止購買最新的雲計算晶元。該公司表示將採用Nvidia的Tesla V100加強其雲計算能力，這個晶元實際上它比谷歌的晶元更靈活，因為它們支持更廣泛的軟體庫，包括TensorFlow。它還將為客戶提供基於英特爾Skylake架構的晶元，該架構已被加強用於機器學習中。

今年晚些時候，Google計劃將稱為TPU吊艙（TPU pods）的超級計算機的鑰匙交給客戶，TPU pods將64個定製晶元連接在一起，以提供高達11.5 petaflops的性能。 去年12月，谷歌表示，在不到半小時的時間內，單個吊艙（pod）就可以訓練ResNet-50，這比以前的方法要快得多，ResNet-50是一個用於機器學習晶元基準的圖像分類程序。

（完）