編者按：本文由微信公眾號“機器之心”（ID：almosthuman2014）編譯自Google Research Blog，36氪經授權發佈。
Google大腦負責人 Jeff Dean 在當地時間 1 月 11 日於矽谷人工智能前沿大會 AI Frontiers 現場對Google大腦中的深度學習相關工作進行了概述和回顧。會後 Jeff Dean 告訴機器之心，次日Google博客將發表一篇與演講主題類似的總結性的文章，對Google大腦過去的工作做出更加系統的回顧。本文後還附有本文涉及的部分資源的彙集以及機器之心的相關報道。
Google大腦（Google Brain）團隊的長期目標是創造更智能的軟件與系統，從而改善人的生活，我們通過在多種不同的領域中純科研的和應用型的研究追求這一點。鑑於這明顯是一個長期的目標，我們想回過頭看看過去一年中Google大腦團隊已經取得的進展，並分享一些我們的 2017 願景。
研究成果發表
評判研究質量的一種重要途徑就是看我們在 ICML、NIPS 和 ICLR 這樣的國際頂級機器學習會議上發表的論文。去年，這些大會一共接受了我們團隊提交的 27 篇論文，這些論文的涵蓋範圍非常廣，包括程序合成（program synthesis）、網絡之間的知識遷移、機器學習模型的分佈式訓練、語言生成模型、機器人的無監督學習、自動定理證明（automated theorem proving）、對神經網絡的更好理解以及改進強化學習的算法等等。另外，我們還有一些論文被其他領域的一些大會所接受，例如自然語言處理領域的 ACL 和 CoNNL 大會、語音領域的 ICASSP 大會、機器人學領域的 ISER 大會，計算機系統領域的 OSDI 大會。我們的團隊向即將到來的前沿深度學習研究會議 ICLR 2017 提交了 34 篇論文。你可以通過鏈接了解我們以往發表的論文。
自然語言理解
讓機器能夠更好地理解人類語言是我們研究的關鍵環節。在 2014 年年末，三位Google大腦團隊的研究者發表了一篇題為《使用神經網絡的序列到序列學習》（Sequence to Sequence Learning with Neural Networks）的論文，展示了這種方法在機器翻譯中的可用性。2015 年，我們表明這種方法同樣還可以應用在生成圖像標題、分析句子和解決計算幾何問題當中。2016 年，之前的研究（再加上很多的改進）達到了頂峰，Google大腦團隊的成員們和Google翻譯團隊的成員密切合作，將Google翻譯的翻譯算法用一種完全端對端的學習系統所取代。這個新系統將舊系統和人類高質量翻譯對一些語言對的翻譯差距縮小了 85％。幾個星期後，我們展示了系統如何做「zero-shot 翻譯」，學習翻譯那些它從未見過的樣本句子對的語言。此係統目前已被部署在了Google翻譯服務中，其所能處理的語言對的數量也越來越多；從而能為我們的用户提供更高質量的翻譯，並讓人們能夠跨越語言障礙更有效地進行溝通。Gideon Lewis-Kraus 在 2016 年 12 月《紐約時報雜誌》的《人工智能的覺醒（The Great A.I. Awakening (http://www.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html)）》一文中記錄了Google翻譯的歷程（同時也記錄了深度學習和Google大腦團隊的歷史）。
機器人
傳統機器人的控制算法是精心設計並人工編程而完成的，因此將新的能力嵌入到原有機器人中是一個非常費力的過程。我們相信機器人通過機器學習自動學習獲取新技能是一個更好的辦法。在 2016 年，我們與 X 的研究團隊合作，演示了機械臂是如何學習手眼協調的，我們的機器人在這項研究中大概進行了 80 萬次的抓取試驗，它們自己彙集經驗然後教自己如何更快地完成任務。隨後，我們研究挖據了機器人學習新技能的三種方式：通過強化學習（reinforcement learning）、通過它們自己與物體的交互以及通過人類的演示進行學習新技能。我們將在這項工作的基礎上繼續完成我們的目標，即讓機器人能在紛繁複雜的現實世界環境中靈活地學習新任務技能與操作方法。
醫療保健
我們對機器學習增強執業醫師診斷能力的潛力感到十分興奮。作為這種潛力的一個示例，我們在美國醫療學會學報（Journal of the American Medical Association /JAMA）上發表了一篇論文《Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs》，並證明了用於圖像診斷視網膜糖尿病視網膜病變（diabetic retinopathy）的機器學習系統可以與職業認證的眼科醫生達到同等的程度。如果早期糖尿病性視網膜病變沒有檢查出，現如今將有 4 億人口存在失明的風險。但是在許多國家，職業眼科醫生的數量太少從而不能進行必要的檢查，而這個技術將能幫助確保更多的人接受適當的檢查。同時，我們還在其他的醫療影像領域內做一些研究，並調查使用機器學習預測其他醫療任務的潛力。我們相信機器學習不論是從質量還是效率都能提升醫師和患者的治療體驗，2017 年我們將在這個領域內做得更多。
音樂與藝術的生成
科技一直在幫助人類定義媒體內容是如何創造與傳播的，從印刷機、電影到電吉他都是這樣。在 16 年，我們開始進行名為 Magenta 的項目，它主要是用來探索藝術和機器智能的交叉點及使用機器學習系統增強人類的創造力。我們從音樂和圖像的生成開始，進而進入到了文本生成與虛擬現實等領域。Magenta 正在朝最先進的內容創造生成模型前進。我們為這些話題已經舉行過一整天的研討會，並舉辦過機器生成藝術的作品展覽會。我們探討了在音樂生成和藝術風格遷移等領域內的主題，並且我們的會話演示獲得了 NIPS 2016 最佳演示獎（Best Demo Award at NIPS 2016）。
人工智能的安全和公平性
當我們開發出強大而複雜的人工智能系統，並將其部署到世界各個角落時，我們總會希望保證這些系統能夠安全且公平，我們也希望擁有能夠幫助人類了解機器生產方式的工具。在人工智能安全領域，通過與斯坦福大學、伯克利和 OpenAI 等大學和機構的合作，我們共同發表了關於人工智能安全問題論文《Concrete Problems in AI Safety》。該論文概述了一些人工智能安全基礎研究應該首先着力的具體領域。目前，我們正在努力的方向是確保訓練數據的隱私性，制定不同級別的隱私級別，其中最近的研究是通過知識遷移技術來保證隱私安全。
除了安全問題，我們也正着手讓人工智能系統開始進行復雜的決策。我們希望人工智能在處理此類任務時能夠保證公平性。在一篇關於監督學習機機會公平性的論文中，我們展示瞭如何把所有訓練的預測因子調至最佳，以防止出現歧視。同時，本文描述了基於 FICO 評分機制的一項案例研究。為了讓本研究更加易讀，我們為此編寫了可視化成果展示，以幫助更多人理解。
TensorFlow
2015 年 11 月，我們開源了一個 TensorFlow 的初始版本，從而讓機器學習社區的其他人也能從中受益，讓我們所有人都可以參與到 TensorFlow 的改進中來。在 2016 年，TensorFlow 已經成長為了 GitHub 上最受歡迎的機器學習項目，擁有超過 570 位貢獻者的 10000 次以上的提交。在社區的貢獻下，TensorFlow 的模型庫也在不斷增長，現在光是在 GitHub 上就有超過 5000 個與 TensorFlow 相關的項目了！
此外，TensorFlow 也得到了許多知名的研究團隊和大型企業的採納，其中包括 DeepMind；並且也還在許多非同尋常的應用中得到了使用，比如通過高空圖像尋找海牛、幫助日本農夫挑選黃瓜。
我們已經為 TensorFlow 帶來了大量性能上的改進、增加了分佈式訓練的支持、將其帶入到了 iOS、樹莓派和 Windows，並且還將 TensorFlow 和人們廣泛使用的大數據框架進行了整合。我們已經擴展了 TensorBoard——TensorFlow 的可視化系統，帶有用於可視化計算圖和 embedding 的先進工具。我們還讓 TensorFlow 可以通過 Go、Rust 和 Haskell 接入，發佈了當前表現最佳的圖像分類模型，提出了 Wide and Deep 學習，並且回答了 GitHub、StackOverflow 論壇以及 TensorFlow 郵件列表中出現的數以千計的問題。TensorFlow Serving 簡化了在生產中應用 TensorFlow 模型的流程；而對於那些在雲上使用的模型，Google Cloud Machine Learning 也提供了 TensorFlow 的託管服務。
去年 11 月，我們慶祝了 TensorFlow 開源一週年，並在主要的計算機系統研究會議 OSDI 上提交了一篇關於 TensorFlow 的計算機系統方面的論文《TensorFlow: A System for Large-Scale Machine Learning》。通過與Google的編譯器團隊的同事合作，我們也在致力於研究開發用於 TensorFlow 的後端編譯器 XLA；最近我們已經將其一個 alpha 版本添加到了 TensorFlow 開源項目中。
機器學習社區參與
我們也在致力於教育和指導這一領域的人們如何使用機器學習以及開展機器學習研究。去年 1 月，Google大腦團隊的一位研究負責人 Vincent Vanhoucke 與 Udacity 開放了一個免費的深度學習網絡課程。我們還組織了 TensorFlow Playground，這是一個有趣的交互式系統，能夠可視化簡單的神經網絡學習完成任務的方式，幫助人們更好地進行理解。
在 6 月份，我們迎來了 Google Brain Residents 項目的第一屆 27 位參與者，他們是從 2200 名申請者中篩選出來的，在 7 個月的時間裏，他們已經開展了大量的原創研究，幫助完成了 21 篇研究論文。
在 8 月份，許多Google大腦團隊成員都參與了 Reddit r/MachineLearning 上的 AMA（Ask Me Anything）問答，回答了很多關於機器學習社區以及我們團隊的問題。
過去的一年，我們還接待了 46 位實習的學生（大部分是博士生），他們也與我們的團隊成員一起開展了一些研究。
讓機器學習遍佈整個Google
除了上面提到的公開的活動之外，我們也在Google內部不斷開展工作，將機器學習專業知識和意識擴展到我們的許多產品團隊，並確保Google能在整體上充分利用新湧現出的機器學習研究。比如説，我們與平台團隊緊密合作，為Google的定製機器學習加速器 ASIC——張量處理單元（TPU）——提供了規格和高層面的目標。這種定製芯片能為機器學習負載帶來一個數量級的性能提升，並且已經在我們的許多產品中得到了重要的應用，其中包括 RankBrain、最新推出的神經機器翻譯系統以及在去年三月對戰李世石的 AlphaGo。
總而言之，對Google大腦團隊以及Google內外許多同事和合作夥伴來説，2016 年是讓人興奮的一年，我們期望我們的機器學習研究能在 2017 年產生顯著的影響。
文中提到的部分資源：
TensorFlow GitHub：https://github.com/tensorflow
TensorFlow Stackoverflow：http://stackoverflow.com/questions/tagged/tensorflow
TensorFlow 郵件列表：https://groups.google.com/a/tensorflow.org/forum/#!forum/discuss
Google大腦提供的深度學習課程：https://www.udacity.com/course/deep-learning--ud730
TensorFlow Playground：http://playground.tensorflow.org/
Google Brain Residents：https://g.co/brainresidency
資料來源：36Kr
Google大腦負責人 Jeff Dean 在當地時間 1 月 11 日於矽谷人工智能前沿大會 AI Frontiers 現場對Google大腦中的深度學習相關工作進行了概述和回顧。會後 Jeff Dean 告訴機器之心，次日Google博客將發表一篇與演講主題類似的總結性的文章，對Google大腦過去的工作做出更加系統的回顧。本文後還附有本文涉及的部分資源的彙集以及機器之心的相關報道。
Google大腦（Google Brain）團隊的長期目標是創造更智能的軟件與系統，從而改善人的生活，我們通過在多種不同的領域中純科研的和應用型的研究追求這一點。鑑於這明顯是一個長期的目標，我們想回過頭看看過去一年中Google大腦團隊已經取得的進展，並分享一些我們的 2017 願景。
研究成果發表
評判研究質量的一種重要途徑就是看我們在 ICML、NIPS 和 ICLR 這樣的國際頂級機器學習會議上發表的論文。去年，這些大會一共接受了我們團隊提交的 27 篇論文，這些論文的涵蓋範圍非常廣，包括程序合成（program synthesis）、網絡之間的知識遷移、機器學習模型的分佈式訓練、語言生成模型、機器人的無監督學習、自動定理證明（automated theorem proving）、對神經網絡的更好理解以及改進強化學習的算法等等。另外，我們還有一些論文被其他領域的一些大會所接受，例如自然語言處理領域的 ACL 和 CoNNL 大會、語音領域的 ICASSP 大會、機器人學領域的 ISER 大會，計算機系統領域的 OSDI 大會。我們的團隊向即將到來的前沿深度學習研究會議 ICLR 2017 提交了 34 篇論文。你可以通過鏈接了解我們以往發表的論文。
自然語言理解
讓機器能夠更好地理解人類語言是我們研究的關鍵環節。在 2014 年年末，三位Google大腦團隊的研究者發表了一篇題為《使用神經網絡的序列到序列學習》（Sequence to Sequence Learning with Neural Networks）的論文，展示了這種方法在機器翻譯中的可用性。2015 年，我們表明這種方法同樣還可以應用在生成圖像標題、分析句子和解決計算幾何問題當中。2016 年，之前的研究（再加上很多的改進）達到了頂峰，Google大腦團隊的成員們和Google翻譯團隊的成員密切合作，將Google翻譯的翻譯算法用一種完全端對端的學習系統所取代。這個新系統將舊系統和人類高質量翻譯對一些語言對的翻譯差距縮小了 85％。幾個星期後，我們展示了系統如何做「zero-shot 翻譯」，學習翻譯那些它從未見過的樣本句子對的語言。此係統目前已被部署在了Google翻譯服務中，其所能處理的語言對的數量也越來越多；從而能為我們的用户提供更高質量的翻譯，並讓人們能夠跨越語言障礙更有效地進行溝通。Gideon Lewis-Kraus 在 2016 年 12 月《紐約時報雜誌》的《人工智能的覺醒（The Great A.I. Awakening (http://www.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html)）》一文中記錄了Google翻譯的歷程（同時也記錄了深度學習和Google大腦團隊的歷史）。
機器人
傳統機器人的控制算法是精心設計並人工編程而完成的，因此將新的能力嵌入到原有機器人中是一個非常費力的過程。我們相信機器人通過機器學習自動學習獲取新技能是一個更好的辦法。在 2016 年，我們與 X 的研究團隊合作，演示了機械臂是如何學習手眼協調的，我們的機器人在這項研究中大概進行了 80 萬次的抓取試驗，它們自己彙集經驗然後教自己如何更快地完成任務。隨後，我們研究挖據了機器人學習新技能的三種方式：通過強化學習（reinforcement learning）、通過它們自己與物體的交互以及通過人類的演示進行學習新技能。我們將在這項工作的基礎上繼續完成我們的目標，即讓機器人能在紛繁複雜的現實世界環境中靈活地學習新任務技能與操作方法。
醫療保健
我們對機器學習增強執業醫師診斷能力的潛力感到十分興奮。作為這種潛力的一個示例，我們在美國醫療學會學報（Journal of the American Medical Association /JAMA）上發表了一篇論文《Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs》，並證明了用於圖像診斷視網膜糖尿病視網膜病變（diabetic retinopathy）的機器學習系統可以與職業認證的眼科醫生達到同等的程度。如果早期糖尿病性視網膜病變沒有檢查出，現如今將有 4 億人口存在失明的風險。但是在許多國家，職業眼科醫生的數量太少從而不能進行必要的檢查，而這個技術將能幫助確保更多的人接受適當的檢查。同時，我們還在其他的醫療影像領域內做一些研究，並調查使用機器學習預測其他醫療任務的潛力。我們相信機器學習不論是從質量還是效率都能提升醫師和患者的治療體驗，2017 年我們將在這個領域內做得更多。
音樂與藝術的生成
科技一直在幫助人類定義媒體內容是如何創造與傳播的，從印刷機、電影到電吉他都是這樣。在 16 年，我們開始進行名為 Magenta 的項目，它主要是用來探索藝術和機器智能的交叉點及使用機器學習系統增強人類的創造力。我們從音樂和圖像的生成開始，進而進入到了文本生成與虛擬現實等領域。Magenta 正在朝最先進的內容創造生成模型前進。我們為這些話題已經舉行過一整天的研討會，並舉辦過機器生成藝術的作品展覽會。我們探討了在音樂生成和藝術風格遷移等領域內的主題，並且我們的會話演示獲得了 NIPS 2016 最佳演示獎（Best Demo Award at NIPS 2016）。
人工智能的安全和公平性
當我們開發出強大而複雜的人工智能系統，並將其部署到世界各個角落時，我們總會希望保證這些系統能夠安全且公平，我們也希望擁有能夠幫助人類了解機器生產方式的工具。在人工智能安全領域，通過與斯坦福大學、伯克利和 OpenAI 等大學和機構的合作，我們共同發表了關於人工智能安全問題論文《Concrete Problems in AI Safety》。該論文概述了一些人工智能安全基礎研究應該首先着力的具體領域。目前，我們正在努力的方向是確保訓練數據的隱私性，制定不同級別的隱私級別，其中最近的研究是通過知識遷移技術來保證隱私安全。
除了安全問題，我們也正着手讓人工智能系統開始進行復雜的決策。我們希望人工智能在處理此類任務時能夠保證公平性。在一篇關於監督學習機機會公平性的論文中，我們展示瞭如何把所有訓練的預測因子調至最佳，以防止出現歧視。同時，本文描述了基於 FICO 評分機制的一項案例研究。為了讓本研究更加易讀，我們為此編寫了可視化成果展示，以幫助更多人理解。
TensorFlow
2015 年 11 月，我們開源了一個 TensorFlow 的初始版本，從而讓機器學習社區的其他人也能從中受益，讓我們所有人都可以參與到 TensorFlow 的改進中來。在 2016 年，TensorFlow 已經成長為了 GitHub 上最受歡迎的機器學習項目，擁有超過 570 位貢獻者的 10000 次以上的提交。在社區的貢獻下，TensorFlow 的模型庫也在不斷增長，現在光是在 GitHub 上就有超過 5000 個與 TensorFlow 相關的項目了！
此外，TensorFlow 也得到了許多知名的研究團隊和大型企業的採納，其中包括 DeepMind；並且也還在許多非同尋常的應用中得到了使用，比如通過高空圖像尋找海牛、幫助日本農夫挑選黃瓜。
我們已經為 TensorFlow 帶來了大量性能上的改進、增加了分佈式訓練的支持、將其帶入到了 iOS、樹莓派和 Windows，並且還將 TensorFlow 和人們廣泛使用的大數據框架進行了整合。我們已經擴展了 TensorBoard——TensorFlow 的可視化系統，帶有用於可視化計算圖和 embedding 的先進工具。我們還讓 TensorFlow 可以通過 Go、Rust 和 Haskell 接入，發佈了當前表現最佳的圖像分類模型，提出了 Wide and Deep 學習，並且回答了 GitHub、StackOverflow 論壇以及 TensorFlow 郵件列表中出現的數以千計的問題。TensorFlow Serving 簡化了在生產中應用 TensorFlow 模型的流程；而對於那些在雲上使用的模型，Google Cloud Machine Learning 也提供了 TensorFlow 的託管服務。
去年 11 月，我們慶祝了 TensorFlow 開源一週年，並在主要的計算機系統研究會議 OSDI 上提交了一篇關於 TensorFlow 的計算機系統方面的論文《TensorFlow: A System for Large-Scale Machine Learning》。通過與Google的編譯器團隊的同事合作，我們也在致力於研究開發用於 TensorFlow 的後端編譯器 XLA；最近我們已經將其一個 alpha 版本添加到了 TensorFlow 開源項目中。
機器學習社區參與
我們也在致力於教育和指導這一領域的人們如何使用機器學習以及開展機器學習研究。去年 1 月，Google大腦團隊的一位研究負責人 Vincent Vanhoucke 與 Udacity 開放了一個免費的深度學習網絡課程。我們還組織了 TensorFlow Playground，這是一個有趣的交互式系統，能夠可視化簡單的神經網絡學習完成任務的方式，幫助人們更好地進行理解。
在 6 月份，我們迎來了 Google Brain Residents 項目的第一屆 27 位參與者，他們是從 2200 名申請者中篩選出來的，在 7 個月的時間裏，他們已經開展了大量的原創研究，幫助完成了 21 篇研究論文。
在 8 月份，許多Google大腦團隊成員都參與了 Reddit r/MachineLearning 上的 AMA（Ask Me Anything）問答，回答了很多關於機器學習社區以及我們團隊的問題。
過去的一年，我們還接待了 46 位實習的學生（大部分是博士生），他們也與我們的團隊成員一起開展了一些研究。
讓機器學習遍佈整個Google
除了上面提到的公開的活動之外，我們也在Google內部不斷開展工作，將機器學習專業知識和意識擴展到我們的許多產品團隊，並確保Google能在整體上充分利用新湧現出的機器學習研究。比如説，我們與平台團隊緊密合作，為Google的定製機器學習加速器 ASIC——張量處理單元（TPU）——提供了規格和高層面的目標。這種定製芯片能為機器學習負載帶來一個數量級的性能提升，並且已經在我們的許多產品中得到了重要的應用，其中包括 RankBrain、最新推出的神經機器翻譯系統以及在去年三月對戰李世石的 AlphaGo。
總而言之，對Google大腦團隊以及Google內外許多同事和合作夥伴來説，2016 年是讓人興奮的一年，我們期望我們的機器學習研究能在 2017 年產生顯著的影響。
文中提到的部分資源：
TensorFlow GitHub：https://github.com/tensorflow
TensorFlow Stackoverflow：http://stackoverflow.com/questions/tagged/tensorflow
TensorFlow 郵件列表：https://groups.google.com/a/tensorflow.org/forum/#!forum/discuss
Google大腦提供的深度學習課程：https://www.udacity.com/course/deep-learning--ud730
TensorFlow Playground：http://playground.tensorflow.org/
Google Brain Residents：https://g.co/brainresidency
資料來源：36Kr
請按此登錄後留言。未成為會員? 立即註冊