10月19日消息，專注于推進人工智能（AI）研究的谷歌子公司DeepMind今天發(fā)布了一款新版本的AlphaGo程序，它能通過自學(xué)玩轉(zhuǎn)多種游戲。這套系統(tǒng)名為“AlphaGo Zero”，它通過一種名為“強化學(xué)習”的機器學(xué)習技術(shù)，可以在與自己游戲中吸取教訓(xùn)。
僅三天時間，AlphaGo Zero自行掌握了圍棋的下法，還發(fā)明了更好的棋步。這期間，除了被告知圍棋的基本規(guī)則，它未獲得人類的幫助。隨著AlphaGo Zero被不斷訓(xùn)練時，它開始在圍棋游戲中學(xué)習先進的概念，并挑選出一些有利的位置和序列。
經(jīng)過三天的訓(xùn)練，該系統(tǒng)能夠擊敗AlphaGo Lee，后者是去年擊敗了韓國選手李世石（Lee Sedol）的DeepMind軟件，勝率是100比0。。經(jīng)過大約40天的訓(xùn)練（約2900萬場自玩游戲），AlphaGo Zero擊敗了AlphaGo Master(今年早些時候擊敗了世界冠軍柯潔)。
舊版AlphaGo接受的訓(xùn)練是，觀摩由實力強大的業(yè)余或?qū)I(yè)棋手對弈的海量棋局。但AlphaGo Zero沒有獲得這樣的幫助。它自我對弈數(shù)百萬次，并從中學(xué)習。一開始，它只是隨意把棋子放在棋盤上，但后來它發(fā)現(xiàn)了獲勝的策略，棋藝就快速提升了。
AlphaGo的首席研究員大衛(wèi)·席爾瓦(David Silver)表示，“由于未引入人類棋手的數(shù)據(jù)，AlphaGo Zero遠比過去的版本強大，我們?nèi)コ巳祟愔R的限制，它能夠自己創(chuàng)造知識。”
AlphaGo Zero通過“強化學(xué)習”這一程序來積累技能。當AlphaGo Zero走出一步好棋，它更有可能獲勝。若這步棋沒走好，它輸棋的概率變大了。
這一程序的核心是一組連在一起形成人造神經(jīng)網(wǎng)絡(luò)的 “神經(jīng)元”。對于棋局的每個回合，神經(jīng)網(wǎng)絡(luò)會觀察棋子在棋盤上的位置，并推算接下來的棋步以及這些棋步讓全盤獲勝的概率。每次對弈后，它會更新神經(jīng)網(wǎng)絡(luò)，讓棋藝更精進。雖然性能遠勝于以前的版本，但AlphaGo Zero是一個更簡單的程序，掌握棋法的速度更快，接受訓(xùn)練的數(shù)據(jù)更少，使用的電腦更小。席爾瓦表示，如果擁有更多的時間，AlphaGo Zero還能夠自己學(xué)會圍棋規(guī)則。
研究團隊在《自然》雜志上發(fā)表的文章寫道，一開始AlphaGo Zero的棋藝糟透了，后來它逐漸成為一名缺乏經(jīng)驗的業(yè)余棋手，最終進階為圍棋高手，能夠走出極具戰(zhàn)略性的棋步。這些進步僅花費了幾天時間。最初10小時內(nèi)它就發(fā)現(xiàn)了一個定式。隨后不久它又領(lǐng)悟了一些棋法。三天后，AlphaGo Zero發(fā)現(xiàn)了人類專家正在研究的全新棋步。有趣的是，程序在發(fā)現(xiàn)更簡單的棋步之前就早已掌握了一些復(fù)雜棋步。
這一進展標志著通用型AI發(fā)展的大一里程碑。除了下棋贏過人類，通用型AI能做更多事情。由于AlphaGo Zero能夠從一無所知實現(xiàn)自學(xué)成才，如今其天賦可以在諸多現(xiàn)實問題上派上用場。
AlphaGo Zero正在研究蛋白質(zhì)如何折疊的問題，這是一個艱難的科學(xué)挑戰(zhàn)，不過有望成為藥物發(fā)明的一大突破。
(丹米斯·哈撒比斯)
DeepMind的CEO丹米斯·哈撒比斯(Demis Hassabis)表示，“對我們來說，AlphaGo不僅限于在圍棋對弈中獲勝，這也是我們開發(fā)通用算法的一大進步�！贝蠖鄶�(shù)AI被認為“用途有限”，因為它們只能執(zhí)行單一任務(wù)，例如，翻譯、識別面孔。但通用型AI在許多不同任務(wù)上擁有超越人類的潛能。哈撒比斯認為，在接下來十年，AlphaGo的迭代產(chǎn)品將成為科學(xué)家和醫(yī)學(xué)專家，與人類并肩工作。
此外，AlphaGo Zero比它的許多前輩都要高效得多。AlphaGo Lee需要使用幾臺機器和48個谷歌張量處理單元機器學(xué)習加速器芯片，該系統(tǒng)的早期版本AlphaGo Fan需要176個GPU。而AlphaGo Zero和AlphaGo Master一樣，只需要一臺機器和4個TPU。(惜辰)
新版本的AlphaGo究竟有多厲害？打敗李世石的AlphaGo用了3000萬盤比賽作為訓(xùn)練數(shù)據(jù)，AlphaGo Zero用了490萬盤比賽數(shù)據(jù)。經(jīng)過3天的訓(xùn)練，AlphaGo Zero就以100：0的比分完勝對陣李世石的那版AlphaGo。
DeepMind聯(lián)合創(chuàng)始人兼CEO 、AlphaGo之父戴密斯·哈薩比斯（Demis Hassabis）和AlphaGo團隊負責人大衛(wèi)·席爾瓦（Dave Sliver） 等人同時在官方博客上發(fā)表文章，詳解最強版本阿爾法狗是如何煉成的，與前代有何不同。
哈薩比斯
與學(xué)習大量人類棋譜起步的前代AlphaGo不同，AlphaGo Zero是從“嬰兒般的白紙”開始，通過3天數(shù)百萬盤自我對弈，走完了人類千年的圍棋歷史，并探索出了不少橫空出世的招法。
哈薩比斯等人專文：《AlphaGo Zero：從零開始》
席爾瓦在烏鎮(zhèn)人機峰會上發(fā)言
從語音識別、圖像分類到基因和藥物研究，人工智能發(fā)展迅速。這些專家系統(tǒng)，很多是借用海量人類經(jīng)驗和數(shù)據(jù)開發(fā)出來的。
然而，在有些特定問題上，人類的知識要么過于昂貴，要么不靠譜，要么無法獲得。因此，人工智能研究的一個長期目標就是跳過這一步，創(chuàng)造能在最有挑戰(zhàn)性的領(lǐng)域，不用人類輸入就達到超人水平的算法。我們發(fā)表在《自然》期刊上的最新論文，展示了實現(xiàn)該目標的關(guān)鍵一步。
論文介紹了首個戰(zhàn)勝人類圍棋冠軍的電腦程序AlphaGo的最新進化版本：AlphaGo Zero。AlphaGo Zero更為強大，可以一爭史上最強圍棋手。
AlphaGo的前幾代版本，一開始用上千盤人類業(yè)余和專業(yè)棋手的棋譜進行訓(xùn)練，學(xué)習如何下圍棋。AlphaGo Zero則跳過了這個步驟，自我對弈學(xué)習下棋，完全從亂下開始。用這種方法，它很快超過了人類水平，對陣此前戰(zhàn)勝人類冠軍李世石的前代AlphaGo取得了100連勝。
AlphaGo Zero之所以能當自己的老師，是用了一種叫強化學(xué)習的新模式。系統(tǒng)從一個對圍棋一無所知的神經(jīng)網(wǎng)絡(luò)開始，將該神經(jīng)網(wǎng)絡(luò)和一個強力搜索算法結(jié)合，自我對弈。在對弈過程中，神經(jīng)網(wǎng)絡(luò)不斷調(diào)整、升級，預(yù)測每一步落子和最終的勝利者。
升級后的神經(jīng)網(wǎng)絡(luò)與搜索網(wǎng)絡(luò)結(jié)合成一個更強的新版本AlphaGo Zero，如此往復(fù)循環(huán)。每過一輪，系統(tǒng)的表現(xiàn)就提高了一點點，自我對弈的質(zhì)量也提高了一點點。神經(jīng)網(wǎng)絡(luò)越來越準確，AlphaGo Zero的版本也越來越強。
這種技術(shù)比此前所有版本的AlphaGo都更為強大。這是因為，它不再受到人類知識的限制，而能夠從嬰兒般的白紙狀態(tài)，直接向世界上最強大的棋手——AlphaGo本身學(xué)起。
AlphaGo Zero相較前代還有幾點明顯的差別：
首先，AlphaGo Zero僅用棋盤上的黑白子作為輸入，而前代則包括了小部分人工設(shè)計的特征輸入。
其次，AlphaGo Zero僅用了單一的神經(jīng)網(wǎng)絡(luò)。在此前的版本中，AlphaGo用到了“策略網(wǎng)絡(luò)”來選擇下一步棋的走法，以及使用“價值網(wǎng)絡(luò)”來預(yù)測每一步棋后的贏家。而在新的版本中，這兩個神經(jīng)網(wǎng)絡(luò)合二為一，從而讓它能得到更高效的訓(xùn)練和評估。
第三，AlphaGo Zero并不使用快速、隨機的走子方法。在此前的版本中，AlphaGo用的是快速走子方法，來預(yù)測哪個玩家會從當前的局面中贏得比賽。相反，新版本依靠的是其高質(zhì)量的神經(jīng)網(wǎng)絡(luò)來評估下棋的局勢。
所有這些差異，都提高了系統(tǒng)的表現(xiàn)，使其更為普適。不過，是算法上的變化使得系統(tǒng)更為強大和高效。
僅僅自我對弈3天后，AlphaGo Zero就以100：0完勝了此前擊敗世界冠軍李世石的AlphaGo版本。自我對弈40天后，AlphaGo Zero變得更為強大，超過了此前擊敗當今第一人柯潔的“大師”版AlphaGo。
喜歡 
頂
難過
囧
圍觀
無聊
