DeepMind打造加強(qiáng)版AlphaGo 助力突破認(rèn)知及推理挑戰(zhàn)

2021-12-16 09:58:43 來源：智東西

谷歌母公司 Alphabet 旗下頂尖 AI 實驗室 DeepMind 曾因其 AI 系統(tǒng) AlphaGo 擊敗頂尖人類圍棋選手、AlphaStar 贏得星際爭霸 2 而爆紅全球。本周，它又披露新的游戲 AI 系統(tǒng)。

與此前開發(fā)的游戲系統(tǒng)不同，DeepMind 的 AI 新作 Player of Games 是第一個在完全信息游戲以及不完全信息游戲中都能實現(xiàn)強(qiáng)大性能的 AI 算法。完全信息游戲如中國圍棋、象棋等棋盤游戲，不完全信息游戲如撲克等。

這是向能夠在任意環(huán)境中學(xué)習(xí)的真正通用 AI 算法邁出的重要一步。

Player of Game 在象棋、圍棋這兩種完全信息游戲和德州撲克、蘇格蘭場這兩種不完全信息游戲中與頂尖 AI 智能體對戰(zhàn)。

從實驗結(jié)果來看，DeepMind 稱 Player of Games 在完全信息游戲中的表現(xiàn)已經(jīng)達(dá)到了“人類頂級業(yè)余選手”水平，但如果給予相同資源，該算法的表現(xiàn)可能會明顯弱于 AlphaZero 等專用游戲算法。

在兩類不完全信息游戲中，Player of Games 均擊敗了最先進(jìn)的 AI 智能體。

深藍(lán)、AlphaGo 等 AI 系統(tǒng)僅擅長玩一種游戲

計算機(jī)程序挑戰(zhàn)人類游戲選手由來已久。

20 世紀(jì) 50 年代，IBM 科學(xué)家亞瑟?塞繆爾(Arthur L. Samuel)開發(fā)了一個跳棋程序，通過自對弈來持續(xù)改進(jìn)其功能，這項研究給很多人帶來啟發(fā)，并普及了“機(jī)器學(xué)習(xí)”這個術(shù)語。

此后游戲 AI 系統(tǒng)一路發(fā)展。1992 年，IBM 開發(fā)的 TD-Gammon 通過自對弈在西洋雙陸棋中實現(xiàn)大師級水平;1997 年，IBM 深藍(lán) DeepBlue 在國際象棋競賽中戰(zhàn)勝當(dāng)時的世界棋王卡斯帕羅夫;2016 年，DeepMind 研發(fā)的 AI 系統(tǒng) AlphaGo 在圍棋比賽中擊敗世界圍棋冠軍李世石……

這些 AI 系統(tǒng)有一個共同之處，都是專注于一款游戲。比如塞繆爾的程序、AlphaGo 不會下國際象棋，IBM 的深藍(lán)也不會下圍棋。

隨后，AlphaGo 的繼任者 AlphaZero 做到了舉一反三。它證明了通過簡化 AlphaGo 的方法，用最少的人類知識，一個單一的算法可以掌握三種不同的完全信息游戲。不過 AlphaZero 還是不會玩撲克，也不清楚能否玩好不完全信息游戲。

實現(xiàn)超級撲克 AI 的方法有很大的不同，撲克游戲依賴于博弈論的推理，來保證個人信息的有效隱藏。其他許多大型游戲 AI 的訓(xùn)練都受到了博弈論推理和搜索的啟發(fā)，包括 Hanabi 紙牌游戲 AI、The Resistance 棋盤游戲 AI、Bridge 橋牌游戲 AI、AlphaStar 星際爭霸 II 游戲 AI 等。

這里的每個進(jìn)展仍然是基于一款游戲，并使用了一些特定領(lǐng)域的知識和結(jié)構(gòu)來實現(xiàn)強(qiáng)大的性能。

DeepMind 研發(fā)的 AlphaZero 等系統(tǒng)擅長國際象棋等完全信息游戲，而加拿大阿爾伯特大學(xué)研發(fā)的 DeepStack、卡耐基梅隆大學(xué)研發(fā)的 Libratus 等算法在撲克等不完全信息游戲中表現(xiàn)出色。

對此，DeepMind 研發(fā)了一種新的算法 Player of Games(PoG)，它使用了較少的領(lǐng)域知識，通過用自對弈(self-play)、搜索和博弈論推理來實現(xiàn)強(qiáng)大的性能。

更通用的算法 PoG：棋盤、撲克游戲都擅長

無論是解決交通擁堵問題的道路規(guī)劃，還是合同談判、與顧客溝通等互動任務(wù)，都要考慮和平衡人們的偏好，這與游戲策略非常相似。AI 系統(tǒng)可能通過協(xié)調(diào)、合作和群體或組織之間的互動而獲益。像 Player of Games 這樣的系統(tǒng)，能推斷其他人的目標(biāo)和動機(jī)，使其與他人成功合作。

要玩好完全的信息游戲，需要相當(dāng)多的預(yù)見性和計劃。玩家必須處理他們在棋盤上看到的東西，并決定他們的對手可能會做什么，同時努力實現(xiàn)最終的勝利目標(biāo)。不完全信息游戲則要求玩家考慮隱藏的信息，并思考下一步應(yīng)該如何行動才能獲勝，包括可能的虛張聲勢或組隊對抗對手。

DeepMind 稱，Player of Games 是首個“通用且健全的搜索算法”，在完全和不完全的信息游戲中都實現(xiàn)了強(qiáng)大的性能。

Player of Games(PoG)主要由兩部分組成：

一種新的生長樹反事實遺憾最小化(GT-CFR)

一種通過游戲結(jié)果和遞歸子搜索來訓(xùn)練價值-策略網(wǎng)絡(luò)的合理自對弈。

在完全信息游戲中，AlphaZero 比 Player of Games 更強(qiáng)大，但在不完全的信息游戲中，AlphaZero 就沒那么游刃有余了。

Player of Games 有很強(qiáng)通用性，不過不是什么游戲都能玩。參與研究的 DeepMind 高級研究科學(xué)家馬丁?施密德(Martin Schmid)說，AI 系統(tǒng)需考慮每個玩家在游戲情境中的所有可能視角。

雖然在完全信息游戲中只有一個視角，但在不完全信息游戲中可能有許多這樣的視角，比如在撲克游戲中，視角大約有 2000 個。

此外，與 DeepMind 繼 AlphaZero 之后研發(fā)的更高階 MuZero 算法不同，Player of Games 也需要了解游戲規(guī)則，而 MuZero 無需被告知規(guī)則即可飛速掌握完全信息游戲的規(guī)則。

在其研究中，DeepMind 評估了 Player of Games 使用谷歌 TPUv4 加速芯片組進(jìn)行訓(xùn)練，在國際象棋、圍棋、德州撲克和策略推理桌游《蘇格蘭場》(Scotland Yard)上的表現(xiàn)。

在圍棋比賽中，AlphaZero 和 Player of Games 進(jìn)行了 200 場比賽，各執(zhí)黑棋 100 次、白棋 100 次。在國際象棋比賽中，DeepMind 讓 Player of Games 和 GnuGo、Pachi、Stockfish 以及 AlphaZero 等頂級系統(tǒng)進(jìn)行了對決。

在國際象棋和圍棋中，Player of Games 被證明在部分配置中比 Stockfish 和 Pachi 更強(qiáng)，它在與最強(qiáng)的 AlphaZero 的比賽中贏得了 0.5% 的勝利。

盡管在與 AlphaZero 的比賽中慘敗，但 DeepMind 相信 Player of Games 的表現(xiàn)已經(jīng)達(dá)到了“人類頂級業(yè)余選手”的水平，甚至可能達(dá)到了專業(yè)水平。

Player of Games 在德州撲克比賽中與公開可用的 Slumbot 對戰(zhàn)。該算法還與 Joseph Antonius Maria Nijssen 開發(fā)的 PimBot 進(jìn)行了蘇格蘭場的比賽。

結(jié)果顯示，Player of Games 是一個更好的德州撲克和蘇格蘭場玩家。與 Slumbot 對戰(zhàn)時，該算法平均每 hand 贏得 700 萬個大盲注(mbb / hand)，mbb / hand 是每 1000 hand 贏得大盲注的平均數(shù)量。

同時在蘇格蘭場，DeepMind 稱，盡管 PimBot 有更多機(jī)會搜索獲勝的招數(shù)，但 Player of Games 還是“顯著”擊敗了它。

研究關(guān)鍵挑戰(zhàn)：訓(xùn)練成本太高

施密德相信 Player of Games 是向真正通用的游戲系統(tǒng)邁出的一大步。

實驗的總體趨勢是，隨著計算資源增加，Player of Games 算法以保證產(chǎn)生更好的最小化-最優(yōu)策略的逼近，施密德預(yù)計這種方法在可預(yù)見的未來將擴(kuò)大規(guī)模。

“人們會認(rèn)為，受益于 AlphaZero 的應(yīng)用程序可能也會受益于游戲玩家。”他談道，“讓這些算法更加通用是一項令人興奮的研究。”

當(dāng)然，傾向于大量計算的方法會讓擁有較少資源的初創(chuàng)公司、學(xué)術(shù)機(jī)構(gòu)等組織處于劣勢。在語言領(lǐng)域尤其如此，像 OpenAI 的 GPT-3 這樣的大型模型已取得領(lǐng)先性能，但其通常需要數(shù)百萬美元的資源需求，這遠(yuǎn)超大多數(shù)研究小組的預(yù)算。

即便是在 DeepMind 這樣財力雄厚的公司，成本有時也會超過人們所能接受的水平。

對于 AlphaStar，公司的研究人員有意沒有嘗試多種構(gòu)建關(guān)鍵組件的方法，因為高管們認(rèn)為訓(xùn)練成本太高。根據(jù) DeepMind 披露的業(yè)績文件，它在去年才首次盈利，年收入達(dá)到 8.26 億英鎊(折合約 69 億人民幣)，獲得 4380 萬英鎊(折合約 3.67 億人民幣)的利潤。從 2016 年~2019 年，DeepMind 共計虧損 13.55 億英鎊(折合約 113 億人民幣)。

據(jù)估計，AlphaZero 的訓(xùn)練成本高達(dá)數(shù)千萬美元。DeepMind 沒有透露 Player of Games 的研究預(yù)算，但考慮到每個游戲的訓(xùn)練步驟從數(shù)十萬到數(shù)百萬不等，這個預(yù)算不太可能低。

結(jié)語：游戲 AI 正助力突破認(rèn)知及推理挑戰(zhàn)

目前游戲 AI 還缺乏明顯的商業(yè)應(yīng)用，而 DeepMind 的一貫理念是借其去探索突破認(rèn)知和推理能力所面臨的獨特挑戰(zhàn)。近幾十年來，游戲催生了自主學(xué)習(xí)的 AI，這為計算機(jī)視覺、自動駕駛汽車和自然語言處理提供了動力。

隨著研究從游戲轉(zhuǎn)向其他更商業(yè)化的領(lǐng)域，如應(yīng)用推薦、數(shù)據(jù)中心冷卻優(yōu)化、天氣預(yù)報、材料建模、數(shù)學(xué)、醫(yī)療保健和原子能計算等等，游戲 AI 研究對搜索、學(xué)習(xí)和博弈推理的價值愈發(fā)凸顯。

“一個有趣的問題是，這種水平的游戲是否可以用較少的計算資源實現(xiàn)。”這個在 Player of Games 論文最后中被提及的問題，還沒有明確的答案。

關(guān)鍵詞： DeepMind 加強(qiáng)版 AlphaGo 助力突破認(rèn)知及