大河賭場

　　【編者按】人工智能研究最近取得的突破，引發了關于機器人是否會給網絡博彩業構成威脅的質疑。

　　全球4名頂尖職業撲克玩家歷經20天的鏖戰，還是在美國匹茲堡的大河賭場(Rivers Casino)以失敗收場。

　　比賽期間，他們會在上午11點前出現，身著運動褲和時尚的運動鞋，在電腦屏幕前坐下來。

　　在夜晚返回酒店之前，他們每天都需要玩1500手無限制德州撲克。這經常意味著他們需要打牌至晚上10點以后。

　　在一整天的時間里，星巴克咖啡和礦泉水就放在這幾位牌手的鍵盤旁邊，腳下則放著快餐袋。

　　當這些撲克玩家每一次做出動作時，這些動作都會被傳輸到位于5英里之外的卡耐基梅隆大學的一臺計算機服務器。通過這臺服務器，信號將被再傳輸12英里，至位于門羅維爾郊區匹茲堡超級計算機中心上運行的一款名為“Libratus”的軟件。

　　Libratus同時玩8手牌–與每位選手同時玩兩手牌。它從容不迫的做出決定，緩慢的速度讓對手賈森·賴斯(Jason
Les)幾近瘋狂。“它讓時間變得更長，”賴斯說。“等待不應該影響我，但有時你會喜歡‘好吧，這是要結束了嗎?’”

　　當然，Libratus永遠不需要休息。在其它方面，它也不同于人類玩家。當投入更多的賭注時，人們傾向于思考更長的時間。Libratus在投入的籌碼較少時玩的非常慢，因為手中有更多的籌碼，它必須考慮到所有的可能性。Libratus還會違反標準投注習慣，突然加大籌碼，不定時投入不規則數量的籌碼。

　　對于人類撲克玩家來說，這樣的行為是惱人的、魯莽的，從長期來看也是代價高昂的。但是作為撲克玩家，Libratus的主要貢獻就是它的無人性。

　　當為期20天的賽事在大河賭場結束時，職業撲克玩家合計輸了180萬美元。(事實上他們并不需要投入任何錢，這個數值只是在撲克比賽中用于計算得分。)

　　卡耐基梅隆大學負責開發Libratus的兩位計算機科學家圖奧馬斯·桑德霍爾姆(Tuomas Sandholm)和諾姆·布朗(Noam
Brown)，對Libratus的獲勝感到非常激動，因為這是計算機在全球最知名的撲克游戲–無限制德州撲克中首次擊敗頂尖職業撲克玩家。

　　人工智能領域的專家經常使用游戲，用于開發和測試他們的發明成果。計算機已在國際象棋、跳棋、雙陸棋和圍棋上擊敗了最好的人類棋手。因為機會的原因，以及玩家不知道他們的對手拿著什么樣的牌，撲克成為了一項獨特的挑戰。所謂的不完美信息游戲需要一絲人類智慧，類似于欺騙對手，并能夠察覺到被對手欺騙–這些都是電腦缺乏的。

　　《完美的賭注：科學和數學如何從賭博中獲得好運》一書的作者亞當·庫哈爾斯基(Adam
Kucharski)指出，“經常能夠看到無限制德州撲克的巡回賽，它更像是一門藝術，而不像是一門科學。曾經有一種想法認為，這個游戲在很長時間內不會受到計算機的影響。”

　　諾姆·布朗過去五年一直在開發用于在撲克比賽中擊敗人類的人工智能

　　但是這種想法在最近幾周變得土崩瓦解。上月初，阿爾伯塔大學的研究人員撰寫了一篇基于他們開發的人工智能DeepStack與職業撲克玩家對抗賽的論文。

　　在這場對抗賽中，DeepStack擊敗了11位職業撲克玩家。這篇論文介紹了DeepStack，這是一種用于撲克這樣的不完美信息環境的新算法。它結合了回歸推理來處理信息不對稱性，還結合了分解來把計算集中到相關的決策上，以及一種形式的關于任意牌的直覺–該直覺可以使用深度學習進行自我玩牌而自動學習。

　　有關DeepStack的表現是否優于Libratus是一個有爭議的話題。桑德霍爾姆就表示，Libratus擊敗的職業撲克玩家要比DeepStack擊敗的玩家更優秀。阿爾伯塔大學計算機項目負責人邁克爾·鮑林(Michael
Bowling)承認了這一點。但他質疑職業撲克玩家能否保持相同的巔峰狀態連續比賽近一個月時間，而且DeepStack的勝率是Libratus的三倍。

　　不過桑德霍爾姆和鮑林都認為，撲克人工智能僅僅是剛跨越了一道重要的門檻，對他們來說這與撲克本身無關。德州撲克僅是他們為自己的人工智能程序尋找對練的途徑之一。

　　通過游戲機器人學習到的經驗將被應用到網絡安全等應用程序當中。桑德霍爾姆說，“這是人工智能社區早已設定的主要基準，這些算法并會單獨提供給撲克玩家。它們是通用的。”外表與比爾·蓋茨(Bill
Gates)有幾分相似的的桑德霍爾姆，曾是全球最頂尖的帆板運動員之一。

　　DeepStack和Libratus玩的是一個不同版本的德州撲克比賽。計算機與單個對手對抗，而不是一組玩家。在每一手牌之后，籌碼都會重新統計，從而消除擁有更多籌碼的玩家能夠恐嚇較差玩家，迫使他們作出大賭注這種復雜的心理游戲。

　　全球領先的在線撲克平臺PokerStars發言人埃里克·霍爾雷瑟(Eric
Hollreiser)表示，這種規則限制了人工智能向撲克界發起的威脅。“雖然人工智能能夠模擬參加撲克比賽，但是牌桌上發生的事情要比這些復雜的多。”

　　奧馬斯·桑德霍爾姆(Tuomas Sandholm)負責卡耐基梅隆大學的人工智能研究工作

　　人工智能還在一些非受控環境中進行試驗。自科學家在實驗室開發人工智能技術以來，撲克機器人就一直在參與在線現金博彩游戲。它們傳統上一直參與低籌碼的比賽，且從未被認為是技藝精湛。

　　不過博彩業分析師克里斯·格羅夫(Chris
Grove)表示，機器人已開始進入一些高籌碼的比賽。“如果你是在線撲克游戲運營商，機器人可能是你頭號關注的重點，而且它們可能會有非常高的勝率，”他說。

　　撲克產業與撲克學術界已悄然合作多年。雖然參與合作的所有人都未透露細節，但商用機器人的開發者和試圖擊敗他們的人都密切關注著最新的學術動態。鮑林的幾名學生在畢業后就前往在線撲克公司任職。至少有一人已在出售用于在線比賽的機器人。

　　“當然，許多賭徒都在擔心，機器人為錢扼殺了網絡博彩業，因為人們擔心機器人變得太出色，從而影響到網絡博彩業的發展，”桑德霍爾姆說。“這可能會發生，但不是我關注的問題。”

　　在撲克俚語中，一個可以為玩家打牌的電腦程序被稱為“夢想機器”。在線論壇的參與者經常會交換如何通過可以行為察覺到機器人玩家的存在，以及如果用自己的機器人獲勝的相關經驗。

　　歸屬于加拿大游戲公司Amaya的PokerStars，雇傭了70人專門負責打擊此類欺詐行為。這些雇員會向玩家打電話，詢問他們在特定牌局中采用的戰術。PokerStars還向玩家發送電子郵件，要求他們使用360度全景攝像頭拍攝周圍的視頻，然后要求他們用手玩一個小時以上，且鍵盤完全在可視范圍之內。

　　機器人在撲克比賽中并不需要非常熟練就能夠給他們的主人帶來利潤，這對整個在線博彩業而言都是非常危險的。程序可以通過戰勝普通玩家獲取到適度的利潤。不過英國在線游戲公司Gamesys首席撲克戰略官達斯·比林斯(Darse
Billings)認為，夢想機器或學術人工智能使用了不同的技術，試圖解決

　　根本不同的挑戰。擊敗普通玩家不僅僅是擊敗精英玩家的簡化版本。這是一個完全獨立的問題。

　　比林斯比任何人都更了解兩個撲克世界。在上世紀90年代獲得計算機科學碩士學位的同時，他一直在研究撲克游戲，然后他成為了一名職業撲克牌手，并償還了自己的學生貸款。

　　幾年之后，他又重返校園與阿爾伯塔大學的計算機科學家喬納森·斯卡費爾(Jonathan
Schaeffer)進行合作，后者以編寫完美的跳棋軟件而知名。在比林斯的勸說下，斯卡費爾把目光轉向了撲克。

　　從1989年開始，斯卡費爾和同事就致力于開發跳棋人工智能程序。通過研究5萬億億個跳棋位置，研究人員于2007年4月完成了切努克(Chinook)終極程序，它是無法被擊敗的–就算人類智力發揮到極限，也只能跟它打個平手。當斯卡費爾開始奇努克計劃時，他的目標就是要戰勝跳棋世界冠軍。

　　1990年，他的程序首次獲得了與世界冠軍同場競技的機會。不過，直到1992年，人工智能程序始終沒有戰勝世界冠軍。一切在1994年發生了轉變。當年，斯卡費爾設計的程序第一次戰勝了人類國際跳棋世界冠軍馬里恩·廷斯利，這一成就也被載入了吉尼斯世界紀錄。

　　斯卡費爾和同事創造切努克程序的目的，一是為了開發計算機的高級處理和存儲能力，同時也為了確定人工智能方法在西洋跳棋上的最佳表現。在一些頂尖棋手的幫助下，斯卡費爾利用啟發法將高手的經驗編成計算機程序，從而使它能夠產生對在特定局勢下每一步棋成功和失敗的“認識”。在程序運行過程中，研究人員不斷對程序進行監控、修正和更新。

　　通過每天高強度的計算(相當于50臺個人電腦以200倍的峰值運算速度同時運行)，斯卡費爾等人終于得到了最終的奇努克程序。

　　在阿爾伯塔大學的鮑林于2003年把納什均衡定律帶入撲克游戲一年之后，卡耐基梅隆大學的桑德霍爾姆在隨后一年也開始了撲克人工智能的研究，并采取了類似的做法。桑德霍爾姆和鮑林在2006年聯合創辦了計算機撲克大賽，并經常性的與頂尖職業撲克玩家進行比賽。在比賽的同時，兩個學校的實驗室也會關注對方的最新研究成果。

　　在過去的幾年間，兩個學校的人工智能技術在游戲收尾階段的表現都有了突飛猛進的發展。

　　2015年1月，鮑林的團隊發表了一篇論文，已找到一對一限注德州撲克的秘訣，因為與無限制德州撲克相比，前者會限制玩家下注的籌碼。

　　桑德霍爾姆與開發撲克人工智能5年時間的博士生布朗，幾個月后在大河賭場舉辦了首屆“大腦對抗人工智能”(Brains vs. Artificial
Intelligence)巡回賽。在當時的賽事中，卡耐基梅隆大學推出的是由桑德霍爾姆開發的另外一款人工智能系統“Claudico”。當時共有4名職業撲克玩家參加了比賽。

　　Claudico并未獲得最終勝利，且贏得的籌碼數量要少于3名職業撲克玩家。在超過8萬手牌局中，Claudico總共輸掉了73.2萬美元。桑德霍爾姆曾表示，自己開發的人工智能已同職業玩家實力相當，至少有一位玩家在當時的比賽中被擊敗。

　　職業牌手同時在兩場牌局中與人工智能對抗

　　桑德霍爾姆和布朗表示，他們開發的人工智能仍有需要改進的地方。Claudico在入局階段表現的非常出色，但在牌局快結束時會犯一些錯誤。它會在錯誤的時刻恐嚇對手，并在計算牌時出現一些錯誤。簡而言之，當牌桌上有兩個K，而你手中有2個K時，對手就不會有K。Libratus在這些方面就得到了改進。此外，Libratus還會根據每天牌局中學習到的經驗不斷進行提升。

　　有關Libratus的細節將會在開發者最終發布的論文中對外披露。這種學術工作往往以各種方式滲透到現實世界撲克中。布朗表示，一年一度的電腦撲克大賽的參賽者也包括了玩現金游戲的玩家。鮑林則表示，他的研究論文在開發人工智能的社區中極受歡迎。他說：“有一群人在讀這些論文，并試圖理解它們。”

　　比林斯在2008年加入了撲克行業，也是為數不多在離開阿爾伯塔大學的研究項目后加入撲克行業的人。他們中的絕大多數人都被游戲平臺運營商聘用。理查德·吉布森(Richard
Gibson)開創了自己的事業，開創了一家名為Robot Shark
Gaming的游戲公司，專門為研究和玩戰略游戲開發人工智能程序。隨后，他又創辦了一家名為SportsBid的夢幻體育公司。

　　當吉布森在2013年獲得博士學位時，一群職業玩家與他進行了接觸，付費要求為他們開發用于訓練的軟件。吉布森只獲得了一位玩家的姓名，且未同任何人見面，直到現在他也不知道到底有多少當時與他進行了接觸。他說，“即便是他們不再網絡博彩中使用軟件，這也是恥辱。”

　　吉布森開發了多個程序，稱他設計的軟件只能展示各種戰術的效果，但自己不會參與比賽。在最輝煌的一年中，吉布森因為這個項目賺了10萬美元，且客戶會根據運行軟件使用的計算能力另向他支付2萬至3萬美元。

　　匿名的職業牌手并不是吉布森的唯一客戶。他說，曾有人向他付費數萬美元，要求他用半年時間開發一款撲克機器人。他并沒有問如何使用這個機器人，但設計指向一個特定的應用程序。“我的客戶想要一個獨立的東西，他們可以加載到他們的筆記本電腦，”他說。

　　“我想他們想讓它玩在線游戲。”

　　職業牌手賈森·賴斯

　　每天在大河賭場的比賽結束后，賴斯和其他幾名職業牌手都會查閱當前的比賽數據，用來尋找Libratus的弱點。在賽事之初，他們每天睡醒后都會對獲得的新技巧感到樂觀。“其中這種做法能夠奏效，我們不斷的對這些弱點進行攻擊。但如今它們已完全消失了，”賴斯說。Libratus同樣也在進行調整。在結束白天的比賽后，Libratus晚上會進行“持續不斷的戰術改進。”到了晚上，Libratus專注于戰略，使用了相當于3330臺協同工作的Macbook的計算力。

　　當然，DeepStack和Libratus都是在一對一的情況下擊敗了職業選手，還無法被應用到多人撲克比賽當中，因為它們采用的均衡戰略將在多人游戲中變得支離破碎。幾年之前，鮑林曾進行過三個機器人進行比賽的試驗。其中兩個機器人使用了與他實驗室相似的技術，另一個被編程可魯莽的增加籌碼。到最后，最蠢的機器人只是輸掉了一小部分籌碼，而另外兩個機器人則是一勝一負。

　　“這個確實非常困難。你如何推算出和你坐在同一個桌面上的是人類牌手，還是其他不出色的機器人?你必須得為此做好準備，”道林說。