近日，國際人工智能頂級會議IJCAI 2022 AI 奧林匹克競賽結(jié)果出爐，網(wǎng)易互娛AI Lab的隊伍從來自學(xué)術(shù)界和工業(yè)屆的眾多參賽隊伍中脫穎而出，以1482.32分的成績大幅領(lǐng)先其他隊伍奪得冠軍。網(wǎng)易互娛AI Lab研發(fā)的Athena AI系統(tǒng)再次登頂國際AI智能體競賽，展現(xiàn)了網(wǎng)易互娛AI Lab在人工智能領(lǐng)域的綜合技術(shù)實力。
國際人工智能聯(lián)合會議（IJCAI, International Joint Conference on Artificial Intelligence）是人工智能領(lǐng)域中最重要的頂級會議之一，是中國計算機學(xué)會CCF推薦的A類會議。本次比賽中的游戲環(huán)境是對奧林匹克項目進行的模擬，包括冰壺、足球、跑步、桌面曲棍球、相撲、桌球等，參賽者需使用各種人工智能方法開發(fā)能夠參與不同奧林匹克運動的智能體，并和所有其他隊伍的智能體進行對抗，這對智能體的泛化性提出了挑戰(zhàn)。此外，比賽還模擬了真實場景下運動員視野范圍有限的情況，要求智能體僅憑借部分可觀測的信息進行決策。
比賽環(huán)境的具體規(guī)則如下：
游戲共有兩方，對戰(zhàn)雙方各控制一個有相同質(zhì)量和半徑的彈性小球智能體。
智能體可以互相碰撞，也可以碰撞墻壁，但可能會損失一定的速度。智能體自身有能量，每步消耗的能量與施加的驅(qū)動力和位移成正比。智能體能量同時以固定速率恢復(fù)，如果能量衰減到零，智能體出現(xiàn)疲勞，導(dǎo)致不能加力。
整個游戲會依次運行以下幾個子游戲：在跑步中，智能體的目標是在隨機選擇的地圖上盡快到達終點。在桌面曲棍球中，智能體的目標是通過碰撞將球打入對手的球門且防止自家球門被攻破，智能體只能在己方的場地中移動。在足球中，智能體的目標與桌面曲棍球項目相同，但是智能體能夠在球場上任意活動。 在相撲中，智能體的目標是避免摔下擂臺并且爭取將對方撞下擂臺。在桌球中，智能體需要在盡可能短的時間內(nèi)將桌面上的球打進洞且避免母球落袋。在冰壺中，雙方智能體在兩輪中分別作為先后手向場地中央的目標點拋擲小球，每輪每方智能體有三次拋擲的機會，小球在通過紅線后不能再對其施加力，目標是相較對手有更多的球靠近中央目標點。當(dāng)所有子游戲結(jié)束后，游戲結(jié)束。
每方在贏得一場子游戲后獲得1分，輸?shù)粢粓鲎佑螒颢@得0分，整個游戲的得分為所有子游戲上的得分之和。
本次比賽由中國科學(xué)院自動化研究所主辦，吸引了來自嗶哩嗶哩、麻省理工學(xué)院、清華大學(xué)、中科院、上海交通大學(xué)、浙江大學(xué)等眾多學(xué)術(shù)界和工業(yè)界的隊伍，其中還包括了上一屆AI奧林匹克競賽的冠軍。來自網(wǎng)易互娛AI Lab的隊伍“高唐體校”首次參賽，就在初賽和復(fù)賽中以1476.85分和1484.66分的成績一路領(lǐng)先，最終憑借1482.32分大比分領(lǐng)先其他隊伍奪冠。
比賽中的桌球和冰壺環(huán)境：
方案介紹
網(wǎng)易互娛AI Lab研發(fā)的Athena AI系統(tǒng)，使用了自研的分布式深度強化學(xué)習(xí)框架進行智能體訓(xùn)練。該框架不但訓(xùn)練高效，也能支持同時模擬和數(shù)百種不同風(fēng)格的對手進行對戰(zhàn)的場景，因此能夠在此次比賽中面對各種未知對手時穩(wěn)定取勝。
模型設(shè)計如圖所示，主要使用了深度殘差網(wǎng)絡(luò)對圖像輸入進行編碼。其中輸入共分為4個部分，分別為兩種圖像輸入和兩種標量輸入：為了處理環(huán)境自身的部分可觀測（POMDP）特性，模型輸入會有取舍地采樣每次決策前60幀內(nèi)的部分數(shù)據(jù)（Past Frames）進行堆疊，還會有一些其他標量信息如智能體坐標、體力等（Vector Feature）；考慮到冰壺環(huán)境的特殊性，在該環(huán)境中智能體還會提前觀察冰壺中心區(qū)域的信息（Curling Center）作為輸入；最后智能體還額外使用了一些能從環(huán)境中獲取到的全局完美信息（Perfect Info）輔助預(yù)測狀態(tài)價值。
動作空間的建模上使用了離散化的多頭輸出，對移動方向（Angle）和施力大小（Force）分別建模，在優(yōu)化復(fù)雜度僅線性增加的情況下將動作空間大幅提升至3600維，使智能體在微操上更加靈活。相較于其他參賽隊伍，智能體也表現(xiàn)出了更加多樣的策略，例如在冰壺環(huán)境中大多數(shù)隊伍采用基于規(guī)則的方法，而網(wǎng)易互娛AI Lab的智能體通過訓(xùn)練學(xué)會了多角度擊打、封鎖對方后手等高級戰(zhàn)術(shù)。
關(guān)于互娛AI Lab和Athena AI系統(tǒng)
網(wǎng)易互娛AI Lab成立于2017年，隸屬于網(wǎng)易互動娛樂事業(yè)群，是游戲行業(yè)領(lǐng)先的人工智能實驗室。AI Lab所提供的人工智能服務(wù)包括計算機視覺、自然語言處理、語音信號處理、游戲AI多個方面。目前技術(shù)已應(yīng)用于網(wǎng)易互娛旗下多款熱門游戲，如《夢幻西游》、《哈利波特：魔法覺醒》、《陰陽師》、《大話西游》、《荒野行動》等等。
Athena AI是互娛AI Lab研發(fā)的游戲AI系統(tǒng)，應(yīng)用了前沿的模仿學(xué)習(xí)、強化學(xué)習(xí)、進化學(xué)習(xí)算法實現(xiàn)游戲中的競技對戰(zhàn)、友好陪玩、平衡性測試等AI需求，目前已落地互娛多款不同類型的游戲。
