近日，2023年IEEE游戲大會(huì)（Conference on Games, CoG） 足球AI競(jìng)賽正式公布了比賽結(jié)果，網(wǎng)易互娛AI Lab成功衛(wèi)冕，分別以2182.09分和2053.84分的成績(jī)?cè)俣劝鼣埩?v5和11v11兩個(gè)賽道的冠軍，并以高于亞軍450.87分和562.45分的絕對(duì)優(yōu)勢(shì)取得了斷崖式領(lǐng)先。值得一提的是，在主賽道11v11的兩輪正賽共計(jì)420場(chǎng)比賽中，網(wǎng)易互娛AI Lab取得了420場(chǎng)全勝的碾壓式戰(zhàn)績(jī)，以場(chǎng)均凈勝超過20球的成績(jī)擊敗了來自眾多知名企業(yè)和頂尖學(xué)府的AI團(tuán)隊(duì)，相較上一屆比賽中的表現(xiàn)也取得了大幅提升，再度彰顯了實(shí)驗(yàn)室在游戲AI方面的技術(shù)硬實(shí)力。
IEEE游戲大會(huì)是游戲人工智能領(lǐng)域的國(guó)際頂會(huì)，匯聚了來自全球游戲AI領(lǐng)域內(nèi)的研究和開發(fā)人員，共同探討游戲技術(shù)與設(shè)計(jì)相關(guān)的前沿話題和未來趨勢(shì)。本次IEEE游戲大會(huì)下設(shè)的足球AI競(jìng)賽已連續(xù)舉辦兩屆，吸引了包括來自嗶哩嗶哩、字節(jié)跳動(dòng)、清華大學(xué)、中科院等眾多工業(yè)界和學(xué)術(shù)界的頂尖隊(duì)伍，競(jìng)爭(zhēng)非常激烈。
本屆足球AI競(jìng)賽設(shè)置了5v5和11v11雙賽道。其中，5v5賽道要AI學(xué)會(huì)控制除了守門員之外的4名隊(duì)員，而11v11賽道則要AI學(xué)會(huì)控制包含守門員在內(nèi)的全部11名隊(duì)員。在策略層面上，智能體需要在無法準(zhǔn)確預(yù)知其他智能體的行動(dòng)時(shí)進(jìn)行決策，并與其他智能體進(jìn)行良好配合，如適時(shí)進(jìn)行截?cái)唷⒆钃酢⑼黄坪头磽簦辉诤暧^層面上，智能體還需要在進(jìn)攻策略和防守策略之間找到平衡，其中所涉及的團(tuán)隊(duì)協(xié)作和競(jìng)爭(zhēng)對(duì)抗十分復(fù)雜，這都對(duì)AI訓(xùn)練提出了挑戰(zhàn)。
面對(duì)以上難題，網(wǎng)易互娛AI Lab使用了已經(jīng)在公司內(nèi)部驗(yàn)證多次的、從零開始的深度強(qiáng)化學(xué)習(xí)方案進(jìn)行智能體訓(xùn)練，從而極大提升了智能體的強(qiáng)度，并令其表現(xiàn)出了極為流暢的傳接配合。其中，在強(qiáng)化學(xué)習(xí)部分，實(shí)驗(yàn)室使用了PPO（近端優(yōu)化算法）在CTCE（中心化訓(xùn)練中心化推理）模式下進(jìn)行自博弈訓(xùn)練，所用的策略網(wǎng)絡(luò)主體現(xiàn)由Transformer和LSTM兩大模塊構(gòu)成。整個(gè)隊(duì)伍的決策現(xiàn)在可以在經(jīng)過神經(jīng)網(wǎng)絡(luò)推理后一次性全部輸出，減少了推理所需算力從而極大地加速了訓(xùn)練過程。同時(shí)，得益于自研的分布式深度強(qiáng)化學(xué)習(xí)框架，訓(xùn)練過程加入了和數(shù)百種不同風(fēng)格的對(duì)手進(jìn)行對(duì)戰(zhàn)的模擬場(chǎng)景。最終，網(wǎng)易互娛AI Lab的智能體能夠在此次比賽中面對(duì)各種未知對(duì)手的情況下穩(wěn)定取勝，而且相較于其他參賽隊(duì)伍也表現(xiàn)出了更加多樣的策略，例如下底傳中、防守反擊、戰(zhàn)術(shù)犯規(guī)等真實(shí)足球比賽中的常見戰(zhàn)術(shù)。
網(wǎng)易互娛AI Lab在開局取得球權(quán)后在面對(duì)多名防守隊(duì)員的情況下連續(xù)精準(zhǔn)傳球，光速破門
除了競(jìng)賽中的競(jìng)技對(duì)戰(zhàn)功能，游戲AI還能被應(yīng)用于游戲冷啟動(dòng)的友好陪玩、平衡性測(cè)試等場(chǎng)景，前者可幫助提升玩家的游戲體驗(yàn)，而后者則能在游戲開發(fā)中幫助降低成本并提升效率。網(wǎng)易互娛AI Lab的游戲AI相關(guān)技術(shù)應(yīng)用了前沿的模仿學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、進(jìn)化學(xué)習(xí)算法等，目前已經(jīng)在多款游戲中落地，滿足各類游戲場(chǎng)景需求。從理論到實(shí)踐、從簡(jiǎn)單到困難，網(wǎng)易互娛AI Lab將持續(xù)通過游戲AI技術(shù)帶給玩家更為精彩的體驗(yàn)，賦予游戲全新的價(jià)值。
