AlphaStar je hra StarCraft II vyvinutá společností DeepMind ve spolupráci s Blizzard Entertainment a byla první umělou inteligencí, která dosáhla úrovně nejlepších hráčů v disciplíně esports bez zvláštních omezení. Projekt byl vyhlášen v roce 2016. Na konci roku 2018 se konala série testovacích zápasů proti profesionálním hráčům, které skončily jasným vítězstvím AI, a v roce 2019 se AlphaStar zúčastnil žebříčku StarCraft II , díky čemuž dosáhl nejvyšší in- herní hodnost ligy - velmistr.
AlphaStar je umělá neuronová síť , která byla vytvořena pomocí metod hlubokého učení – s posilováním a s učitelem (jako tréninkový datový soubor byly použity nahrávky her skutečných lidí poskytnuté Blizzard Entertainment) [1] . Také se během hry využívají statistické údaje o tom, jak se živí lidé v aktuální situaci chovali [2] . Neuronová síť přijímá jako vstup sadu minimap s různými filtry generovanými API a na jejich základě buduje řetězec následných akcí [3] .
Na BlizzCon 2016 byl oznámen společný projekt mezi Blizzard Entertainment a DeepMind na vytvoření umělé inteligence pro hraní StarCraft II . V rámci spolupráce začal Blizzard vyvíjet sadu softwarových nástrojů, které umožňují umělé inteligenci třetích stran plně interagovat s hrou, a také dodal DeepMind nahrávky všech online zápasů hraných živými lidmi jako tréninková data [4] . V srpnu 2017 byly dokončeny práce na otevřeném API pro StarCraft II jako aplikaci pro operační systémy Linux , která poskytuje přístup k informacím o hře včetně herního účtu, který má hráč k dispozici až po skončení hry. Místo kreslení herní grafiky aplikace generuje sadu minimap s různými filtry, které by měly být snímek po snímku vstupem do umělé inteligence, která na jejich základě vypočítává sled dalších akcí. Také byla implementována možnost vést bitvy mezi několika roboty v offline režimu a byla vytvořena řada tréninkových scénářů, jako je shromažďování zdrojů, přesun jednotek, budování budov a další. DeepMind vydala knihovnu Python propojující StarCraft II a implementace strojového učení [3] . Na blogu DeepMind byl zveřejněn předtisk, který přináší první výsledky. Verze umělé inteligence, která tehdy existovala, v drtivé většině prohrála s vestavěnou světelnou AI a ojedinělé případy remíz byly způsobeny předem nastaveným umělým limitem délky hry na 30 minut. Umělá inteligence DeepMind se naučila využívat schopnost terranských struktur létat nahoru a pohybovat se po mapě, aby se vyhnula soupeřově armádě a přivedla hru k remíze [5] .
Poté, co byla trénována pomocí nahrávek živých lidských her, neuronová síť se naučila porazit nejsložitější dostupnou vestavěnou AI v 95 % případů. Výsledná verze umělé inteligence si hrála sama se sebou 14 dní reálného času, což odpovídá 200 letům hraní StarCraft II. Zpočátku umělá inteligence DeepMind aktivně využívala rush , snažila se dosáhnout rychlého vítězství postavením velkého množství relativně levných jednotek, ale postupem času se naučila takové útoky odrážet a věnovat pozornost dalším aspektům hry, včetně ekonomického rozvoje [ 6] [1] . Kromě hlavní verze umělé inteligence byli během tréninkového procesu vyvinuti „asistenti“, kteří měli za úkol vymýšlet kreativní a neobvyklé útočné strategie. Jejich procento výher bylo nízké, ale pomohly lépe trénovat umělou inteligenci [2] .
Dne 19. prosince 2018 se konala série testovacích zápasů mezi vyvinutou verzí umělé inteligence, nazvanou AlphaStar, a kybersportovci Dariem „ TLO“ Wunschem a Grzegorzem „MaNa“ Komnichem v PvP matchup (protoss proti protoss) [7] . AlphaStar porazil každého z kybersportovců skóre 5:0. Umělá inteligence měla výhodu: zatímco člověk viděl pouze to, co se děje na obrazovce, AlphaStar viděl celou mapu. Neskórovaný zápas proti MaNa, ve kterém AlphaStar hrála s obvyklým omezením viditelné oblasti, neuronová síť prohrála, nicméně vývojáři podotýkají, že neuronová síť trénovala v tomto režimu pouze týden [1] . Navíc, protože umělá inteligence v té době mohla hrát pouze v PvP matchupu, TLO museli hrát jako protossové, a ne jako jejich hlavní rasa, Zergové [7] .
V červenci 2019 začala AlphaStar anonymně hrát hodnocené zápasy proti živým hráčům, kteří umožnili hrát AI v rozhraní hry. Způsob výběru protivníků pro umělou inteligenci a algoritmus pro výpočet jejího hodnocení byl podobný jako u živých hráčů. AlphaStar byl omezenější než v prosinci, přičemž umělá inteligence dokázala vidět, co se děje pouze v malé pohyblivé oblasti, podobně jako kamera hráče, a větší limity byly kladeny na počet akcí za minutu (APM). Tato verze umělé inteligence mohla hrát za všechny tři rasy ve všech devíti zápasech [8] . Díky tomu dosáhl AlphaStar nejvyšší herní hodnosti – velmistra, kterou drží 200 nejlepších hráčů v regionu (přibližně 0,2 %) – u všech tří ras [9] . David Silver, výzkumník z DeepMind, poznamenává, že AlphaStar byla první AI, která dosáhla úrovně nejlepších hráčů v disciplíně esports bez zvláštních omezení [10] .
Na festivalu BlizzCon 2019 byl postaven počítač, aby si kdokoli mohl zahrát proti AlphaStar. Mezi těmi, kteří hráli, byl úřadující mistr světa Joona "Serral" Sotala , jehož hra proti umělé inteligenci skončila porážkou 1:3. Tento výsledek nelze považovat za vážný, protože za prvé Serral používal neobvyklá periferní zařízení a za druhé zápas nebyl speciálně organizován a konal se z osobní iniciativy Joony [11] .
Navzdory skutečnosti, že vývojáři omezili počet akcí za minutu na hodnotu dosažitelnou člověkem, zůstává AlphaStar pro člověka neobvykle rychlý, protože člověk při hraní používá opakované příkazy a může dělat impulzivní unáhlené akce, na kterých nezáleží, zatímco všechny akce AI zůstávají přesné. . AlphaStar tedy v bitvě s velkým počtem jednotek zvládá dávat jednotlivé povely každé bojové jednotce s rychlostí a přesností nepřístupnou živému člověku [12] [13] . Komentátor Aleksey "Alex007" Trushlyakov také podotýká, že umělá inteligence nerozumí významu některých triků živých hráčů a ne vždy je správně kopíruje [14] .