Az AlphaStar egy StarCraft II játék, amelyet a DeepMind fejlesztett ki a Blizzard Entertainmenttel együttműködve , és ez volt az első mesterséges intelligencia, amely különösebb megkötések nélkül érte el a legjobb játékosok szintjét egy esport szakágban. A projektet 2016-ban hirdették meg. 2018 végén tesztmérkőzések sorozatát rendezték profi játékosok ellen, amelyek a mesterséges intelligencia egyértelmű győzelmével zárultak, 2019-ben pedig az AlphaStar részt vett a StarCraft II rangsorolt módban , aminek eredményeként a legmagasabb helyezést érte el. liga rangja - nagymester.
Az AlphaStar egy mesterséges neurális hálózat , amelyet mély tanulási módszerekkel hoztak létre - megerősítéssel és tanárral (a Blizzard Entertainment által biztosított valós emberek játékainak felvételeit használták képzési adatkészletként) [1] . Emellett a játék során statisztikai adatokat használnak fel arra vonatkozóan, hogyan viselkedtek az élő emberek a jelenlegi helyzetben [2] . A neurális hálózat bemenetként az API által generált különféle szűrőkkel ellátott mini-térképek készletét kapja, és ezek alapján építi fel a későbbi műveletek láncát [3] .
A 2016-os BlizzConon bejelentették a Blizzard Entertainment és a DeepMind közös projektjét, amelynek célja mesterséges intelligencia létrehozása a StarCraft II játékhoz . Az együttműködés részeként a Blizzard olyan szoftvereszközök fejlesztésébe kezdett, amelyek lehetővé teszik, hogy a harmadik fél mesterséges intelligenciája teljes mértékben kölcsönhatásba lépjen a játékkal, és a DeepMind számára az élő emberek által lejátszott összes online meccs felvételét is biztosította edzési adatokként [4] . 2017 augusztusában befejeződött egy nyílt API for StarCraft II munkája , amely Linux operációs rendszerekhez való alkalmazásként hozzáférést biztosít a játékinformációkhoz, beleértve a játékfiókot is, amely csak a játék befejezése után érhető el a játékos számára. Az alkalmazás játékgrafikák rajzolása helyett egy sor mini-térképet generál különféle szűrőkkel, amelyeket kockánként kell bevinni a mesterséges intelligenciába, amely ezek alapján kiszámítja a további műveletek sorrendjét. Emellett lehetőség nyílt több bot közötti csaták lebonyolítására offline módban, és számos képzési forgatókönyvet hoztak létre, például erőforrások gyűjtése, egységek mozgatása, épületek építése és mások. A DeepMind kiadott egy Python könyvtárat, amely összekapcsolja a StarCraft II-t és a gépi tanulási implementációkat [3] . A DeepMind blogon megjelent egy előnyomat, amely beszámol az első eredményekről. A mesterséges intelligencia akkoriban létező verziója az esetek túlnyomó többségében elveszett a beépített light MI-vel szemben, és ritka esetekben a döntetleneket a játék hosszának előre beállított, 30 perces mesterséges korlátja okozta. A DeepMind AI megtanulta használni a terrai struktúrák azon képességét, hogy felrepüljenek és mozogjanak a térképen, hogy elkerüljék az ellenfél seregét, és döntetlenre hozzák a játékot [5] .
Az élő emberi játékok felvételeivel való betanítás után a neurális hálózat az esetek 95%-ában megtanulta legyőzni a legbonyolultabb beágyazott mesterséges intelligenciát. A mesterséges intelligencia így létrejött változata 14 napon át valós időben játszott önmagával, ami 200 év StarCraft II játéknak felel meg. Kezdetben a DeepMind mesterséges intelligencia aktívan használta a rohanást , és megpróbált gyors győzelmet elérni nagyszámú, viszonylag olcsó egység felépítésével, de idővel megtanulta kivédeni az ilyen támadásokat, és figyelmet fordít a játék egyéb aspektusaira, beleértve a gazdasági fejlődést is . 6] [1] . A mesterséges intelligencia fő változata mellett az edzési folyamat során "asszisztens játékosokat" fejlesztettek ki, akiknek az volt a feladata, hogy kreatív és szokatlan támadási stratégiákat dolgozzanak ki. Győzelmi százalékuk alacsony volt, de segítettek a mesterséges intelligencia jobb képzésében [2] .
2018. december 19-én tesztmérkőzések sorozatát rendezték a mesterséges intelligencia egy fejlesztett változata, az AlphaStar, valamint a kibersportolók , Dario "TLO" Wunsch és Grzegorz "MaNa" Komnich PvP meccsen (protossz a protosok ellen) [7] . Az AlphaStar mindegyik kibersportolót 5:0-ra verte. A mesterséges intelligenciának volt egy előnye: míg az ember csak azt látta, ami a képernyőn történik, addig az AlphaStar a teljes térképet. A MaNa elleni gól nélküli meccsen, amelyen az AlphaStar a látható terület szokásos korlátozásával játszott, a neurális hálózat veszített, azonban a fejlesztők megjegyzik, hogy a neurális hálózat csak egy hétig edzett ebben a módban [1] . Ráadásul, mivel a mesterséges intelligencia akkoriban csak PvP-meccsen játszhatott, a TLO-nak protossként kellett játszania, nem pedig a fő fajként, a Zergként [7] .
2019 júliusában az AlphaStar névtelenül kezdett rangsorolt mérkőzéseket játszani olyan élő játékosok ellen, akik engedélyezték a mesterséges intelligencia játékát a játék felületén. A mesterséges intelligencia ellenfeleinek kiválasztásának módszere és az értékelés kiszámításának algoritmusa hasonló volt az élő játékosokhoz. Az AlphaStar korlátozottabb volt, mint decemberben, az AI csak egy kis mozgó területen tudta látni, mi történik, hasonlóan a játékos kamerájához, és nagyobb korlátokat szabtak a percenkénti akciók számára (APM). A mesterséges intelligencia ezen változata mindhárom versenyen használható mind a kilenc meccsen [8] . Ennek eredményeként az AlphaStar mindhárom versenyen elérte a legmagasabb játékrangot - a nagymestert, amelyet a régió legjobb 200 játékosa birtokol (kb. 0,2%) [9] . David Silver, a DeepMind kutatója megjegyzi, hogy az AlphaStar volt az első mesterséges intelligencia, amely különösebb korlátozások nélkül érte el a legjobb játékosok szintjét egy esport szakágban [10] .
A 2019-es BlizzCon fesztiválon egy számítógépet tettek ki, hogy bárki játszhasson az AlphaStar ellen. A játszók között volt a regnáló világbajnok Joona "Serral" Sotala is , akinek a mesterséges intelligencia elleni meccse 1-3-as vereséggel végződött. Ez az eredmény nem tekinthető komolynak, mert egyrészt a Serral szokatlan perifériákat használt, másrészt a mérkőzést nem külön szervezték meg, és Joona személyes kezdeményezésére rendezték meg [11] .
Annak ellenére, hogy a fejlesztők a percenkénti akciók számát egy ember által elérhető értékre korlátozták, az AlphaStar továbbra is szokatlanul gyors ember számára, mivel az ember játék közben ismétlődő parancsokat használ, és impulzív kiütéses akciókat hajthat végre, amelyek nem számítanak. minden AI-művelet pontos marad. Tehát egy nagy számú egységgel vívott csatában az AlphaStarnak sikerül egyéni parancsokat adni minden egyes harci egységnek élő ember számára elérhetetlen sebességgel és pontossággal [12] [13] . Aleksey "Alex007" Truslyakov kommentátor azt is megjegyzi, hogy a mesterséges intelligencia nem érti az élő játékosok egyes trükkjeit, és nem mindig másolja le megfelelően [14] .