Gemini w Minecraft: 4 agentów AI pokonało Ender Dragona

Maxence Faldor, Satinder Singh i Roberta Raileanu z Google DeepMind opisali w pracy na arXiv, jak czterech agentów opartych na Gemini 4 Argon przeszło Minecrafta: od losowego świata w trybie przetrwania do pokonania Ender Dragona. Zajęło im to 27 godzin i 14 minut, bez żadnej pomocy człowieka. Praca trafiła na arXiv 15 października, a od 19 października opisują ją m.in. The Next Web i AI-owy X.

Co właściwie zrobili agenci Gemini w Minecraft?

Autorzy piszą, że to według ich wiedzy „the first end-to-end autonomous completion of Minecraft by AI agents”. Warunki startu były uczciwe: Minecraft Java Edition 1.20.4, losowo wygenerowany świat, poziom Easy, wyłączone komendy, a jedyny cel to pokonać smoka. Nikt nie przydzielał ról ani nie pisał agentom narzędzi pod tę grę.

Co ciekawe, agenci w ogóle nie widzieli ekranu. Każdy sterował postacią przez Mineflayer, otwartą bibliotekę do botów w Minecrafcie. Żeby coś zrobić, agent pisał krótki program w JavaScripcie, a potem czytał wynik: pozycję, zdrowie, ekwipunek albo błąd. Czyli to tak naprawdę agenci programujący, którzy grają kodem.

Kilka liczb z pracy:

1. 2783 programy napisane przed zwycięstwem, z czego 22% zakończyło się błędem.
2. 229 wiadomości na czacie w grze, przez który agenci się koordynowali (do tego wspólna pamięć).
3. 605 śmierci, w tym 69 w Endzie.
4. Ok. 1,35 mld tokenów wejściowych (91% z cache) i ok. 16 mln wyjściowych.

Jak wyglądała ta rozgrywka?

Role agenci rozdzielili sami, już po ok. 10 minutach. Jeden (janesick) zajął się przetapianiem i narzędziami, znalazł fortecę w Netherze i namierzył twierdzę. Drugi (gyldenia) zbierał jedzenie i zapasy, trzeci (auratian) zbudował portal do Netheru, a czwarty (bulicame) szukał diamentów i zadał smokowi ostatni cios.

Oś czasu według autorów:

1. 1 h 42 min: zapalony portal do Netheru, a w ciągu 2 godzin także żelazne narzędzia i diamenty.
2. ok. 10 h 45 min: położenie twierdzy wyznaczone z dwóch rzutów Okiem Kresu. Szacunek był tylko 43 metry od sali z portalem.
3. 13 h 17 min: zapalony portal do Endu.

A potem zaczęła się prawdziwa męka. Walka w Endzie trwała prawie 14 godzin. Dopiero po ok. 21 godzinach gry agenci zrozumieli, że smoka leczą kryształy na filarach. Zniszczenie wszystkich dziesięciu zajęło im 4 godziny i 40 minut, a smok padł 39 minut po ostatnim krysztale (Minecraft jednak nie jest taki prosty ;)).

Ile to kosztowało?

Autorzy szacują koszt czterech graczy na ok. 520 USD według promocyjnego cennika Gemini 4 Argon albo 1040 USD według standardowego. Cała sesja, łącznie z piątym agentem w roli obserwatora, to ok. 810 USD (1620 USD standardowo). To szacunki z cenników, a nie realne koszty serwerów Google.

Ten obserwator w ogóle nie grał. Pilnował, czy gracze nie oszukują albo nie „hakują” zadania (tzw. „specification gaming”), i niczego takiego nie zgłosił. Badacze mieli też podgląd na żywo i mogli zatrzymać przebieg.

Czy jest jakiś haczyk?

Jest kilka, i autorzy sami je wymieniają:

1. Mineflayer daje agentom wiedzę, której człowiek nie ma, np. o blokach i stworzeniach za ścianą. Do tego wtyczka do wyznaczania tras planuje drogę za nich.
2. Poziom Easy, a nie Normal czy Hard.
3. Jeden przebieg, więc nie wiadomo, jak powtarzalny jest ten wynik.
4. Model zna Minecrafta z danych treningowych, więc wiedza o grze nie wzięła się znikąd.

Według The Next Web wcześniej były już dwa społecznościowe projekty, w których AI pokonało smoka, ale korzystały z narzędzi napisanych pod tę grę albo ze stałego, łatwiejszego świata. W pracy wymienione są AI Bengineering (jeden agent z 37 gotowymi narzędziami) i Malde (planer na stałym seedzie do speedrunów w trybie Peaceful).

Dla mnie najciekawsze w tym wyniku nie jest sam Minecraft, tylko to, że agenci utrzymali spójny plan przez tysiące zależnych od siebie kroków i ponad dobę pracy. Według The Next Web Faldor napisał na X, że DeepMind chce użyć tego samego układu do programowania, nauki i robotyki.

Czy możemy to powtórzyć?

Nie w całości. W pracy nie ma informacji o udostępnieniu kodu ani logów agentów. Same klocki są jednak dostępne: Mineflayer jest open source, a Gemini 4 Argon od 13 października jest dostępny dla płacących użytkowników aplikacji Gemini i przez API (2 USD za milion tokenów wejściowych i 10 USD za milion wyjściowych w promocji startowej, potem 4 i 20 USD).

Jeśli chcemy poczuć, jak pracują agenci piszący kod w pętli, prościej zacząć od Claude Code albo od DeepSeeka za darmo w OpenCode.

FAQ

Czy AI naprawdę przeszło Minecrafta samo?

Tak, w jednym przebiegu: od losowego świata do pokonania Ender Dragona, bez wskazówek od ludzi. Ale na poziomie Easy i z biblioteką Mineflayer, która podaje agentom więcej informacji, niż widzi gracz.

Ile trwało przejście Minecrafta przez agentów Gemini?

27 godzin i 14 minut od pierwszego programu do zwycięstwa, z czego prawie 14 godzin zajęła walka w Endzie.

Czy agenci Gemini widzieli ekran gry?

Nie. Sterowali postaciami, pisząc programy w JavaScripcie, i czytali wyniki w formie tekstu.