Gemini Minecraft: 4 KI-Agenten besiegen den Enderdrachen

Maxence Faldor, Satinder Singh und Roberta Raileanu von Google DeepMind beschreiben in einem Paper auf arXiv, wie vier Agenten auf Basis von Gemini 4 Argon Minecraft durchgespielt haben: von einer zufälligen Überlebenswelt bis zum besiegten Enderdrachen. Gemini in Minecraft brauchte dafür 27 Stunden und 14 Minuten, ganz ohne menschliche Hilfe. Das Paper erschien am 15. Oktober auf arXiv, seit dem 19. Oktober berichten unter anderem The Next Web und das KI-X darüber.

Was genau haben die Gemini-Agenten in Minecraft gemacht?

Die Autoren schreiben, es sei nach ihrem Wissen „the first end-to-end autonomous completion of Minecraft by AI agents“. Die Startbedingungen waren fair: Minecraft Java Edition 1.20.4, eine zufällig generierte Welt, Schwierigkeit Easy, Befehle deaktiviert, und das einzige Ziel: den Drachen besiegen. Niemand hat Rollen verteilt oder den Agenten spielspezifische Tools geschrieben.

Interessanterweise haben die Agenten den Bildschirm überhaupt nicht gesehen. Jeder steuerte seine Figur über Mineflayer, eine Open-Source-Bibliothek für Minecraft-Bots. Um etwas zu tun, schrieb ein Agent ein kurzes JavaScript-Programm und las dann das Ergebnis: Position, Gesundheit, Inventar oder einen Fehler. Eigentlich sind das also Coding-Agenten, die mit Code spielen.

Ein paar Zahlen aus dem Paper:

1. 2.783 Programme bis zum Sieg, davon endeten 22 % mit einem Fehler.
2. 229 Nachrichten im Ingame-Chat, über den sich die Agenten abstimmten (dazu ein gemeinsamer Speicher).
3. 605 Tode, davon 69 im End.
4. Rund 1,35 Mrd. Input-Tokens (91 % aus dem Cache) und rund 16 Mio. Output-Tokens.

Wie lief das Spiel ab?

Die Rollen verteilten die Agenten selbst, schon nach etwa 10 Minuten. Einer (janesick) kümmerte sich ums Schmelzen und um Werkzeuge, fand eine Netherfestung und ortete die Festung mit dem Endportal. Der zweite (gyldenia) sammelte Nahrung und Vorräte, der dritte (auratian) baute das Netherportal, und der vierte (bulicame) suchte Diamanten und versetzte dem Drachen den letzten Schlag.

Die Zeitleiste laut den Autoren:

1. 1 h 42 min: Netherportal entzündet, innerhalb von 2 Stunden außerdem Eisenwerkzeuge und Diamanten.
2. ca. 10 h 45 min: Lage der Festung aus zwei Würfen mit dem Enderauge bestimmt. Die Schätzung lag nur 43 Meter neben dem Portalraum.
3. 13 h 17 min: Endportal aktiviert.

Und dann begann die eigentliche Quälerei. Der Kampf im End dauerte fast 14 Stunden. Erst nach rund 21 Stunden Spielzeit begriffen die Agenten, dass die Kristalle auf den Säulen den Drachen heilen. Alle zehn zu zerstören kostete sie 4 Stunden und 40 Minuten, und der Drache fiel 39 Minuten nach dem letzten Kristall (Minecraft ist eben doch nicht so einfach ;)).

Was hat das gekostet?

Die Autoren schätzen die Kosten der vier Spieler auf rund 520 USD nach dem Aktionspreis von Gemini 4 Argon oder 1.040 USD nach dem Standardpreis. Die ganze Sitzung, inklusive eines fünften Agenten als Beobachter, kam auf rund 810 USD (1.620 USD zum Standardpreis). Das sind Schätzungen anhand der Preisliste, nicht die tatsächlichen Serverkosten von Google.

Dieser Beobachter hat gar nicht mitgespielt. Er achtete darauf, ob die Spieler schummeln oder die Aufgabe „hacken“ (sog. „specification gaming“), und meldete nichts dergleichen. Die Forscher hatten außerdem eine Live-Ansicht und konnten den Lauf stoppen.

Gibt es einen Haken?

Ein paar, und die Autoren nennen sie selbst:

1. Mineflayer gibt den Agenten Wissen, das ein Mensch nicht hat, z. B. über Blöcke und Kreaturen hinter einer Wand. Dazu plant ein Pathfinding-Plugin die Wege für sie.
2. Schwierigkeit Easy, nicht Normal oder Hard.
3. Ein einziger Durchlauf, also ist unklar, wie reproduzierbar das Ergebnis ist.
4. Das Modell kennt Minecraft aus den Trainingsdaten, das Spielwissen kam also nicht aus dem Nichts.

Laut The Next Web gab es schon zwei Community-Projekte, in denen eine KI den Drachen besiegt hat, allerdings mit Tools, die speziell für dieses Spiel geschrieben wurden, oder mit einer festen, leichteren Welt. Im Paper werden AI Bengineering (ein Agent mit 37 fertigen Tools) und Malde (ein Planer auf einem festen Speedrun-Seed im Modus Peaceful) genannt.

Für mich ist das Spannendste an diesem Ergebnis nicht Minecraft selbst, sondern dass die Agenten über Tausende voneinander abhängige Schritte und mehr als einen Tag Arbeit einen stimmigen Plan durchgehalten haben. Laut The Next Web schrieb Faldor auf X, DeepMind wolle denselben Aufbau für Programmierung, Wissenschaft und Robotik nutzen.

Können wir das nachmachen?

Nicht komplett. Im Paper steht nichts über eine Veröffentlichung des Codes oder der Agenten-Logs. Die Bausteine gibt es aber: Mineflayer ist Open Source, und Gemini 4 Argon ist seit dem 13. Oktober für zahlende Nutzer der Gemini-App und über die API verfügbar (2 USD pro Million Input-Tokens und 10 USD pro Million Output-Tokens im Startangebot, danach 4 und 20 USD).

Wenn wir ein Gefühl dafür bekommen wollen, wie Agenten arbeiten, die in einer Schleife Code schreiben, ist der einfachere Einstieg Claude Code oder DeepSeek kostenlos in OpenCode.

FAQ

Hat eine KI Minecraft wirklich allein durchgespielt?

Ja, in einem Durchlauf: von einer zufälligen Welt bis zum besiegten Enderdrachen, ohne Hinweise von Menschen. Allerdings auf Easy und mit der Bibliothek Mineflayer, die den Agenten mehr Informationen liefert, als ein Spieler sieht.

Wie lange brauchten die Gemini-Agenten für Minecraft?

27 Stunden und 14 Minuten vom ersten Programm bis zum Sieg, davon fast 14 Stunden für den Kampf im End.

Haben die Gemini-Agenten den Bildschirm gesehen?

Nein. Sie steuerten ihre Figuren, indem sie JavaScript-Programme schrieben, und lasen die Ergebnisse als Text.