Gemini dans Minecraft : 4 agents IA battent l'Ender Dragon

Maxence Faldor, Satinder Singh et Roberta Raileanu, de Google DeepMind, décrivent dans un article sur arXiv comment quatre agents basés sur Gemini 4 Argon ont terminé Minecraft : d’un monde aléatoire en mode survie jusqu’à la victoire contre l’Ender Dragon. Gemini dans Minecraft y a mis 27 heures et 14 minutes, sans la moindre aide humaine. L’article est paru sur arXiv le 15 octobre, et depuis le 19 octobre The Next Web en parle, tout comme le X de l’IA.

Qu’ont fait exactement les agents Gemini dans Minecraft ?

Les auteurs écrivent qu’il s’agit, à leur connaissance, de « the first end-to-end autonomous completion of Minecraft by AI agents ». Les conditions de départ étaient honnêtes : Minecraft Java Edition 1.20.4, un monde généré aléatoirement, difficulté Easy, commandes désactivées, et un seul objectif : vaincre le dragon. Personne n’a attribué de rôles ni écrit d’outils spécifiques au jeu pour les agents.

Fait intéressant, les agents ne voyaient pas du tout l’écran. Chacun pilotait son personnage via Mineflayer, une bibliothèque open source pour bots Minecraft. Pour agir, un agent écrivait un court programme en JavaScript, puis lisait le résultat : position, santé, inventaire ou erreur. Ce sont donc en réalité des agents de code qui jouent avec du code.

Quelques chiffres tirés de l’article :

1. 2 783 programmes écrits avant la victoire, dont 22 % se sont terminés par une erreur.
2. 229 messages dans le chat du jeu, par lequel les agents se coordonnaient (avec en plus une mémoire partagée).
3. 605 morts, dont 69 dans l’End.
4. Environ 1,35 milliard de tokens en entrée (91 % depuis le cache) et environ 16 millions en sortie.

Comment s’est déroulée la partie ?

Les agents se sont répartis les rôles eux-mêmes, au bout d’environ 10 minutes. Le premier (janesick) s’est chargé de la fonte et des outils, a trouvé une forteresse du Nether et localisé le fort de l’End. Le deuxième (gyldenia) a rassemblé nourriture et provisions, le troisième (auratian) a construit le portail du Nether, et le quatrième (bulicame) a cherché des diamants et porté le coup final au dragon.

La chronologie selon les auteurs :

1. 1 h 42 min : portail du Nether allumé, et en moins de 2 heures, outils en fer et diamants aussi.
2. environ 10 h 45 min : position du fort déterminée à partir de deux lancers d’Œil de l’Ender. L’estimation n’était qu’à 43 mètres de la salle du portail.
3. 13 h 17 min : portail de l’End activé.

Et c’est là que le vrai calvaire a commencé. Le combat dans l’End a duré près de 14 heures. Ce n’est qu’après environ 21 heures de jeu que les agents ont compris que les cristaux au sommet des piliers soignaient le dragon. Détruire les dix leur a pris 4 heures et 40 minutes, et le dragon est tombé 39 minutes après le dernier cristal (Minecraft n’est finalement pas si simple ;)).

Combien ça a coûté ?

Les auteurs estiment le coût des quatre joueurs à environ 520 USD au tarif promotionnel de Gemini 4 Argon, ou 1 040 USD au tarif standard. La session complète, y compris un cinquième agent dans le rôle d’observateur, revient à environ 810 USD (1 620 USD au tarif standard). Ce sont des estimations tirées de la grille tarifaire, pas les coûts réels des serveurs de Google.

Cet observateur n’a pas joué du tout. Il vérifiait que les joueurs ne trichaient pas et ne « hackaient » pas la tâche (ce qu’on appelle le « specification gaming »), et n’a rien signalé de tel. Les chercheurs avaient aussi une vue en direct et pouvaient arrêter la partie.

Y a-t-il un piège ?

Il y en a quelques-uns, et les auteurs les citent eux-mêmes :

1. Mineflayer donne aux agents des informations qu’un humain n’a pas, par exemple sur les blocs et les créatures derrière un mur. En plus, un plugin de recherche de chemin planifie les trajets à leur place.
2. Difficulté Easy, pas Normal ni Hard.
3. Une seule partie, donc on ne sait pas à quel point le résultat est reproductible.
4. Le modèle connaît Minecraft grâce à ses données d’entraînement, donc sa connaissance du jeu ne sort pas de nulle part.

Selon The Next Web, deux projets communautaires avaient déjà vu une IA vaincre le dragon, mais ils s’appuyaient sur des outils écrits pour ce jeu ou sur un monde fixe et plus facile. L’article cite AI Bengineering (un agent avec 37 outils prêts à l’emploi) et Malde (un planificateur sur une seed fixe de speedrun en mode Peaceful).

Pour moi, le plus intéressant dans ce résultat n’est pas Minecraft en soi, mais le fait que les agents ont tenu un plan cohérent sur des milliers d’étapes interdépendantes et plus d’une journée de travail. Selon The Next Web, Faldor a écrit sur X que DeepMind veut utiliser la même configuration pour la programmation, la science et la robotique.

Peut-on le reproduire ?

Pas entièrement. L’article ne dit rien d’une publication du code ou des logs des agents. Les briques sont toutefois disponibles : Mineflayer est open source, et Gemini 4 Argon est accessible depuis le 13 octobre aux utilisateurs payants de l’app Gemini et via l’API (2 USD par million de tokens en entrée et 10 USD par million en sortie pendant la promotion de lancement, puis 4 et 20 USD).

Si l’on veut se faire une idée du fonctionnement des agents qui écrivent du code en boucle, le plus simple est de commencer par Claude Code ou par DeepSeek gratuit dans OpenCode.

FAQ

Une IA a-t-elle vraiment terminé Minecraft toute seule ?

Oui, en une seule partie : d’un monde aléatoire jusqu’à la victoire contre l’Ender Dragon, sans indications humaines. Mais en difficulté Easy et avec la bibliothèque Mineflayer, qui donne aux agents plus d’informations qu’un joueur n’en voit.

Combien de temps les agents Gemini ont-ils mis pour terminer Minecraft ?

27 heures et 14 minutes entre le premier programme et la victoire, dont près de 14 heures de combat dans l’End.

Les agents Gemini voyaient-ils l’écran du jeu ?

Non. Ils pilotaient leurs personnages en écrivant des programmes en JavaScript et lisaient les résultats sous forme de texte.