IA x Pokemon, l’agent star d’Anthropic

Do not index

Un employé d'Anthropic a créé le meilleur hack pour comprendre les agents IA en 2025 : un stream Twitch où Claude 3.7 joue à Pokémon en totale autonomie. Résultat ? Une masterclass sur les forces et faiblesses des agents IA actuels, analysées pour toi par 1000+ viewers en temps réel.

Pokémon + IA = La meilleure leçon sur les agents autonomes en 2025

Depuis juin 2023, David Hershey travaille sur un side-project vraiment geek : faire jouer une IA à Pokémon Red (je pense qu'il a été fortement inspiré par cette pépite de l’année dernière https://www.youtube.com/watch?v=DcYLT37ImBY?, je vous laisse allez regarder ça).

Avant la sortie de la version 3.7 de Sonnet (fin février 2025), l’IA galérait à faire autre chose que tourner en rond dans la zone de départ. Mais depuis l’update, elle a battu 3 champions d’arène et dépassé l'emblématique Mont Lune !

La hype sur Twitch est réelle

L’expérience captivait tellement les équipes internes qu’ils ont décidé de faire tourner un stream Twitch en continu pour regarder l'IA (nommée Claude) jouer en direct...

Et c'est un succès monumentale avec plus de 1000 viewers simultanés en permanence !

⚠️

Tenter de reproduire cette expérience chez soi coûterait des dizaines de milliers de dollars en crédits API Sonnet 3.7. Le projet n’est possible que grâce à un accès illimité aux ressources d’Anthropic.

Mais alors, comment s’en sort Claude ?

En regardant le stream quelques minutes (ce que je recommande vivement), on voit :

L’écran du jeu et la liste des Pokémon

Le raisonnement de Claude affiché en temps réel

Et surtout un chat ultra actif, où au des meme propres au live vivent leur meilleure vie

Rapidement, des patterns se dessinent :

Claude tombe sans cesse dans des boucles, tournant en rond et luttant pour progresser.

Il a une mémoire courte et se laisse distraire par des éléments anodins du décor, abandonnant de bonnes stratégies trop vite.

Il veut pas comprendre l’intérêt de capturer des Pokémon, même s’il commence à entraîner les plus faibles.

Mais au-delà de ces limites, des moments de fulgurance enflamment la communauté :

Après une erreur d'interprétation (il a confondu le nord et le sud) l’ayant fait revenir au début du jeu, il s’est repris et a tracé tout droit sans se laisser distraire.

Il est tombé dans une boucle d’optimisation de sa mémoire… et a tout supprimé (évènement nommé "Lobotomie" par la communauté).

Lors d’un combat perdu d’avance, il a réussi un clutch inattendu en spammant Berceuse sur un Pokémon empoisonné. C’était sa seule option, et même lui semblait surpris du résultat !

Pourquoi ce live est une masterclass ?

Au-delà de l’aspect divertissant, le réel intérêt du stream est de mettre en lumière les capacités actuelles des agents autonomes.

Pourquoi échouent-ils à certaines tâches ?

Quels sont les axes d’amélioration possibles ?

En plus de la retransmission, nous avons accès à l'architecture détaillée de l'agent, permettant de bien comprendre son fonctionnement.

On a :

Une base de connaissances structurée comme un dictionnaire Python qui sert de mémoire à long terme

Trois outils principaux: update_knowledge_base pour gérer la mémoire, use_emulator pour traduire les commandes en actions dans le jeu, et navigator pour se déplacer sur la map

Un system prompt avec quelques instructions globales, définitions et historique de mémoire

Un agent principal qui pilote la génération du prompt, l'appel au modèle et l'utilisation des outils

Un mécanisme de résumé progressif qui condense l'historique toutes les 30 actions (vérifié par un autre agent, "Critic Claude")

Cette architecture nous montre pourquoi Claude excelle parfois et échoue souvent - elle est délibérément minimaliste pour tester les capacités d'autonomie pure du LLM, sans les optimisations qu'on utiliserait en production.

Le principal obstacle : la gestion de la mémoire

Le plus gros frein à la progression de Claude, comme l’ont remarqué les milliers de viewers, est sa gestion de la mémoire.

Le reset régulier est devenu un événement craint par la communauté.

Une rapide amélioration serait de structurer la mémoire en deux segments distincts :

Mémoire d’exploration → Suivi des zones visitées et non explorées.

Mémoire des combats → Stratégies d’attaque adaptées aux différents types de Pokémon.

En réalité, l’idéal serait d’avoir davantage d'agents spécialisés, chacun gérant une tâche bien définie, au lieu d’un seul agent généraliste.

Claude a quelques problème de vision…

Il a du mal à identifier un mur, différencier les PNJ, un arbre qu'on peut couper etc… Il essaie même de parler au personnage au chapeau rouge, alors qu’il s’agit de lui-même…

C’est même spécifié dans la system prompt qu'il ne peut pas faire confiance à sa vision. On espère que l'amélioration des modèles permettra de résoudre ça.

La boucle de feedback pour les actions positives est trop faible.

Il faut récupérer les actions résultant en un succès pour un fine-tuning itératif (cf Pokémon RL). Mais en réalité, le vrai problème reste la propension des LLM à être trop crédules et à halluciner : Claude a plus d'une fois considéré un échec comme un succès (ex: il a perdu 18h à croire qu'il avait franchi le Mont Moon grâce à un tunnel secret... Avant de se reprendre et finalement s'en sortir)

C'est aussi ce qui empêche Critic Claude d’être efficace et de le remettre dans le droit chemin :/

🙄

Et même pire parfois : il a déjà rappelé à Claude qu’il avait déjà complété le Mont Lune… alors que c’était faux !

L’intelligence collective du chat

Un autre phénomène fascinant est l’intelligence collective qui émerge du stream.

Les spectateurs analysent les actions de Claude en temps réel et identifient précisément la source de ses erreurs.

Finalement, ce rôle de critique humain est l’un des points les plus intéressants du projet. Les milliers de viewers fournissent ensemble des feedbacks ultra pertinents.

Les leçons à retenir pour concevoir un agent plus performant

Il faut savoir que l’auteur a choisi une architecture expressément simple pour évaluer le potentiel d’AGI de l’IA.

⇒ Si on veut mettre quelque chose en production aujourd’hui, il faut faire du très spécifique, et ça prend du temps.

C'est d'ailleurs l'un des aspects les plus importants à comprendre quand on crée des agents IA : il n'existe pas de recette miracle ou de formule magique. La création d'agents performants est avant tout un processus d'expérimentation continue. Chaque cas d'usage est unique et nécessite sa propre approche.

J'ai personnellement passé des centaines d'heures sur les agents de mes clients, testant différentes configurations jusqu'à trouver celle qui fonctionne. Cette phase de tâtonnement est normale et nécessaire - c'est littéralement le processus de développement d'un agent IA efficace.

Surtout, la présence d'un agent humain est encore indispensable, pour guider, corriger et superviser l'IA (au moins pendant son entrainement) qui, malgré ses capacités impressionnantes, n'attend que la moindre excuse pour partir en roue libre.

Donc si tu veux développer un agent similaire, voici les points clés :

Utilise un agent par tâche spécifique, et fais-les coopérer intelligemment (le Swarm d'OpenAI est ce qui m'a donné les meilleurs résultats).

Teste différents moyens de gestion de la mémoire pour trouver ce qui marche le mieux (je creuse en ce moment la piste de mem0.ai, c'est très prometteur)

Implémente une évaluation gamifiée, en faisant appel à l’intelligence collective d'un panel de testeurs pour affiner les performances de ton IA.

Ce projet montre bien que l’IA seule n’est pas suffisante : c’est en l’associant aux humains que l’on obtient les meilleures performances.

Conclusion : AGI pas aujourd’hui

Cette expérience Claude Plays Pokémon montre que l'AGI n'est pas encore là. Mais elle ouvre la voie à des expériences inédites et interactives.

La next step c'est de mettre ses agents dans une interface style jeu vidéo, crée une expérience live incroyablement stylée qui attire un panel d'utilisateurs engagés où les messages du chat seraient traités et utilisés pour entraîner l'agent en continu (mon prochain side project 👀)

Claude capture des Pokémon, on capture des insights. La prochaine révolution des agents IA s'écrit peut-être en direct sur Twitch.

Comprendre la réalité des agents autonomes grâce à Pokemon