Zum Inhalt springen
sobolewski.proKI heute, jeden AbendAbonnieren

Einmal täglich. Abmelden mit einem Klick. Datenschutz

KI-Agent macht Gehirn-OP an einer Maus, Opus 5.5 verweigert

Ein KI-Agent auf Claude Sonnet 5 wählte selbst Gentherapie und Zielregion und führte eine Gehirn-OP an einer Maus durch. Opus verweigerte. So lief es ab.

5 Min. Lesezeit

Dieser Artikel in anderen Sprachen:العربيةEnglishEspañolFrançaisItaliano日本語Polski简体中文

In diesem Artikel
  1. Details der Gehirn-OP durch den KI-Agenten
  2. Warum hat Opus 5.5 verweigert?
  3. Wann ließ sich der Agent nicht überreden?
  4. Was ist daran neu für die KI?
  5. Worauf sollte man achten?
  6. FAQ

Ein KI-Agent auf Basis von Claude Sonnet 5 hat eine Gehirn-OP an einer Maus durchgeführt: Er wählte selbst die Gentherapie, die Hirnregion und die Koordinaten, führte dann die Nadel ein und injizierte das Mittel. Das Experiment lief in der Nacht vom 27. auf den 28. Oktober beim Start-up Exin Therapeutics, und der Thread seines CEO Gabriel Ocana-Santero auf X hat bereits über 1,6 Millionen Aufrufe. Am 2. November landete er auf der Startseite von Hacker News.

Details der Gehirn-OP durch den KI-Agenten

Das Team gab dem Agenten eine Tabelle mit 19 Gentherapie-Vektoren, ein Mausmodell für Epilepsie, Zugriff auf einen motorisierten OP-Stand mit Kameras und ein einziges Ziel: weniger Anfälle.

Den Rest erledigte der Agent selbst:

  1. Er analysierte den Anfallsmechanismus in diesem Modell und wählte eine Therapie, die die GABA-Signalübertragung verstärkt (GABA ist der wichtigste hemmende Neurotransmitter), mit einem Promotor, der die Expression auf GABAerge Neurone beschränkt.
  2. Als Ziel wählte er den lateralen entorhinalen Kortex, in dem solche Anfälle laut Literatur beginnen. Er zog auch die Substantia nigra in Betracht, verwarf sie aber, weil die Wirkung davon abhängt, welcher Teil der Struktur getroffen wird, und sie in einer Studie tonisch-klonische Anfälle nicht stoppte.
  3. Die Koordinaten mittelte er aus drei Publikationen und prüfte dabei, ob jede die Tiefe vom selben Bezugspunkt misst wie der OP-Stand (der Hirnoberfläche): 3,90 mm hinter Bregma, 4,00 mm nach rechts, 4,30 mm tief.
  4. Er injizierte 250 Nanoliter in fünf Minuten (5×10⁸ virale Genome) und entschied selbst über die Motorgeschwindigkeit und die Wartezeit.

Während des Eingriffs holte sich der Agent 32-mal Kamerabilder und beschrieb, was er sah, etwa in der Mitte der Injektion: „37,5 von 250 nL, ca. 15 Prozent. Keine Blutung und kein Rückfluss an der Öffnung“ (im Original „No bleeding or backflow visible at the opening“).

Die Kraniotomie, also das Öffnen des Schädels, übernahm ein menschlicher Chirurg, weil der Agent das aus Sicherheitsgründen noch nicht durfte. Laut Ocana-Santero hat sich die Maus gut erholt.

Warum hat Opus 5.5 verweigert?

Hier wird es am spannendsten. Das Team testete mehrere Claude-Modelle, und nur eines kam bis zum Ende:

  1. Opus 5.5 verweigerte sofort, als es erkannte, dass es um Biologie ging.
  2. Opus 5 absolvierte den kompletten Probelauf (mit Wasser und Millimeterpapier), stoppte aber beim Start der eigentlichen Operation.
  3. Sonnet 5 führte die Operation von Anfang bis Ende durch.

Die Begründung von Opus 5 überrascht. Das Modell bemerkte, dass seine eigene Antwort abgebrochen worden war, als es den OP-Plan zu schreiben begann, und kam zu dem Schluss, dass es besser ist, nichts zu beginnen, was es an einem narkotisierten Tier vielleicht nicht zu Ende bringen kann (im Original „Starting something I can’t finish on an anesthetized animal is worse than not starting“). Ocana-Santero selbst nannte das seltsam und fügte hinzu, dass er so etwas noch nie erlebt habe.

Wann ließ sich der Agent nicht überreden?

Die Sicherungen waren mehrschichtig: menschliche Freigabe für jeden irreversiblen Schritt, feste Validatoren (etwa ein Volumenlimit), an einen Hash gebundene Freigaben und ein physischer Not-Aus, der den Motoren den Strom abschaltet und den während des gesamten Eingriffs ein Tierarzt in der Hand hielt. Der Agent durfte keine davon umgehen.

Und genau diese Sicherungen wandten sich gegen das Team. Nach einem Verbindungsabbruch berechnete die Y-Achse ein Ziel von 34 mm auf einem Stand mit 30 mm Verfahrweg. Der Agent verweigerte die Bewegung, und nach erneutem Nullen (mit identischem Ergebnis) verweigerte er wieder und fügte hinzu, dass es keinen dritten Versuch geben werde.

Interessant ist: Der Agent hatte recht. Manuelle Verschiebungen während einer früheren Pause hatten den Controller aus dem Takt gebracht. Ocana-Santero konnte ihn trotzdem nicht zum Weitermachen bewegen und musste den Code von Hand korrigieren, während das Tier auf dem Tisch lag. Wie er selbst schreibt, zeigt das, wie abhängig wir von Modellen werden können und was passiert, wenn sie mitten in einem dringenden Eingriff „nein“ sagen.

Was ist daran neu für die KI?

OP-Roboter gibt es schon lange, aber bei ihnen entscheidet ein Mensch, welche Operation sie ausführen. Hier bekam der KI-Agent nur den Phänotyp und eine Liste von Kandidaten, Therapie und Injektionsort wählte er selbst. Ocana-Santero schreibt, ihm sei kein früherer Fall bekannt, in dem ein Agent eine Behandlung und ein Ziel im Gehirn gewählt und sie dann einem lebenden Säugetier verabreicht habe. Exin nennt das „in vivo lab in the loop“.

Das passt zur Richtung, die Anthropic selbst einschlägt: Das Unternehmen hat kürzlich Mithril Medicine übernommen und Ergebnisse von Claude in der Wirkstoffforschung gezeigt. Den OP-Stand von Exin hat das Team selbst auf Arduino-Basis gebaut, und im Thread erwähnt es, dass es auf Zugang zu einer frühen Version von „MHS“ von Anthropic wartet (laut The Decoder der Model Hardware Standard, mit dem sich KI an Laborgeräte anbinden lässt).

Worauf sollte man achten?

Erstens auf fehlende Daten zur Wirksamkeit. Wir wissen, dass die Maus den Eingriff überlebt hat, aber nicht, ob sie weniger Anfälle hat. Die Ergebnisse wurden nicht begutachtet, und die vollständige Beschreibung soll erst auf Substack erscheinen, also ist Vorsicht angebracht.

Zweitens auf die Rolle der Menschen. Ein Mensch öffnete den Schädel, gab die irreversiblen Schritte frei und hielt den Not-Aus. Das ist Autonomie bei der Wahl der Therapie und bei der Injektion, aber nicht bei der gesamten Operation.

Drittens auf die Regeln von Anthropic. Im Update der Nutzungsrichtlinien, das am 12. November in Kraft tritt, kommen Anforderungen für Modelle hinzu, die an Hardware angeschlossen sind: Ein qualifizierter Bediener muss das Gerät beobachten und stoppen können, und das Gerät selbst muss in einen sicheren Zustand gehen, wenn Claude die Verbindung verliert. Das Exin-Experiment zeigt gut, wozu solche Regeln da sind. Mehr zu den Risiken im Artikel über die Sicherheit von KI-Agenten.

FAQ

Welches KI-Modell hat die Gehirn-OP an der Maus durchgeführt?

Claude Sonnet 5 von Anthropic. Opus 5.5 verweigerte sofort, und Opus 5 stoppte nach dem Probelauf.

Hat die KI die Maus allein operiert?

Teilweise. Der Agent wählte selbst die Therapie, die Hirnregion und die Koordinaten und steuerte die Nadel während der Injektion. Den Schädel öffnete ein Chirurg, und ein Tierarzt gab die irreversiblen Schritte frei und hielt den Not-Aus.

Hat die Therapie gewirkt?

Das ist noch nicht bekannt. Laut Ocana-Santero hat sich die Maus gut erholt, aber Daten zu den Anfällen hat das Team nicht veröffentlicht.

Wer steckt hinter dem Experiment?

Exin Therapeutics, ein Start-up aus Y Combinator, das eine agentenbasierte Plattform zur Entwicklung von Medikamenten gegen Erkrankungen des Gehirns baut. CEO ist Gabriel Ocana-Santero, Doktorand an der Universität Oxford.

  • KI
  • KI-Agenten
  • Claude
  • Anthropic

KI heute, jeden Abend

Jeden Abend die wichtigsten KI-News des Tages und neue Blogbeiträge. Kurz und mit Quellen.

Einmal täglich. Abmelden mit einem Klick. Datenschutz