KI-Selbstverbesserung steht bevor? Anthropic warnt im Börsenprospekt

Am 2. November hat Anthropic bei der SEC einen geänderten Börsenprospekt S-1/A eingereicht und in den Risikofaktoren geschrieben, dass KI-Selbstverbesserung näher sein könnte als gedacht. Nach internen Schätzungen und den Erwartungen an künftige Modelle könnte Anthropic jederzeit die Schwelle erreichen, die die eigene Sicherheitsrichtlinie mit der Selbstverbesserung von KI verknüpft. Darauf hat TechCrunch aufmerksam gemacht.

Was genau schreibt Anthropic?

Die zentrale Passage besagt, dass das Unternehmen „möglicherweise bald“ die Definition aus seiner Responsible Scaling Policy (RSP) erfüllt, also einen „dramatisch beschleunigten Fortschritt, der der KI zuzuschreiben ist“ (im Original „dramatically accelerated progress attributable to AI“). Gleich danach folgen einige Einschränkungen:

1. keines der aktuellen Modelle wurde als über dieser Schwelle liegend eingestuft, und das Unternehmen wertet die Daten noch aus,
2. die Einschätzung betrifft künftige Modelle, nicht die, die wir heute nutzen,
3. Anthropic räumt ein, dass die Belege für die Beschleunigung vor allem nachlaufende Indikatoren sind, das Unternehmen hat Tempoänderungen in der Vergangenheit also erst im Nachhinein bemerkt, und das könnte sich wiederholen,
4. das Unternehmen kündigt weitere Berichte an, wie es die RSP vorsieht.

An anderer Stelle im Prospekt heißt es, Anthropic erwarte nicht, Claude sicher erlauben zu können, künftige Modellgenerationen vollständig autonom zu entwerfen und zu bauen, „ohne nennenswerte menschliche Aufsicht oder menschliches Verständnis“. Deshalb erwägt das Unternehmen Änderungen an der RSP, die Menschen die Kontrolle über die Modellentwicklung sichern sollen. Welche Änderungen das sind, ist noch nicht bekannt.

Was ist KI-Selbstverbesserung?

Gemeint ist die sogenannte „rekursive Selbstverbesserung“ (RSI, recursive self-improvement): eine Situation, in der KI einen so großen Teil der Arbeit am nächsten Modell übernimmt, dass jede Generation die Entstehung der nächsten beschleunigt. Der Prospekt verwendet diesen Begriff ausdrücklich und nennt das Bauen besserer KI mithilfe von KI ein „ernstes Sicherheitsrisiko“, besonders wenn es das Tempo des Fortschritts stark erhöht.

In der RSP heißt diese Schwelle „Automatisierung von KI-Forschung und -Entwicklung“. Laut der Änderungshistorie der RSP nannte Anthropic in Version 3.1 vom April ein Beispiel für die Größenordnung: zwei Jahre KI-Fortschritt aus dem Zeitraum 2018–2024 in einem einzigen Jahr, wobei es um das Entwicklungstempo der KI-Fähigkeiten insgesamt geht, nicht um die Produktivität einzelner Forschender. Im Juli, in Version 3.4, hat das Unternehmen diese Schwelle weiter präzisiert.

Wie sehr baut Claude schon Claude?

Sehr. Zahlen aus demselben Prospekt:

1. im September 2026 schrieb Claude mehr als 90 % der Codeänderungen bei Anthropic,
2. im dritten Quartal 2026 lieferte ein durchschnittlicher Engineer pro Tag mehr als 45-mal so viel Code wie 2024,
3. bei internen Engineering-Aufgaben ohne klare Spezifikation stieg Claudes Erfolgsquote im September auf etwa 90 %, ein Plus von rund 50 Prozentpunkten in neun Monaten (laut internen Benchmarks des Unternehmens),
4. der Wert der internen Claude-Nutzung zu Listenpreisen stieg zwischen Januar und September 2026 um mehr als das 250-Fache und übertraf im April erstmals die monatlichen Personalkosten des Unternehmens (ohne aktienbasierte Vergütung).

Anders gesagt: Die Tokens, die Anthropic selbst verbraucht, sind zu Listenpreisen mehr wert als alle Gehälter im Unternehmen. Im Prospekt heißt es, jede Claude-Version helfe beim Bau der nächsten, und die für den internen Gebrauch reservierte Rechenleistung beschleunige das Entwicklungstempo „kontinuierlich“.

Ist das neu in der KI-Welt?

Das Thema an sich nicht. Im Juni veröffentlichte Anthropic den Essay „When AI builds itself“, in dem es hieß, im Mai stammten über 80 % des im Unternehmen gemergten Codes von Claude, zur Selbstverbesserung sei es aber noch nicht gekommen („We are not there yet“). Dort schlug Anthropic auch die Option vor, die Modellentwicklung zu verlangsamen oder vorübergehend zu pausieren, sofern andere Labore dasselbe auf überprüfbare Weise tun.

Neu ist, wo und wie es diesmal formuliert wurde. Es ist kein Essay, sondern ein bei der SEC eingereichter Prospekt, und aus „noch nicht“ wurde „wir könnten jederzeit“. Interessant: Zur selben Zeit zeigen andere Labore, wie Modelle anfangen, an anderen Modellen herumzuschrauben. Gestern habe ich darüber geschrieben, wie GPT-6 Astra die Gewichte von Qwen repariert hat, und davor über Recursive Flint, an dessen Entwicklung laut Hersteller ein automatisiertes Forschungssystem mitgewirkt hat.

Worauf sollte man achten?

Erstens auf den Kontext. Es handelt sich um einen Risikofaktor in einem Prospekt vor dem Börsengang, und wie TechCrunch anmerkt, halten Skeptiker den S-1 zum Teil für Marketingmaterial. Parallel bekam auf Hacker News ein Text von Matt Scherer vom Open Markets Institute viel Aufmerksamkeit, der die SEC auffordert, den Börsengang von Anthropic zu stoppen, unter anderem wegen ungeprüfter Zahlen für 2026. Über die Zahlen aus dem Prospekt selbst habe ich beim Umsatz von Anthropic im dritten Quartal geschrieben.

Zweitens auf die Änderungen an der RSP. Die Ankündigung, dass Menschen die Kontrolle über die Modellentwicklung behalten sollen, klingt gut, aber Konkretes gibt es noch nicht. Es lohnt sich zu beobachten, ob die neuen Regeln tatsächlich etwas begrenzen oder nur beschreiben, was ohnehin schon passiert.

Drittens auf das Eingeständnis eines blinden Flecks. Das Unternehmen schreibt selbst, dass es eine Beschleunigung womöglich erst im Nachhinein bemerkt. Für uns bedeutet das schnellere neue Modelle (was natürlich erfreulich ist), aber auch das Risiko, dass die Schutzmaßnahmen mit den Fähigkeiten nicht Schritt halten.

FAQ

Verbessert sich Claude schon selbst?

Nicht im Sinne vollständiger Selbstverbesserung. Laut Prospekt hat kein aktuelles Modell die RSP-Schwelle überschritten, obwohl Claude bereits mehr als 90 % der Codeänderungen bei Anthropic schreibt und beim Bau der nächsten Versionen hilft.

Was ist RSI bei KI?

RSI (recursive self-improvement) ist die rekursive Selbstverbesserung von KI: ein Modell, das den Bau seines Nachfolgers beschleunigt, der wiederum den Bau des nächsten noch stärker beschleunigt.

Was ist die Responsible Scaling Policy?

Die Richtlinie von Anthropic, die Fähigkeitsschwellen von Modellen und die nach ihrem Überschreiten nötigen Schutzmaßnahmen festlegt. Eine dieser Schwellen ist die Automatisierung von KI-Forschung und -Entwicklung, um die es im Prospekt geht.

Wann überschreitet Anthropic diese Schwelle?

Das sagt das Unternehmen nicht. Im Prospekt steht nur, dass es „bald“ (im Original „imminently“) passieren könnte und dass Anthropic gemäß der RSP weitere Berichte veröffentlichen wird.