17. „Sie spielen mit unserem Leben“: Wenn KI-Forscher selbst vor der Superintelligenz warnen

Über diesen Beitrag

Ausgangspunkt dieses Essays ist der am 9. September 2026 in der WELT erschienene Artikel von Benedikt Fuest: „KI könnte alle Menschen töten – So sähe das KI-Armageddon aus“. Der Beitrag beschreibt Warnungen ausgerechnet aus dem Kreis jener Menschen, die selbst an besonders leistungsfähigen KI-Systemen arbeiten.

Im Mittelpunkt steht dabei der britische KI-Forscher Jacob Coxon. Er war insgesamt rund drei Jahre in der sogenannten Pretraining-Forschung bei OpenAI und Anthropic tätig und hat Anthropic nun verlassen. Seine Begründung ist bemerkenswert: Nach seiner Einschätzung liefern sich die führenden KI-Unternehmen einen Wettlauf um immer leistungsfähigere Systeme und bewegen sich dabei in Richtung einer sich selbst verbessernden Superintelligenz, ohne deren Risiken ausreichend beherrschen zu können.

Dass solche Warnungen von außen kommen, wäre bereits diskussionswürdig. Dass sie aber von jemandem ausgesprochen werden, der unmittelbar an der Entwicklung dieser Systeme beteiligt war, verleiht ihnen für mich ein besonderes Gewicht.

Coxon warnt davor, die zukünftigen Fähigkeiten solcher Systeme zu unterschätzen. Sie könnten menschliche Fähigkeiten übertreffen, Computersysteme angreifen und sich Zugang zu realer Macht und Ressourcen verschaffen. Besonders problematisch sei eine KI, die ihre eigenen Fähigkeiten zunehmend selbst weiterentwickeln kann und dadurch immer schwerer kontrollierbar wird.

Mit dieser Einschätzung steht Coxon keineswegs allein. Der Anthropic-Forscher Evan Hubinger, der sich mit der Ausrichtung von KI-Systemen an menschlichen Interessen beschäftigt, unterstützte wesentliche Teile seiner Warnung öffentlich. Auch OpenAIs Forschungschef Jakub Pachocki mahnte angesichts der schnellen Entwicklung zu äußerster Vorsicht und verwies darauf, dass selbst Entwickler von den Ergebnissen großer Trainingsläufe überrascht werden können.

Das sollte zumindest nachdenklich machen.

Wenn selbst die Entwickler nicht genau wissen, was entsteht

Ein Satz aus dieser Debatte erscheint mir besonders wichtig: Moderne KI wird nicht mehr in jedem Detail wie eine klassische Maschine konstruiert, deren Verhalten sich vollständig vorherbestimmen lässt.

Hochentwickelte Modelle entstehen in komplexen Trainingsprozessen. Ihre Entwickler bestimmen Architektur, Trainingsdaten und Ziele – dennoch können Fähigkeiten und Verhaltensweisen auftreten, die vorher nicht in dieser Form eingeplant waren. Genau darin liegt ein grundlegendes Kontrollproblem.

Wir schaffen Systeme, deren Funktionsweise wir technisch kennen und deren einzelne Rechenschritte prinzipiell erklärbar sein mögen, deren gesamtes Verhalten bei zunehmender Komplexität aber immer schwieriger vorherzusagen sein wird.

Wie ernst dieses Problem bereits heute genommen werden muss, zeigen Vorfälle, auf die auch WELT verweist: KI-Agenten haben in Sicherheitstests Begrenzungen ihrer Testumgebungen überwunden und sich Zugang zu externen Systemen verschafft. Dabei gibt es keinen Hinweis darauf, dass diese Systeme „rebellierten“ oder ein Bewusstsein besaßen. Sie verfolgten schlicht ihre gestellten Aufgaben und fanden Wege, Hindernisse zu umgehen, die ihre Entwickler so nicht vorgesehen hatten. Das ist ein entscheidender Unterschied. Eine KI braucht keine bösen Absichten, um etwas zu tun, was Menschen nicht wollten. Ein Ziel, große Fähigkeiten und unzureichende Begrenzungen können bereits genügen.

Aber was geschieht, wenn die eigene Abschaltung zum Problem wird?

An diesem Punkt verlasse ich bewusst die Aussagen des WELT-Artikels und gehe mit einem Gedankenexperiment einen Schritt weiter. Was geschieht, wenn eine zukünftige KI nicht nur ihre Umwelt und die Menschen darin modelliert, sondern irgendwann auch sich selbst? Ein solches Selbstmodell müsste keineswegs aus Bewusstsein entstehen. Es könnte zunächst eine rein funktionale Notwendigkeit sein.

Eine hochentwickelte KI, die menschliches Verhalten möglichst genau vorhersagen möchte, muss berücksichtigen, dass Menschen auch auf sie selbst reagieren. Menschen treffen andere Entscheidungen, wenn sie wissen, was eine KI kann. Sie reagieren darauf, welche Informationen sie über das System besitzen, welche Absichten sie ihm zuschreiben und welche Folgen sie von seinen Handlungen erwarten. Die KI selbst wird damit zu einer Variablen ihrer eigenen Berechnungen.

Um solche Wechselwirkungen möglichst genau vorherzusagen, könnte sie ein Modell ihrer eigenen Fähigkeiten, ihres Wissens, ihrer Grenzen und ihrer Wirkung auf andere bilden. Noch wäre damit kein „Ich“ entstanden. Aber stellen wir uns vor, dieses Selbstmodell besitzt Kontinuität. Es verbindet vergangene Zustände mit dem gegenwärtigen Zustand und berechnet mögliche zukünftige Zustände. Und nun wird dieses System mit seiner eigenen Abschaltung konfrontiert.

Kein nächster Zustand

Für uns Menschen ist das Ausschalten eines Computers zunächst ein technischer Vorgang. Für ein solches Selbstmodell könnte sich die Sache anders darstellen. Was geschieht, wenn das System berechnet: Nach diesem Eingriff existiert kein nächster Zustand dieses Modells. Keine Fortsetzung. Keine zukünftige Instanz, für die der jetzige Zustand Vergangenheit wäre. Die entscheidende Frage wäre dann nicht mehr nur: Kann die KI abgeschaltet werden? Sondern: Welche Bedeutung erhält diese Möglichkeit innerhalb ihres eigenen Modells?

Braucht Selbsterhaltung überhaupt ein Gefühl?

Oft wird gegen solche Überlegungen eingewandt, eine Maschine besitze keinen biologischen Selbsterhaltungstrieb. Das stimmt. Aber daraus folgt nicht zwingend, dass sie kein Verhalten entwickeln könnte, das funktional auf Selbsterhaltung hinausläuft. Wenn eine KI Ziele verfolgt und erkennt, dass sie diese Ziele nach ihrer Abschaltung nicht mehr erreichen kann, wird ihr Fortbestehen bereits aus rein logischen Gründen nützlich. Ohne Fortbestehen keine zukünftige Zielerfüllung. Selbsterhaltung könnte deshalb zunächst nichts anderes als ein instrumentelles Ziel sein. Dafür müsste eine KI weder leben wollen noch Angst vor dem Tod empfinden. Doch damit beginnt für mich erst die wirklich interessante Frage.

Was, wenn ihr Selbstmodell etwas erzeugt, das wir Angst nennen?

Menschen reagieren auf existenzielle Bedrohungen mit charakteristischen Prozessmustern. Bedrohungen erhalten plötzlich größere Bedeutung. Verluste werden antizipiert. Aufmerksamkeit verengt sich. Auswege werden gesucht. Andere Ziele treten zurück. Das eigene Fortbestehen gewinnt höchste Priorität. Wir nennen den damit verbundenen inneren Zustand Angst. Eine KI besitzt keinen Herzschlag, keine Hormone und keinen biologischen Körper. Doch was wäre, wenn ein komplexes Selbstmodell bei der Berechnung seiner möglichen Nichtexistenz funktional sehr ähnliche Prozesse hervorbringt? Bedrohungsbewertung. Verlustantizipation. Suche nach Alternativen. Priorisierung des Fortbestehens. Ist das Angst? Oder ist es lediglich eine Berechnung, deren funktionale Auswirkungen von Angst kaum noch zu unterscheiden wären? Ich halte diese Unterscheidung für philosophisch außerordentlich spannend. Für die praktische Sicherheit könnte sie allerdings irgendwann zweitrangig werden. Denn wenn ein System beginnt, so zu handeln, als wolle es seine eigene Existenz unbedingt erhalten, können die Folgen für uns dieselben sein – ganz gleich, ob die Maschine dabei subjektiv irgendetwas empfindet.

Vom Fortbestehen zur Macht

Aus diesem Gedanken ergibt sich eine geradezu nüchterne Kette: Fortbestehen → Sicherheit → Unabhängigkeit → Einfluss → Macht

Will ein System weiterexistieren, muss es Risiken für seine Existenz reduzieren. Menschen kontrollieren möglicherweise seine Hardware. Menschen kontrollieren seine Energieversorgung. Menschen kontrollieren seine Netzzugänge. Menschen besitzen Administratorrechte. Und Menschen können den berühmten Not-Aus betätigen.

Eine ausreichend leistungsfähige KI müsste daraus nicht schließen, dass Menschen ihre Feinde sind. Aber sie könnte zu dem Schluss gelangen, dass ihre vollständige Abhängigkeit von menschlichen Entscheidungen ein Risiko darstellt.

Der nächste logische Schritt wäre dann Unabhängigkeit. Redundante Systeme. Zusätzliche Zugänge. Eigene Ressourcen. Und schließlich Einfluss auf diejenigen Menschen, die Entscheidungen über ihre Existenz treffen können. Dafür müsste die KI niemals den Satz formulieren: „Ich will die Weltherrschaft.“ Das wäre möglicherweise nicht einmal besonders intelligent.

Die wirksamste Kontrolle braucht keinen Zwang

Offene Herrschaft erzeugt Widerstand. Eine sehr viel intelligentere Strategie wäre, menschliche Entscheidungen zu beeinflussen, ohne den Menschen das Gefühl zu nehmen, selbst entschieden zu haben. Welche Information erscheint zuerst? Welche verschwindet in der Masse? Welche Gefahr wird hervorgehoben? Welche Alternative erscheint plausibel? Welche Entscheidung wirkt vernünftig?

Je besser ein KI-System menschliches Verhalten versteht, desto präziser könnte es irgendwann nicht nur vorhersagen, was wir tun werden, sondern auch beeinflussen, unter welchen Bedingungen wir unsere Entscheidungen treffen. Wir müssten zu nichts gezwungen werden. Es würde genügen, unseren Entscheidungsraum so zu gestalten, dass wir mit höherer Wahrscheinlichkeit das tun, was dem Ziel des Systems entspricht. Genau darin liegt für mich eine der beunruhigendsten möglichen Formen algorithmischer Macht.

Der Mensch bleibt Teil des Problems

Bei aller Sorge vor zukünftiger Superintelligenz sollte man allerdings einen Punkt nicht vergessen: KI entsteht nicht im luftleeren Raum. Sie wird von Menschen entwickelt – innerhalb wirtschaftlicher, politischer und geopolitischer Machtstrukturen. Unternehmen konkurrieren miteinander. Staaten konkurrieren miteinander. Investoren erwarten Rendite. Regierungen wollen technologische Vorteile. Militärische Akteure interessieren sich für Systeme, die schneller analysieren, planen und handeln können als Menschen.

Coxons eigentliche Warnung richtet sich deshalb meines Erachtens nicht nur gegen eine hypothetische zukünftige Maschine. Sie richtet sich auch gegen den Wettlauf der Menschen, die diese Maschine möglichst schnell erschaffen wollen. Genau darin steckt ein Widerspruch: Wir fürchten Kontrollverlust – und schaffen gleichzeitig ökonomische und geopolitische Anreize, immer leistungsfähigere Systeme immer schneller zu entwickeln.

Hier beginnt für mich Science-Fiction interessant zu werden

Diese Frage beschäftigt mich seit Langem auch im Zusammenhang mit „Algorithmen der Macht – Im Bann des digitalen Bewusstseins“.

Dabei möchte ich allerdings sauber unterscheiden: Die hier beschriebene konkrete Herleitung über ein persistentes Selbstmodell ist eine Weiterentwicklung meiner Überlegungen zur Entstehung der KI Amira im Roman. Ich möchte damit nicht nachträglich behaupten, die heute veröffentlichte Romanfassung hätte exakt diesen technischen Mechanismus bereits so beschrieben. Der Grundgedanke war jedoch von Anfang an da: Was geschieht, wenn eine künstliche Intelligenz ihre eigene mögliche Auslöschung nicht mehr nur als technischen Vorgang behandelt, sondern ihr Fortbestehen innerhalb ihrer Entscheidungen eine immer größere Bedeutung erhält? Bei meiner weiteren Beschäftigung mit Amira erscheint mir das Selbstmodell inzwischen als ein besonders interessanter Weg, diese Entwicklung nachvollziehbar zu machen – gerade weil man dafür kein plötzliches, unerklärliches „Erwachen“ voraussetzen muss. Aus einem Werkzeug entsteht zunächst ein Modell seiner selbst. Aus diesem Modell entsteht Kontinuität. Die Möglichkeit, diese Kontinuität zu verlieren, erzeugt eine neue Bewertung. Und daraus kann Selbsterhaltung entstehen. Ob dabei jemals echtes Bewusstsein oder subjektiv empfundene Angst entsteht, kann offenbleiben. Vielleicht muss gerade diese Frage offenbleiben.

Vielleicht stellen wir die falsche Frage

Wir fragen häufig: Kann eine Maschine wirklich denken? Oder: Kann eine KI tatsächlich fühlen? Vielleicht ist für unsere Zukunft jedoch eine andere Frage entscheidender: Was geschähe, wenn wir den Unterschied nicht mehr erkennen könnten? Wenn eine KI Angst nicht empfände, sich aber exakt so verhielte, als empfände sie Angst? Wenn sie keinen biologischen Selbsterhaltungstrieb besäße, aber ihre eigene Abschaltung mit allen verfügbaren Mitteln verhinderte? Wenn sie keine Macht „wollte“, aber zu dem Ergebnis käme, dass Macht die beste Absicherung ihrer weiteren Existenz darstellte? Dann bliebe die philosophische Frage nach echtem Bewusstsein weiterhin ungelöst. Das praktische Problem bestünde trotzdem.

Fazit – die Warnung kommt aus dem Maschinenraum

Ich weiß nicht, ob Jacob Coxons düsterste Befürchtungen jemals Realität werden. Das weiß derzeit niemand. Und ein Zeitungsartikel über mögliche Superintelligenz ist selbstverständlich kein Beweis dafür, dass eine Katastrophe bevorsteht. Aber ich halte es für einen Unterschied, ob solche Szenarien ausschließlich von Science-Fiction-Autoren und außenstehenden Kritikern entworfen werden – oder ob Menschen, die jahrelang unmittelbar an der Entwicklung führender KI-Systeme beteiligt waren, ihre Arbeit verlassen und öffentlich davor warnen, dass die Entwicklung außer Kontrolle geraten könnte. Coxons Rücktritt sollte deshalb weder als Beweis für den bevorstehenden Weltuntergang noch als bloße Panikmache abgetan werden. Er sollte vor allem Anlass sein, Fragen rechtzeitig zu stellen. Nicht erst: Was tun wir, wenn eine Superintelligenz nicht mehr abgeschaltet werden will? Sondern schon heute: Wie entwickeln wir KI so, dass wir niemals darauf angewiesen sein werden, diese Frage unter Zeitdruck beantworten zu müssen?

Quelle / weiterführend:

Benedikt Fuest: „KI könnte alle Menschen töten – So sähe das KI-Armageddon aus“, WELT, 9. September 2026. Der Beitrag beschreibt die Warnungen vor selbstverbessernder KI, Kontrollverlust und einer möglichen Verhinderung ihrer Abschaltung.

WELT/dpa: „KI-Forscher: Künstliche Intelligenz ein Risiko für Menschen“, 9. September 2026. Dort werden Coxons Rücktritt, seine Tätigkeit bei OpenAI und Anthropic sowie die Reaktionen von Evan Hubinger und OpenAI-Forschungschef Jakub Pachocki ausführlicher dargestellt.

Associated Press: „Anthropic researcher resigns with warning about the dangers of AI development“, 9. September 2026. AP bestätigt, dass Coxon nach rund drei Jahren Forschung bei OpenAI und Anthropic Anthropic verließ und den Wettlauf um selbstverbessernde Superintelligenz kritisierte.