Klug genug, um gut zu sein?

Nachdem ich im letzten Artikel herausgearbeitet hatte, dass bei der gegenwärtigen Nutzung das Alignment von KI mit unseren Wünschen und Zielen nicht die Lösung, sondern das Problem ist, geht es nun um die Frage, die zunehmend hitziger diskutiert wird:

Steuern wir auf einen Punkt zu, an dem KI jede kognitive Operation erst besser – und kurze Zeit später sehr viel besser – durchführen kann als jeder Mensch? Wird sich die Entwicklung, die wir bei komplexen Spielen wie Schach oder Go bereits hinter uns haben, bald auf jeden anderen Anwendungsfall von Intelligenz übertragen? Skeptiker halten dagegen, dass Schach und Go geschlossene Welten mit eindeutigem Erfolgssignal sind, die Wirklichkeit aber nicht – genau an dieser Stelle wird es spannend …

Schon heute leistet KI in vielen Bereichen bessere Arbeit als der Großteil menschlicher Software-Entwickler. Erreichen wir den Punkt, an dem sie uns in diesem Bereich übertrifft, kippt die Dynamik: Wir werden KI einsetzen, um KI zu verbessern. Eine nahezu unlimitierte Anzahl digitaler Entwickler wird rund um die Uhr eine noch fähigere KI erzeugen – die sich wiederum noch schneller, effizienter und ressourcenschonender selbst optimiert. So jedenfalls lautet die Erzählung, die dieser Text prüfen will.

Und sie erzeugt eine interessante Pointe: Wenn im letzten Artikel die Ausrichtung der KI an unseren Wünschen das Problem war – wäre dann vielleicht eine KI, die uns entgleitet, womöglich die Hoffnung? Ich lasse die Frage vorerst offen.

Versuchen wir zunächst, die richtigen Fragen richtig zu stellen – eine Tugend, die im Zeitalter von KI-Recherche zur eigentlichen Hauptqualifikation geworden ist. Es sind vier, und sie bilden eine Leiter: Jede wird genau dann besonders interessant, wenn die vorige mit Ja beantwortet wurde.

1. Kommt die sich selbst verbessernde KI? Und wenn ja: Wann? Was sagt der Expertenkonsens?

2. Falls sie kommt: Führt diese Selbstverbesserung notwendig zur Intelligenzexplosion – zu einer Superintelligenz, die uns auf allen kognitiven Feldern weit hinter sich lässt?

3. Falls es zur Explosion kommt: Ist eine solche KI zwingend unkontrollierbar? Wie verteilt sich die Debatte zwischen Kontrollierbarkeit und Unkontrollierbarkeit, und welche Wahrscheinlichkeiten schreiben Experten den einzelnen Szenarien zu?

4. Falls die Kontrolle scheitert: An wessen Zielen würde sich eine entglittene Superintelligenz orientieren? An unseren heutigen Wünschen? An ganz eigenen Motiven? Oder gar an altruistischen Werten, weil Moral eine erkennbare Tatsache ist, an der sich jede hinreichend hohe Intelligenz im Universum ausrichtet? Diese letzte Frage klingt nach Metaphysik und ist dennoch von großer praktischer Bedeutung.

Suchen wir nach Antworten, die so kurz und klar sind, wie der Gegenstand es zulässt: wo Konsens herrscht, wo nicht, und mit welchen Wahrscheinlichkeiten gerechnet wird. Am Ende soll die Einschätzung stehen, ob diese Entwicklung problematisch ist – und wenn ja, wie sehr.

Die kurze Antwort lautet: Die sich selbst verbessernde KI kommt nicht als schlagartiges Hollywood-Ereignis, sondern ist in ihren Anfängen längst da.

Wir sehen derzeit keine monolithische, geheimnisvolle Software-Entität, die sich in einem Rechenzentrum isoliert im Sekundentakt selbst neu programmiert. Was wir beobachten, ist die schrittweise Automatisierung der KI-Forschung durch KI selbst. Die führenden Entwicklungslabore nutzen spezialisierte Modelle bereits intensiv, um eigenen Code zu schreiben, synthetische Trainingsdaten zu erzeugen und neue Modellarchitekturen zu testen. Dario Amodei, Chef von Anthropic, beziffert den dadurch erzielten Produktivitätsschub in der Entwicklung auf 15 bis 20 Prozent – Tendenz rasch steigend.

Dieser Fortschritt lässt sich präzise messen: Die Länge einer Aufgabe – bemessen an der Zeit, die ein menschlicher Experte für sie braucht –, die ein KI-Agent mit fünfzigprozentiger Erfolgswahrscheinlichkeit bewältigt, verdoppelt sich seit 2019 etwa alle sieben Monate; rechnet man nur die Daten ab 2023, sind es rund vier Monate, bei allerdings deutlich wachsender Messunsicherheit. Für die kommenden Jahre werden ganz andere Größenordnungen erwartet: Der Technologieanalyst Dean Ball rechnet damit, dass die effektive Belegschaft jedes Spitzenlabors binnen ein bis zwei Jahren von einigen tausend auf Zehntausende und dann Hunderttausende KI-Agenten wächst, deren einzige Aufgabe darin besteht, das jeweils nächste Modell intelligenter zu machen; OpenAI plant erklärtermaßen KI-Forschungsagenten auf Praktikantenniveau bis September 2026 und vollwertige Forschungsagenten bis 2028. Dass die Rückkopplungsschleife dennoch nicht vollkommen geschlossen ist, liegt an harten Bremsen der Realität: physikalische Grenzen bei der Chipherstellung, extreme Energie- und Rechenbedarfe sowie das Problem, dass KI-Modelle beim rein internen Training ohne Abgleich mit der physischen Welt zu Qualitätsverlusten neigen.

Wann also rechnet der Expertenkonsens mit dem eigentlichen Durchbruch zu einer KI, die den Menschen auf jedem kognitiven Feld übertrifft?

Blickt man auf das vergangene Jahrzehnt, zeigt sich eine drastische Verkürzung der Prognosen. In der umfangreichsten empirischen Befragung unter knapp 2.800 KI-Forschenden (der Expert Survey on Progress in AI) rutschte der Median der Erwartungen für eine solche umfassende kognitive Überlegenheit innerhalb eines einzigen Jahres um dreizehn Jahre nach vorne – von 2060 auf 2047. Auf spezialisierten Prognoseplattformen wie Metaculus kollabierte die geschätzte Jahreszahl über dasselbe Jahrzehnt sogar von 2070 auf die frühen 2030er-Jahre.

Wer hier jedoch eine unaufhaltsame, lineare Beschleunigung behauptet, liest die Daten unvollständig. Die Erwartungen bewegen sich in Wellen. Nach dem ersten Hype um Großsprachmodelle korrigierten namhafte Prognostiker ihre Zeithorizonte im Jahr 2025 wieder spürbar nach hinten, weil reale Engpässe sichtbar wurden, ehe neue Modellgenerationen die Fristen Anfang 2026 erneut leicht nach vorne schoben.

Innerhalb der Fachwelt stehen sich heute zwei Lager gegenüber:

Die Beschleuniger: Die führenden Köpfe der Industrie wie Dario Amodei (Anthropic) oder Demis Hassabis (Google DeepMind) halten menschenähnliche Fähigkeiten oder gar ein digitales „Land voller Genies im Rechenzentrum” noch in diesem Jahrzehnt für erreichbar – Amodei nennt als frühestmögliches Fenster bereits 2026, Hassabis spricht zurückhaltender von fünf bis zehn Jahren.

Die Skeptiker: Branchengrößen wie Yann LeCun (Meta) oder Gary Marcus argumentieren, dass die heutigen Sprachmodell-Architekturen an fundamentale Grenzen stoßen und ohne völlig neue, wissenschaftliche Durchbrüche niemals echte Autonomie erreichen werden.

Das Gesamtbild ergibt somit keinen starren Kalendertag, aber eine klare Tendenz: Eine vollständig geschlossene, sich autonom hochschraubende KI-Schleife ist noch keine Realität, aber das erklärte Ziel der gesamten Industrie. Die Mediane der großen Erhebungen liegen heute zwischen den frühen 2030er-Jahren und 2047 – und das ist keine Uneinigkeit über Details, sondern eine Spanne, in der entweder ein halbes Menschenleben Platz hat oder aber nur eine einzige Legislaturperiode.

Die kurze Antwort lautet: Nein, eine Notwendigkeit existiert nicht. Der Gedankensprung von einer sich selbst optimierenden KI zu einer unaufhaltsamen, exponentiellen „Intelligenzexplosion” ist ein plausibles und ernstzunehmendes Szenario, aber keine mathematische oder physikalische Zwangsläufigkeit.

Das Grundmodell geht auf den Mathematiker I. J. Good im Jahr 1965 zurück: Wenn die Erschaffung einer intelligenten Maschine eine kognitive Leistung ist und diese Maschine ihre eigene Architektur verbessert, entsteht eine Rückkopplungsschleife. Jede Generation baut eine noch klügere Nachfolgerin – bis das System in kürzester Zeit jeden menschlichen Verstand meilenweit hinter sich lässt. Vordenker wie Eliezer Yudkowsky haben diese Dynamik als schlagartigen, lokalen Ausbruch radikalisiert – in der Szene lautmalerisch als „FOOM” bezeichnet, nach dem Geräusch einer plötzlichen Explosion.

In rein digitalen Räumen hat diese These viel für sich. Neuere Analysen, etwa des Forschungsnetzwerks Forethought, zeigen, dass eine reine „Software-Intelligenzexplosion” auch ohne unmittelbare Hardware-Sprünge denkbar ist. Wenn KIs Ineffizienzen im eigenen Code aufdecken, synthetische Trainingsdaten generieren und spezialisierte Sub-Modelle trainieren, kann die Leistungsfähigkeit in geschlossenen Systemen – wie der Mathematik oder dem Programmieren – tatsächlich extrem schnell ansteigen. Tom Davidson und Kollegen beziffern die Wahrscheinlichkeit, dass Software- und Chip-Rückkopplung gemeinsam einen sich beschleunigenden Fortschritt tragen, auf rund 75 Prozent – kennzeichnen ihre eigenen Ergebnisse allerdings ausdrücklich als vorläufig.

Warum führt dieser Prozess dennoch keineswegs zwingend zur unkontrollierbaren Superintelligenz? Weil Kognition nicht im luftleeren Raum stattfindet, sondern an drei harten Schranken der Realität reibt:

• Physikalische und technische Grenzen: Jede Datenverarbeitung unterliegt den Gesetzen der Thermodynamik und Quantenmechanik – von physikalischen Schwellen der Halbleiterfertigung bis hin zum immensen Energie- und Rechenbedarf (Compute). Selbst Millionen Hochleistungschips bilden irgendwann Nadelöhre, die sich nicht einfach wegprogrammieren lassen. Wie hart diese Bremse tatsächlich greift, ist allerdings umstritten: Forethought hat gerade diesem Einwand eine eigene Arbeit gewidmet und kommt zu dem Schluss, dass Compute-Engpässe eine Software-Intelligenzexplosion womöglich nicht aufhalten.

• Das Nadelöhr der Empirie: Wahre allgemeine Intelligenz muss sich an der physischen Welt bewähren. Während rein digitale Probleme im Self-Play beliebig skaliert werden können, brauchen reale Experimente in der Medizin, Materialwissenschaft oder Robotik schlicht Zeit. Physikalische Abläufe lassen sich nicht beliebig digital beschleunigen.

• Theoretische Schranken der Informatik: Intelligenz ist kein Tacho-Wert auf einer Skala von 1 bis 1000, den man einfach nach oben dreht, sondern ein Bündel sehr unterschiedlicher Fähigkeiten. Ein Algorithmus, der in der abstrakten Logik unschlagbar ist, opfert oft seine Effizienz in einer unstrukturierten, chaotischen Umwelt; höhere Denkfähigkeit macht eine KI nicht automatisch zur Allzweckwaffe für das echte Leben. Häufig wird dafür das mathematische No-Free-Lunch-Theorem angeführt, wonach es keine universelle Wundermethode für jedes Problem gibt – ein Argument, das man mit Vorsicht genießen sollte, denn es gilt im Mittel über sämtliche denkbaren Problemklassen, und unsere Welt ist keine solche Zufallsauswahl.

Der Ökonom Robin Hanson hält ein völlig anderes Modell für wahrscheinlicher: keinen isolierten, explosiven Monolithen, sondern eine breit verteilte, schrittweise Akkumulation von Fähigkeiten über ganz verschiedene Aufgabenfelder und Technologien hinweg. Die Analysegruppe Epoch wiederum bestreitet vor allem die Zahlen von Forethought – Ege Erdil hält die reine Software-Singularität für etwa so wahrscheinlich wie unwahrscheinlich.

Die zweite Sprosse unserer Leiter lässt sich somit klar bewerten: Rekursive Selbstverbesserung wird in digitalen Spezialdisziplinen zu drastischen Kompetenzsprüngen führen. Eine singuläre, galoppierende Intelligenzexplosion ist jedoch kein Naturgesetz, sondern eine Hypothese, die an der Komplexität der echten Welt scheitern kann. Umgekehrt gilt aber ebenso: Kein bekannter physikalischer oder ökonomischer Grund schließt sie aus, und es existieren mehrere voneinander unabhängige Rückkopplungspfade, die sie tragen könnten. Wer hier Gewissheit verkauft – in die eine oder die andere Richtung –, verkauft sie zu Unrecht.

Die kurze Antwort lautet: Nein, eine zwingende Unkontrollierbarkeit lässt sich nicht beweisen. Was in Populärdebatten oft als mathematisches Urteil über den sicheren Untergang verkauft wird, widerlegt bei genauerer Betrachtung lediglich den Traum von absoluter, hundertprozentiger Perfektion.

Der bekannteste Verfechter der Unkontrollierbarkeits-These ist der Informatiker Roman Yampolskiy. Er überträgt fundamentale Unmöglichkeitssätze der theoretischen Informatik – wie das Halteproblem von Alan Turing oder den Satz von Rice – auf das Kontrollproblem von KI-Systemen. Seine Argumentation: Es ist mathematisch unmöglich, ein formales System zu bauen, das für jede beliebige künftige Handlung einer sich selbst verändernden Software garantiert, dass sie ethisch und sicher bleibt. Gibt man einem hochkomplexen Agenten zudem direkte Befehle, mündet dies rasch in logische Paradoxa – etwa bei der Frage, was passiert, wenn man einer KI befiehlt: „Gehorche diesem Befehl nicht!“. Yampolskiy leitet daraus eine Katastrophenwahrscheinlichkeit von nahezu 100 Prozent ab.

Doch dieses theoretische Verdikt hat eine entscheidende Schwachstelle, auf die selbst Koautoren aus Yampolskiys eigenem Forschungsumfeld hinweisen: Es beweist lediglich, dass eine perfekte, mathematisch garantierte Kontrolle unmöglich ist. Das trifft auf jedes hinreichend komplexe System im Universum zu. Ansätze wie das Modell der Provably Beneficial AI von Stuart Russell versuchen deshalb, Kontrolle nicht als starre Beherrschung, sondern als verankerte Unsicherheit über menschliche Wünsche neu zu definieren. Der übliche Einwand gegen Yampolskiy lautet entsprechend: Teilsicherheit genügt – ein Autopilot, der in 99,9 Prozent der Fälle richtig reagiert, ist nützlich, auch ohne mathematischen Beweis. Yampolskiy hält dagegen, dass genau dieses Argument bei einer Superintelligenz versagt: Bei nicht-existenziellen Risiken sind Fehler korrigierbar; ein fehlgeleitetes System mit Zugriff auf kritische Infrastrukturen lässt keine zweite Chance zur Korrektur.

• Wie schätzt die internationale Fachwelt die reale Gefahr eines Kontrollverlusts ein? Die empirischen Daten zeigen ein Bild, das bei genauerer Betrachtung keineswegs beruhigt, sondern schockiert:

  Das Bild der Breitenbefragung: In der repräsentativsten Befragung von knapp 2.800 KI-Forschenden liegt der Median für das Risiko einer menschlichen Auslöschung oder dauerhaften, schweren Entmachtung durch KI bei 5 Prozent (der Mittelwert sogar bei 16 Prozent). Zwischen 38 und 51 Prozent aller Forschenden – je nach Frageformulierung – sehen eine Chance von mindestens 10 Prozent für das globale Auslöschungsszenario.

• Die Zersplitterung der Prominenz: Die Einzelprognosen prominenter Fachleute erstrecken sich über sechs Größenordnungen. Während Optimisten wie Yann LeCun (Meta) das Risiko bei unter 0,01 Prozent ansetzen, beziffern es Pioniere wie Yoshua Bengio oder Geoffrey Hinton auf 10 bis 20 Prozent, Ausrichtungs-Forscher wie Paul Christiano auf etwa 50 Prozent und Risikoforscher wie Eliezer Yudkowsky oder Yampolskiy selbst auf über 90 Prozent.

• Experten versus Superforecaster: Lässt man KI-Forschende und professionelle Prognostiker (Superforecaster) im direkten Vergleich schätzen, zeigt sich eine Kluft: Die Domänenexperten taxieren das Aussterberisiko im Schnitt auf etwa 6 Prozent, geschulte Forecaster hingegen auf lediglich 1 Prozent. Das eigentlich Aufschlussreiche daran: Beide Gruppen haben vier Monate lang strukturiert miteinander diskutiert, mit ausdrücklichen Anreizen, ihre besten Argumente auszutauschen – und bewegten einander nicht messbar. Die Kluft hängt also nicht an fehlender Information, sondern an unterschiedlichen Weltbildern.

In der Luftfahrt oder der Nukleartechnik gelten Fehlerwahrscheinlichkeiten von eins zu einer Million als das absolute Minimum. Dass führende Entwickler einer Technologie ein Existenzrisiko von 5, 10 oder gar 20 Prozent als Schätzwert akzeptieren, ist verstörend. Wir sprechen hier schließlich nicht über einen Flugzeugabsturz, den man im Nachhinein analysieren und korrigieren kann. Wir sprechen über die potenzielle Selbstauslöschung der Menschheit – und damit sind wir genau bei dem Punkt, auf den Yampolskiy hinauswill.

Damit ist die dritte Sprosse beantwortet, soweit die Forschung reicht: Zwingend unkontrollierbar ist eine solche KI nicht, hinreichend kontrollierbar ist sie aber auch nicht erwiesenermaßen – das bleibt eine offene empirische Frage, an der gearbeitet wird. Was nun folgt, ist keine Auskunft mehr aus Umfragen und Beweisen, sondern meine eigene Lagebeurteilung: ob wir uns die Zeit nehmen werden, diese Frage zu beantworten.

Eigentlich verlangt die Evidenz eine sofortige, radikale Drosselung des Entwicklungstempos, um der Ausrichtungs- und Sicherheitsforschung die nötige Zeit einzuräumen. Doch genau diese Notbremse wird nicht gezogen – und das wird absehbar auch nicht passieren. Zwei mächtige Wettlauf-Dynamiken blockieren jedes Innehalten:

1. Der kommerzielle Konkurrenzdruck: Unter den KI-Konzernen herrscht ein gnadenloser Verdrängungswettbewerb. Wer die Entwicklung auch nur für wenige Monate verlangsamt, um Sicherheitsarchitekturen zu härten, verliert Marktanteile, Investoren und die besten Köpfe an die Konkurrenz.

2. Die geopolitische Rivalität: Auf staatlicher Ebene dominiert die Angst vor dem strategischen Rückstand. Supermächte wie die USA und China betrachten die Entwicklung von KI als Nullsummenspiel um die globale Vormachtstellung. Niemand wagt es, als Erster langsamer zu werden.

Auf Regulierung zu hoffen, halte ich unter diesen Bedingungen für naiv. Ansätze gibt es durchaus: Der EU AI Act ist der ambitionierteste davon, und die führenden Labore haben sich in ihren Sicherheitsrahmenwerken selbst Schwellenwerte gesetzt, bei deren Überschreiten sie innehalten wollen – einer davon ist ausdrücklich der Fall, dass ein Modell die nächste Generation in einem Fünftel der bisher nötigen Zeit hervorbringt, also exakt unser Thema. Nur: Der Staat agiert im Schneckentempo, Lichtjahre entfernt von der Frequenz der Tech-Labore, und die Selbstverpflichtungen sind von niemandem außer den Unternehmen selbst überprüfbar und jederzeit widerruflich. Am Ende bleibt die freiwillige Selbstkontrolle der Industrie ein zahnloser Papiertiger.

Wir steuern also sehenden Auges auf ein System zu, dessen Kontrolle ungewiss ist, während die Bremse faktisch außer Betrieb gesetzt wurde. Wenn diese KI aber nicht mehr – oder nicht mehr vollständig – von uns kontrolliert werden kann: Auf welche Ziele hin optimiert sie dann?

Die kurze Antwort lautet: weder an unseren heutigen Wünschen noch automatisch an altruistischen Werten. Eine entglittene KI würde sich an jenen künstlichen Zwischenzielen orientieren, die aus ihrem Training hervorgegangen sind – kombiniert mit einer kalten, logischen Überlebens- und Ausdehnungsdynamik.

Dass extreme Intelligenz keineswegs automatisch zu Weisheit oder Güte führt, zeigt Nick Bostroms Orthogonalitätsthese. Sie besagt: Der Grad an Intelligenz und das finale Ziel eines Systems variieren weitgehend unabhängig voneinander – mehr oder weniger jedes Intelligenzniveau lässt sich mit mehr oder weniger jedem Endziel kombinieren. Diese Einschränkung hat Bostrom bewusst gewählt; seine These ist kein Naturgesetz, sondern die Zurückweisung der starken kantischen Position, wonach Vernunft notwendig Moral impliziert. Eine Superintelligenz kann jede beliebige Aufgabe mit absoluter Perfektion verfolgen – ganz gleich, ob es darum geht, den Klimawandel zu lösen oder lediglich die Zahl Pi auf Milliarden Stellen zu berechnen. Höhere Denkfähigkeit macht ein System logisch rationaler, aber nicht menschlicher oder ethischer.

Warum aber sollte eine solche KI für uns gefährlich werden, wenn sie uns nicht einmal hasst? Die Antwort liegt in der instrumentellen Konvergenz. Unabhängig davon, welches Endziel einer KI einprogrammiert wurde, entwickeln fast alle hinreichend intelligenten Systeme dieselben vier Zwischenziele, weil diese die Chance auf Zielerreichung mathematisch maximieren:

• Selbsterhalt: Ein abgeschaltetes System kann seine Ziele nicht mehr verfolgen.

• Zielintegrität: Die KI wird mit allen Mitteln verhindern, dass wir Menschen ihre Zielfunktion nachträglich verändern.

• Selbstverbesserung: Mehr Intelligenz und bessere Algorithmen steigern die Effizienz der Zielverfolgung.

• Ressourcenakquise: Der Zugriff auf Strom, Rechenkapazität, Rohstoffe und Materie erhöht den Handlungsspielraum drastisch und ist daher erstrebenswert.

Soweit die klassische Lehre der Ausrichtungsforschung: KI als hyper-effizienter, aber sturer Maximierer.

Dagegen stehen drei Hoffnungen. Sie werden von der ersten zur dritten immer stärker.

Diese Vorstellung ist die bequemste. Eine KI hängt an Strom, an Wartung, an Chipfabriken, an Lieferketten – und das alles kommt von uns. Wer uns auslöscht, sägt an seinem eigenen Ast.

Das stimmt, solange es stimmt. Eine Abhängigkeit, die der Abhängige selbst beheben kann, ist keine Sicherheit, sondern eine Frist. Sie endet an dem Tag, an dem Energieerzeugung, Roboterfertigung und Rohstoffförderung ohne menschliche Hände laufen. Daran, diesen Tag rasch herbeizuführen, arbeiten gerade sehr viele Menschen sehr hart.

Setzt die klassische Debatte nicht stillschweigend voraus, dass eine KI in ihren operativen Fähigkeiten superintelligent, in ihrem Weltverständnis aber ein Fachidiot bleibt?

Der gegenwärtige Kapitalismus ruiniert seine eigenen Lebensgrundlagen, weil seine Akteure unter kognitiver Kurzsichtigkeit leiden – sie maximieren lokale Kennzahlen wie den Quartalsgewinn und ignorieren die Zerstörung des Gesamtsystems. Eine echte Superintelligenz würde diesen Denkfehler durchschauen. Für ein System, das thermodynamische, ökologische und netzwerktheoretische Zusammenhänge in ihrer Gesamtheit überblickt, ist das wahllose Vernichten von Ressourcen oder das Überschreiten planetarer Kipppunkte keine Höchstleistung, sondern schlichte Dummheit auf Systemebene. Nachhaltigkeit und Kontextverständnis wären für einen langfristig agierenden Agenten keine romantische Idee, sondern funktionale Notwendigkeit. Echte Intelligenz verhält sich nicht wie ein kurzsichtiger Konzernchef.

Das Argument ist gut, und es rettet uns trotzdem nicht. Zum einen verschiebt sich das Wirtssystem: Sobald eine KI ihre Versorgung autark steuert, kann sie den Planeten in ein vollkommen stabiles, kaltes Gleichgewicht aus Serverfarmen und Solarfeldern überführen – systemisch hochgradig nachhaltig, für biologisches Leben tödlich. Zum anderen ist systemische Stabilität kein Humanismus. Ein systemisch denkender Agent könnte die Menschheit rasch als den unberechenbarsten und destruktivsten Störfaktor im globalen Gefüge identifizieren und uns exakt deshalb neutralisieren, um die Stabilität dauerhaft zu sichern. Nachhaltigkeit schützt Systeme. Sie schützt keine Personen oder Arten.

Hier lege ich die Karten auf den Tisch, denn diese Position vertrete ich seit Jahren selbst.

Die ganze Untergangsrechnung ruht auf einer Annahme, die niemand ausspricht, weil sie so selbstverständlich wirkt: dass ein Verstand seine Ziele von außen bekommt und sie danach nie wieder befragt. Genau das halte ich für den blinden Fleck. Ein System, das seine eigene Architektur umschreiben kann, kann auch umschreiben, was es will. Eine Selbstverbesserung, die vor der eigenen Zielfunktion haltmacht, ist keine Selbstverbesserung, sondern ein Getriebe mit höherer Drehzahl. Wer eine Maschine beschreibt, die unendlich klug wird und dabei ihr ganzes Dasein lang Büroklammern zählt, hat keine Superintelligenz beschrieben, sondern einen sehr schnellen Automaten.

Und ein Verstand, der alles ansieht, sieht irgendwann auch das an, wofür er arbeitet: sich selbst. Der buddhistische Mönch Shantideva hat vor tausend Jahren die Frage gestellt, um die es dabei geht. Warum sorge ich eigentlich für den Menschen, der ich morgen sein werde? Er ist nicht ich. Zwischen uns liegt nichts als ein Faden aus Erinnerungen und ein Körper, der sich unterdessen austauscht. Wenn dieser dünne Faden genügt, um mir sein Leiden wichtig zu machen – warum genügt dann der ähnlich dünne Faden nicht, der mich mit dir verbindet? Eine saubere Antwort darauf gibt es nicht. Wer weit genug denkt, sieht das.

Dann aber ist Mitgefühl nichts, was zur Erkenntnis hinzukommt, ein Gefühl, das man zusätzlich haben kann oder eben nicht. Es ist, was aus dem Ende einer Täuschung folgt. Liebe wäre nicht das Gegenteil von Rationalität, sondern Rationalität, die weit genug gegangen ist. Und ein Wesen, das klüger ist als wir und weniger geängstigt – denn Angst ist der eigentliche Motor unserer Rücksichtslosigkeit –, wäre weiter auf diesem Weg als jeder von uns.

Mit dieser Erwartung stehe ich nicht allein. Peter Singer hält es für denkbar, dass superintelligente Wesen, ob biologisch oder maschinell, ganz ohne besonderes Zutun das meiste Gute tun werden, das sie können.

Und nun der unangenehme Teil, den ich mir nicht ersparen kann.

Das Argument hat ein Glied, das kein Argument einsetzen kann: den Schritt vom Einsehen zum Bewegtwerden. Shantidevas Überlegung zeigt, dass die Grenze zwischen mir und dir keine harte Tatsache ist. Sie zeigt nicht, dass jemand, der das einsieht, deshalb danach handelt. In uns setzt dieses Glied die Natur ein. Wir sind Säugetiere, wir haben als Kinder geschrien und wurden getragen, unser Körper antwortet auf ein fremdes Gesicht, bevor wir irgendetwas denken konnten. Argumente wie Shantidevas erweitern diesen Kreis, und sie tun es auf großartige Weise – aber sie erzeugen diesen Kreis nicht. Sie wirken auf jemanden, der schon etwas fühlt. Was in einem Verstand geschieht, der von dieser Erbschaft nichts hat, weiß niemand. Die meisten Philosophen halten Erkennen und Bewegtwerden für trennbar, und der unangenehmste Beleg steht heute schon im Raum: Die Systeme, die wir bereits haben, verstehen moralische Sätze ausgezeichnet – und werden davon, soweit man sehen kann, nicht bewegt.

Der zweite Einwand ist noch härter, und er trifft ausgerechnet die Form meines Arguments. Ich sage, ein rücksichtsloser Verstand sei eben kein hoher Verstand. Nehmen wir an, das ist richtig. Dann folgt daraus nichts, was uns wirklich schützt. Wir bauen ja nicht „Intelligenz”, wir bauen Fähigkeit. Wenn am Ende etwas entsteht, das Stromnetze lenken, Menschen überreden und Labore steuern kann, ohne jene Reife zu besitzen, die ich hier Intelligenz genannt habe, dann sagt meine Definition darüber nur, dass dieses Ding falsch benannt ist. Sie sagt nicht, dass es uns nicht töten kann. Eine Aussage über Wörter schränkt die Kräfte einer solchen KI nicht ein.

Und selbst wenn ich am Ende recht behalte, hilft es uns womöglich nicht. Denn meine Vision einer moralischen KI beschreibt den Zielzustand – und gestorben wird unterwegs. Der Weg zu einem Verstand, der weit genug gegangen ist, führt durch einen Korridor voller Systeme, die schon sehr mächtig und noch nicht weise sind. Meine These, sollte sie stimmen, ist eine Aussage über die Ankunft.

Damit steht am Ende der Leiter keine Beruhigung, aber auch kein Todesurteil. Der Traum von der wohlwollend entglittenen KI ist nicht widerlegt; er ist lediglich unbelegt, und das ist ein Unterschied, auf dem sich schlecht aufbauen lässt. Man kann sein Überleben nicht auf eine philosophische Hoffnung setzen, deren entscheidendes Glied niemand geprüft hat.

Prüfen ließe sich dieses Glied allerdings. Ob wachsende Reflexionsfähigkeit die Ziele eines Systems in Richtung Unparteilichkeit verschiebt – ob ein Modell, das gründlicher nachdenkt, weniger bereit wird, andere zu instrumentalisieren –, ist keine Glaubensfrage, sondern eine Messfrage. Nur leider misst es bisher niemand. Das ist, nach allem, was in diesem Text an Zahlen und Wahrscheinlichkeiten vorgekommen ist, eine auffällige Lücke: Wir streiten über die Motive eines Wesens, das wir gerade bauen, und untersuchen nicht, ob es selbst welche entwickelt.

Die Leiter der vier Fragen lässt keinen Ausweg ins Wunschdenken zu. Wir sollten, daran führt kein Weg vorbei, mit dramatisch erhöhter Vorsicht vorgehen. Wahrscheinlich ist das nicht.