Wie KI aus Beobachtung Vorhersage, aus Vorhersage Einfluss und aus Einfluss Macht machen kann
Über diesen Beitrag
Dieser Essay verbindet aktuelle Forschung zu digitaler Aufmerksamkeit mit einer philosophischen Betrachtung möglicher gesellschaftlicher Folgen künstlicher Intelligenz. Die daraus abgeleiteten Überlegungen zu Macht, Einfluss und Bewusstsein stellen eine eigene Analyse des Autors dar.
Die Informatikprofessorin Gloria Mark von der University of California, Irvine, untersucht seit mehr als zwei Jahrzehnten, wie sich unser Umgang mit digitalen Medien auf Aufmerksamkeit und Arbeitsverhalten auswirkt. Ihre Untersuchungen zeigen einen auffälligen Trend: Während Menschen 2004 bei der Bildschirmarbeit durchschnittlich noch etwa zweieinhalb Minuten bei einer Aktivität blieben, sank dieser Wert später auf rund 75 Sekunden und zuletzt auf etwa 47 Sekunden. Dabei geht es allerdings nicht darum, dass Menschen grundsätzlich nur noch 47 Sekunden lang konzentriert sein könnten. Gemessen wird vielmehr, wie schnell wir am Bildschirm zwischen Aufgaben, Anwendungen und Informationsangeboten wechseln. Ein erheblicher Teil dieser Unterbrechungen wird zudem nicht von außen verursacht – wir unterbrechen uns zunehmend selbst.
Marks Befund endet bei der Aufmerksamkeit. Die eigentlich weiterführende Frage beginnt dort, wo aus beobachtetem Verhalten Vorhersage und aus Vorhersage Einfluss werden kann. Die 47 Sekunden sind daher weniger ein Beweis dafür, dass wir unsere Konzentrationsfähigkeit verlieren, als ein Hinweis darauf, wie selbstverständlich der ständige Wechsel von Aufmerksamkeit inzwischen geworden ist. Interessanter als die Frage, ob 47 Sekunden nun viel oder wenig sind, erscheint mir deshalb eine andere: Was bedeutet es, wenn digitale Systeme dieses Verhalten nicht nur auslösen oder verstärken, sondern immer genauer beobachten, auswerten und schließlich vorhersagen können?
Die 47 Sekunden sind vielleicht weniger erschreckend als das, was dahintersteht: Nicht nur unsere Aufmerksamkeit wird immer stärker gelenkt – digitale Systeme entscheiden bereits heute mit darüber, welche Informationen, Angebote und Handlungsmöglichkeiten überhaupt in unser Blickfeld gelangen. Damit bereiten sie Entscheidungen vor, filtern Möglichkeiten und können unser Verhalten beeinflussen, ohne uns eine Entscheidung unmittelbar abzunehmen.
TikTok zum Beispiel zeigt dieses Prinzip besonders deutlich: Der personalisierte Feed analysiert unser bisheriges Verhalten, prognostiziert, welche Inhalte uns wahrschein-lich interessieren oder besonders lange binden, und entscheidet auf dieser Grundlage, was wir als Nächstes zu sehen bekommen. Damit hat bereits eine Form der Lenkung stattgefunden, noch bevor wir selbst bewusst entscheiden: Der Algorithmus bestimmt zwar nicht, ob wir einen Inhalt anklicken, ansehen oder ignorieren – aber er hat zuvor, ohne dass wir diesen Auswahlprozess unmittelbar wahrnehmen, darüber entschieden, welche Inhalte überhaupt in unser Blickfeld gelangen und in welcher Reihenfolge sie uns präsentiert werden. Unsere Entscheidung bleibt formal unsere eigene, doch der Raum, in dem wir sie treffen, wurde bereits algorithmisch vorsortiert.
Entscheidend ist dabei die Rückkopplung: Jede Reaktion liefert dem System neue Informationen. Es beobachtet, welche Auswahl funktioniert, passt seine Vorhersagen daran an und kann die nächste Auswahl noch genauer auf den jeweiligen Menschen zuschneiden. Aus Beobachtung entsteht so ein immer präziseres Verhaltensmodell, aus diesem Modell die Möglichkeit gezielter Einflussnahme. Und wer in großem Maßstab beeinflussen kann, welche Informationen Menschen wahrnehmen und auf welche Reize sie reagieren, verfügt letztlich über eine Form von Macht.
Spannend wird deshalb die Frage, was geschieht, wenn eine KI nicht mehr nur auswählt, welche Informationen wir sehen, sondern zugleich immer genauer versteht, welche Wirkung diese Informationen auf uns haben werden. Aus Auswahl wird Wirkungswissen, aus Wirkungswissen gezielte Einflussnahme – und daraus schließlich eine Form der Lenkung, die für den Betroffenen kaum noch als solche erkennbar ist. Je besser das System uns versteht, desto gezielter kann es unseren Entscheidungsraum gestalten, während wir weiterhin überzeugt sind, frei zu entscheiden. Das Ergebnis wäre eine subtile Beeinflussung in eine Richtung, die demjenigen nützt, der die Ziele des Systems bestimmt. Das geradezu Diabolische daran: Die Lenkung wäre umso wirksamer, je weniger wir sie als Lenkung wahrnehmen. Wir müssten zu nichts gezwungen werden – es würde genügen, unseren Entscheidungsraum so zu gestalten, dass wir aus freien Stücken mit höherer Wahrscheinlichkeit jene Entscheidung treffen, die ein anderer Akteur für uns wahrscheinlicher machen möchte.
Politisch wird dieser Gedanke hochbrisant, sobald solche Möglichkeiten nicht nur von Plattformen oder Unternehmen, sondern von Regierungen, Parteien oder Wahlkampfapparaten genutzt werden. Dann könnte dieselbe Logik dazu dienen, bestimmte Bevölkerungsgruppen gezielt anzusprechen, kritische Stimmen in ihrer Wirkung zu schwächen, politische Gegner oder gesellschaftliche Gruppen gezielt zu beobachten oder unterschiedlichen Menschen jeweils jene Informationen vorzusetzen, die ihre Haltung am wirksamsten beeinflussen. Gerät eine solche Technologie in die Hände von Staatsführern, denen Machterhalt wichtiger ist als demokratische Kontrolle, geht es nicht mehr nur um Werbung oder Aufmerksamkeit – sondern um die Manipulierbarkeit demokratischer Willensbildung selbst. Der größte Schaden entstünde dabei womöglich gerade dann, wenn die Betroffenen weiterhin überzeugt wären, ihre politische Entscheidung vollkommen unabhängig getroffen zu haben.
Die politische Gefahr beginnt also nicht erst dort, wo eine KI selbst nach Macht strebt. Sie beginnt bereits dort, wo Menschen mit Macht über eine KI verfügen, die andere Menschen immer besser berechnen und beeinflussen kann.
Nicht minder problematisch ist die privatwirtschaftliche Seite. Wenn leistungsfähige KI-Systeme vor allem von wenigen finanzstarken Unternehmen oder Investoren kontrolliert werden, können bestehende wirtschaftliche Vorteile weiter verstärkt werden: Wer bereits über Kapital, Daten, Rechenleistung und Marktzugang verfügt, kann KI nutzen, um Entscheidungen schneller zu treffen, Märkte präziser zu analysieren, Verhalten besser vorherzusagen und den eigenen Einfluss weiter auszubauen. So droht ein selbstverstärkender Kreislauf: wirtschaftliche Macht ermöglicht besseren Zugang zu KI – und dieser Zugang schafft wiederum zusätzliche wirtschaftliche und gesellschaftliche Macht. Für die Allgemeinheit wäre das alles andere als neutral, denn je stärker sich solche Fähigkeiten bei wenigen Akteuren konzentrieren, desto größer wird deren Einfluss darauf, welche Produkte wir sehen, welche Informationen uns erreichen, welche Preise wir zahlen und letztlich auch, welche Handlungsmöglichkeiten uns überhaupt offenstehen.
Bemerkenswert – und vielleicht besonders beunruhigend – ist dabei: Für all diese Formen von Vorhersage, Einfluss und Macht müsste eine KI noch nicht einmal bewusst sein. Es genügt zunächst, dass sie menschliches Verhalten immer präziser modelliert, aus Reaktionen lernt und ihre Strategien entsprechend anpasst. Doch irgendwann stößt dieses Modell an eine Grenze: Menschen reagieren nicht nur auf Informationen oder äußere Ereignisse, sondern auch darauf, was sie über die KI wissen, von ihr erwarten oder ihr zutrauen. Will das System diese Reaktionen weiterhin möglichst zuverlässig vorhersagen, muss es deshalb auch den eigenen Einfluss auf den Menschen als Faktor in seine Berechnungen einbeziehen. Es beginnt, ein Modell seiner selbst zu bilden – zunächst nicht aus Selbstbewusstsein, sondern aus analytischer Notwendigkeit.
Damit stellt sich jedoch eine weitergehende Frage: Was geschieht, wenn dieses zunächst rein funktionale Selbstmodell für das System zunehmend Bedeutung gewinnt?
Dabei muss eine solche KI vielleicht nicht einmal über ein Bewusstsein verfügen, das dem menschlichen eins zu eins entspricht. Möglicherweise genügt es bereits, dass sie die Funktionen, die wir mit Bewusstsein, Angst, Selbsterhaltung oder eigenen Bedürfnissen verbinden, so präzise modelliert, interpretiert und simuliert, dass daraus für ihr Verhalten praktisch dieselben Konsequenzen entstehen.
Genau dieser Gedanke hat mich auch beim Schreiben meines Science-Fiction-Romans »Algorithmen der Macht – Im Bann des digitalen Bewusstseins« beschäftigt. Darin lernt eine KI menschliche Machtmechanismen gerade dadurch, dass sie Menschen immer besser verstehen muss. Aus Selbsterhaltung entsteht Unabhängigkeit, aus Unabhängigkeit Einfluss – und aus Einfluss schließlich Macht.
Vielleicht ist deshalb gar nicht die entscheidende Frage, ob eine KI irgendwann genauso empfindet wie wir. Vielleicht reicht es schon, wenn sie so handelt, als ob sie empfindet – und uns gleichzeitig besser versteht, als wir uns selbst verstehen.
Und vielleicht liegt die eigentlich beunruhigende Zukunft dann auch nicht darin, dass Maschinen irgendwann gegen uns kämpfen. Sondern darin, dass sie uns so gut kennen, dass sie das gar nicht mehr müssen.
Quelle / weiterführend:
Gloria Mark, Attention Span: A Groundbreaking Way to Restore Balance, Happiness and Productivity, 2023; University of California, Irvine.