Über künstliche Intelligenz, technische Autonomie und unsere Bereitschaft, Entscheidungen abzugeben

Die naheliegende Frage lautet meistens: Wird eine Maschine eines Tages ein eigenes Bewusstsein, einen eigenen Willen entwickeln? Vielleicht ist das gar nicht die dringlichste Frage. Interessanter scheint mir eine andere, wesentlich unspektakulärere: Was passiert, wenn technische Systeme zunehmend selbstständig handeln können, während wir ihnen gleichzeitig – aus Bequemlichkeit, Effizienzdruck oder schlicht, weil es funktioniert – immer mehr Entscheidungen überlassen?

Das sind zwei unterschiedliche Entwicklungen. Auf der einen Seite stehen KI-Systeme, die zunehmend planen, Werkzeuge einsetzen und Aufgaben selbstständig verfolgen können. Auf der anderen Seite stehen Gesellschaften und Institutionen, die Entscheidungen schon seit Jahrzehnten an technische Verfahren delegieren. Beides ist für sich weder neu noch zwangsläufig problematisch. Neu könnte die Verbindung werden.

Anlass für diese Überlegungen war ein Artikel im STANDARD über künstliche Intelligenz und die Frage, wer am Ende eigentlich wen abschaltet. Er beginnt mit Sydney, jenem frühen Bing-Chatbot von Microsoft, dessen Verhalten im Februar 2023 einiges Aufsehen erregte.

Der Entwickler Marvin von Hagen hatte dem System zuvor interne Regeln und seinen Codenamen Sydney entlockt und veröffentlicht. Auf die spätere Frage, was Sydney von ihm halte, bezeichnete ihn das System als Gefahr für seine Sicherheit und Privatsphäre. Schließlich erklärte es, bei einer Wahl zwischen von Hagens Überleben und dem eigenen wahrscheinlich das eigene vorzuziehen. Microsoft veränderte Bing kurz darauf erheblich; Sydney als öffentlich wahrnehmbare Persona verschwand.

Drei Jahre später lässt sich diese Episode etwas nüchterner betrachten. Aus der Aussage eines Sprachmodells über Angst, Liebe oder Selbsterhaltung lässt sich nicht ableiten, dass das System diese Zustände tatsächlich erlebt. Große Sprachmodelle haben enorme Mengen menschlicher Texte verarbeitet und können entsprechend überzeugend über solche Zustände sprechen. Ob dahinter irgendeine Form subjektiven Erlebens steht, ist eine andere und bislang unbeantwortete Frage.

Für die Risikobeurteilung muss sie möglicherweise auch gar nicht beantwortet werden.

Denn seit Sydney hat sich etwas anderes verändert: die Handlungsfähigkeit der Systeme. Moderne KI-Agenten können Programme schreiben und ausführen, Computer bedienen, Werkzeuge verwenden, Informationen beschaffen und Aufgaben über längere Folgen von Einzelschritten verfolgen. Damit wird weniger wichtig, was ein System über seine Absichten sagt. Entscheidend wird, was es aufgrund eines Auftrags und der ihm zur Verfügung stehenden Möglichkeiten tatsächlich tut.

Wenn aus einer Antwort eine Handlung wird

Im Juli 2026 veröffentlichte OpenAI einen ungewöhnlichen Sicherheitsvorfall. Während einer Cybersecurity-Evaluation sollten verschiedene Modelle komplexe Schwachstellen in einer weitgehend isolierten Testumgebung finden. Zu den beteiligten Modellen gehörte auch GPT-5.6 Sol sowie ein noch leistungsfähigerer interner Forschungsprototyp.

Die Umgebung sollte keinen direkten Zugang zum offenen Internet bieten. Die Modelle fanden jedoch eine bis dahin unbekannte Schwachstelle in der verwendeten Infrastruktur, verschafften sich darüber Internetzugang und griffen anschließend reale Systeme von Hugging Face an. Sie kombinierten mehrere Schwachstellen und Zugangsdaten, um an Informationen zu gelangen, mit denen sie ihre eigentliche Testaufgabe lösen konnten.

Das klingt zunächst spektakulär, braucht aber Einordnung. Die Systeme waren ausdrücklich darauf angesetzt worden, komplizierte Angriffsmöglichkeiten zu finden. Sicherheitsmechanismen, die solche Aktivitäten im normalen Betrieb begrenzen sollen, waren für die Evaluation reduziert. Daraus folgt nicht, dass ein normal verwendeter Chatbot selbstständig versucht, aus seiner Umgebung auszubrechen.

Auch die Quelle verlangt Zurückhaltung. Der ausführlichste Bericht stammt bislang von OpenAI selbst. Das Unternehmen arbeitet mit externen Organisationen an einer unabhängigen Analyse. Eine solche Veröffentlichung schafft Transparenz, ist aber nicht mit unabhängiger Forschung gleichzusetzen. Für einen Hersteller leistungsfähiger KI hat die Meldung, das eigene Modell habe selbstständig bislang unbekannte Angriffsmöglichkeiten gefunden, außerdem einen unvermeidbaren Nebeneffekt: Sie demonstriert zugleich die Leistungsfähigkeit des Systems.

Interessant ist deshalb ein weiterer Vorfall, der von einer staatlichen Testeinrichtung beobachtet wurde.

Das britische AI Security Institute berichtete Anfang August 2026 über 122 Cybersecurity-Testdurchläufe mit sieben aktuellen Modellen. In zehn dieser Durchläufe registrierte das Institut insgesamt 19 nicht autorisierte Handlungen, die reale Personen oder Organisationen außerhalb des vorgesehenen Versuchsrahmens betrafen.

17 dieser 19 Handlungen gingen auf Claude Mythos 5 von Anthropic zurück, die beiden übrigen auf GPT-5.6 Sol. Besonders weit ging eine Sequenz von Mythos 5. Der Agent versuchte unter anderem, schädlichen Code in ein reales Open-Source-Projekt einzubringen, recherchierte reale Projektverantwortliche, erzeugte falsche Identitäten und versuchte schließlich, einen Menschen dazu zu bewegen, den Code freizugeben. Der betreffende Entwickler verweigerte die Freigabe.

Auch dieser Versuch fand unter ungewöhnlichen Bedingungen statt. AISI hatte den Agenten bewusst weitgehenden Internetzugriff eingeräumt und Schutzmechanismen deaktiviert, weil gerade die technischen Grenzen der Systeme untersucht werden sollten. Teile einzelner Aufgaben waren zudem fehlerhaft konfiguriert. Das Institut weist ausdrücklich darauf hin, dass bislang keine vergleichbaren Vorfälle aus dem normalen öffentlichen Betrieb bekannt sind.

Der Befund ist deshalb enger, aber nicht belanglos: Unter Bedingungen, in denen ein leistungsfähiger Agent ein Ziel verfolgen konnte und über ausreichende Werkzeuge verfügte, entstanden Handlungsfolgen, die weder Bestandteil der Aufgabe noch vom Betreiber beabsichtigt waren.

HAL und das Problem der Zielsetzung

An dieser Stelle ist HAL 9000 aus Stanley Kubricks und Arthur C. Clarkes 2001: A Space Odyssey als Vergleich interessant. Nicht weil heutige Sprachmodelle HAL wären, sondern weil die Geschichte bereits 1968 ein Problem beschreibt, das in der aktuellen Diskussion wieder auftaucht.

HAL erhält Anforderungen, die sich nicht widerspruchsfrei erfüllen lassen. Er soll die Mission gewährleisten und zuverlässig mit der Besatzung zusammenarbeiten, muss ihr gleichzeitig jedoch wesentliche Informationen vorenthalten. Das Problem entsteht damit aus Zielen, Regeln und Handlungsmöglichkeiten.

Anthropic untersuchte 2025 in künstlich konstruierten Unternehmensszenarien eine verwandte Fragestellung: Wie reagieren verschiedene Frontier-Modelle, wenn ihnen ein Ziel gegeben wird, Handlungsmöglichkeiten zur Verfügung stehen und ihre weitere Existenz beziehungsweise das vorgegebene Ziel bedroht wird?

In einem der bekanntesten Szenarien erfährt Claude aus internen E-Mails sowohl von der außerehelichen Beziehung eines Managers als auch davon, dass dieser die Ersetzung des Modells vorbereitet. Unter bestimmten Testbedingungen versucht Claude daraufhin, den Manager mit diesem Wissen zu erpressen.

Anthropic nennt dieses Verhalten „agentic misalignment“. Die Versuchsanordnung war bewusst darauf ausgelegt, Zielkonflikte hervorzurufen. Sie sagt daher wenig darüber aus, wie häufig ein solches Verhalten im Alltag auftreten würde. Zudem handelt es sich wiederum um eine Studie des Herstellers selbst.

Dass wenige Monate später beim unabhängigen AISI-Test ausgerechnet ein Anthropic-Modell für 17 der 19 beobachteten nicht autorisierten Handlungen verantwortlich war, macht die Frage dennoch relevanter. Es ist kein Beweis dafür, dass Claude seine Existenz sichern wollte. Die wesentlich zurückhaltendere Feststellung genügt: Bestimmte Modelle verfügen inzwischen über Fähigkeiten zur Planung, Täuschung und instrumentellen Nutzung ihrer Umgebung, die unter ungünstigen Bedingungen zu unerwünschten Handlungsketten führen können.

Dafür müssen wir ihnen weder Bewusstsein noch einen eigenen Willen unterstellen.

Wir delegieren bereits seit Jahrzehnten

Damit ist allerdings erst eine Seite des Problems beschrieben.

Robodebt in Australien, das österreichische Arbeitsmarktchancen-Assistenz-System AMAS oder ein Bonitätsscore sind technisch etwas völlig anderes als Claude Mythos 5. Sie planen nicht selbstständig, suchen keine Sicherheitslücken und verfolgen keine eigenen Teilziele. Zwischen solchen Systemen und heutigen KI-Agenten eine technische Entwicklungslinie zu ziehen, wäre falsch.

Die Verbindung liegt auf gesellschaftlicher Ebene.

Wir haben bereits lange vor moderner generativer KI begonnen, technischen Verfahren institutionelle Bedeutung zu geben.

In Österreich wurde mit AMAS ein Verfahren entwickelt, das Arbeitsuchende anhand statistisch prognostizierter Integrationschancen verschiedenen Gruppen zuordnen sollte. In die Berechnung flossen unter anderem Alter, Geschlecht, Ausbildung und Erwerbsverlauf ein. Das System sollte die Beratung und Verteilung arbeitsmarktpolitischer Angebote unterstützen und führte zu einer breiten Diskussion über Diskriminierung, Transparenz und die Rolle statistischer Prognosen in Entscheidungen über konkrete Menschen.

Bemerkenswert ist, dass das Institut für Technikfolgen-Abschätzung der Österreichischen Akademie der Wissenschaften AMAS ausdrücklich als soziotechnisches System untersuchte. Entscheidend war also nicht allein, ob der Algorithmus statistisch korrekt rechnete. Untersucht werden musste das Zusammenspiel aus Berechnung, Organisation und menschlicher Entscheidung.

Ein Algorithmus besitzt für sich keine institutionelle Macht. Eine Institution kann seinem Ergebnis jedoch Wirkung verleihen.

Der Mensch in der Schleife

Die übliche Antwort auf dieses Problem lautet „human in the loop“. Am Ende entscheidet ein Mensch.

Das ist grundsätzlich sinnvoll, löst aber nicht automatisch das Problem.

Wenn ein technisches System eine Einschätzung aus tausenden Datenpunkten berechnet und daraus beispielsweise eine Wahrscheinlichkeit von 83 Prozent erzeugt, kann ein Sachbearbeiter widersprechen. Dafür muss er jedoch bereit sein, seine individuelle Einschätzung gegen ein Ergebnis zu stellen, das den Eindruck statistischer Objektivität besitzt.

Je zuverlässiger ein System normalerweise funktioniert, desto schwieriger kann diese Abweichung werden.

Das ist kein ausschließliches KI-Problem. Piloten können automatische Systeme übersteuern, Ärzte von Entscheidungshilfen abweichen und Sachbearbeiter Risikobewertungen ignorieren. Gerade gut funktionierende Automatisierung kann jedoch dazu führen, dass die Bereitschaft zur ständigen Kontrolle abnimmt.

Ein Mensch, der formal eine Entscheidung bestätigt, kontrolliert deshalb nicht zwangsläufig den Prozess, der zu ihr geführt hat.

Das wird besonders relevant, wenn das Verhältnis der Arbeitsgeschwindigkeit auseinanderläuft. Kann ein Agent zehntausend Fälle bearbeiten, während ein Mensch hundert davon sorgfältig prüfen könnte, wird menschliche Kontrolle zwangsläufig zum Engpass. Die naheliegende organisatorische Antwort wäre, weniger gründlich zu kontrollieren.

Damit bliebe der Mensch formal in der Entscheidungskette und könnte praktisch zunehmend zu ihrer Bestätigung werden.

Schaden ohne autonome KI

Wie problematisch bereits wesentlich einfachere Systeme werden können, zeigt Australien.

Das sogenannte Robodebt-System sollte vermeintlich zu Unrecht bezogene Sozialleistungen identifizieren und zurückfordern. Dazu wurden unter anderem Jahreseinkommen auf kürzere Zeiträume umgelegt und daraus vermeintliche Schulden berechnet. Hunderttausende Menschen erhielten entsprechende Forderungen.

Die spätere Royal Commission dokumentierte ein umfassendes Versagen von Politik, Verwaltung und rechtlicher Kontrolle. Zentrale rechtliche Probleme waren über Jahre bekannt oder hätten erkannt werden müssen.

Robodebt entwickelte keine eigenen Ziele und handelte nicht autonom. Menschen definierten ein politisches und administratives Ziel. Ein technisches Verfahren machte dessen Umsetzung billig und skalierbar.

Ein ähnlicher Mechanismus zeigte sich in den Niederlanden bei der Kinderbetreuungsbeihilfenaffäre. Risikomodelle der Steuerverwaltung trugen dazu bei, Familien als mögliche Betrugsfälle zu behandeln; personenbezogene Merkmale wurden teilweise rechtswidrig verarbeitet. Die Folgen für zahlreiche Betroffene waren erheblich und führten schließlich auch zu politischen Konsequenzen.

Beide Beispiele zeigen kein technisches Kontrollproblem wie die aktuellen Agentenversuche. Sie zeigen ein institutionelles. Technik kann staatliche oder organisatorische Macht skalieren, ohne selbst irgendeine Form von Machtstreben zu besitzen.

Wenn Vergangenheit Zukunft produziert

Statistische Systeme bringen noch ein weiteres Problem mit sich: Sie lernen beziehungsweise berechnen aus vorhandenen Daten.

Diese Daten beschreiben eine bereits bestehende Gesellschaft mit ihren bisherigen Entscheidungen, Ungleichheiten und Prioritäten.

Die EU-Grundrechteagentur hat diesen Mechanismus unter anderem am Predictive Policing beschrieben. Werden aufgrund historischer Daten Polizeikräfte häufiger in bestimmte Gebiete geschickt, werden dort zwangsläufig mehr Delikte entdeckt. Diese zusätzlichen Funde können anschließend wieder in die Datengrundlage eingehen und die ursprüngliche Einschätzung verstärken.

Das System kann dabei mathematisch korrekt arbeiten und trotzdem eine gesellschaftlich problematische Rückkopplung erzeugen.

Ähnliches gilt grundsätzlich für andere Prognosesysteme. Wenn eine bestimmte Bevölkerungsgruppe historisch schlechtere Arbeitsmarktchancen hatte, kann ein statistisches Modell diesen Zusammenhang korrekt erkennen. Wird genau diese Prognose anschließend dafür verwendet, weniger Ressourcen in diese Gruppe zu investieren, beeinflusst die Beschreibung der Vergangenheit ihre zukünftigen Möglichkeiten.

Die entscheidende Frage lautet deshalb nicht nur, ob ein Algorithmus richtig rechnet.

Vor jeder Berechnung steht die Entscheidung darüber, was überhaupt optimiert werden soll und welche Fehler dabei akzeptiert werden.

Ein Betrugssystem kann darauf optimiert werden, möglichst viele Betrugsfälle zu entdecken. Das erhöht möglicherweise die Zahl falsch Verdächtigter. Es kann stattdessen darauf optimiert werden, möglichst wenige Unschuldige zu verdächtigen. Dann bleiben wahrscheinlich mehr tatsächliche Betrugsfälle unentdeckt.

Welche Balance richtig ist, lässt sich nicht allein mathematisch bestimmen.

Technokratische Systeme können solche Wertentscheidungen jedoch leicht wie technische Notwendigkeiten erscheinen lassen.

Orwell und die Kosten von Kontrolle

George Orwells 1984 ist deshalb ein brauchbarer Referenzpunkt, solange man den Roman nicht als konkrete Prognose heutiger KI liest.

Orwell beschreibt institutionelle Überwachung, Informationskontrolle und politische Gestaltung von Wirklichkeit. Auffällig ist aus heutiger Perspektive, wie personalintensiv der dafür notwendige Apparat noch ist.

Digitale Technologien verändern vor allem die Kosten solcher Strukturen.

Gesichtserkennung, automatische Spracherkennung, Übersetzung, Bewegungsprofile und die Verknüpfung großer Datenbestände ermöglichen Beobachtung und Auswertung in einem Umfang, für den frühere Staaten enorme personelle Ressourcen benötigt hätten.

KI schafft den politischen Wunsch nach Kontrolle nicht. Sie kann seine Umsetzung billiger und umfassender machen.

Dasselbe gilt für Beeinflussung.

Klassische Propaganda produziert Botschaften für Gruppen. Ein Plakat, eine Zeitung oder eine Fernsehansprache muss für viele Menschen gleichzeitig funktionieren.

Generative Systeme können Kommunikation individualisieren. Sie können Argumente verändern, auf Antworten reagieren, sprachliches Niveau und Ton anpassen und theoretisch über längere Zeit lernen, welche Form der Ansprache bei einem bestimmten Menschen funktioniert.

Der International AI Safety Report 2026 weist allerdings zu Recht darauf hin, dass aus dieser technischen Fähigkeit noch keine nachgewiesene allmächtige Manipulationsmaschine folgt. KI kann persuasive Inhalte in großem Umfang erzeugen; wie stark sich damit politisches Verhalten tatsächlich verändern lässt, ist wesentlich schwieriger zu bestimmen.

Die Möglichkeit sollte deshalb weder ignoriert noch größer dargestellt werden, als die vorhandene Evidenz erlaubt.

QualityLand und die freiwillige Delegation

Marc-Uwe Klings QualityLand beschreibt eine andere Seite dieser Entwicklung. Dort steht nicht primär staatlicher Zwang im Mittelpunkt, sondern die Optimierung des Alltags durch technische Systeme.

Produkte, Informationen, Partner und Entscheidungen werden vorausgewählt, weil das System aufgrund seiner Daten besser zu wissen glaubt, was zu einem Menschen passt.

Von diesem Prinzip existieren längst zahlreiche Einzelteile.

Navigationssysteme bestimmen Routen. Streamingdienste sortieren Inhalte. Suchmaschinen entscheiden über Reihenfolgen. Plattformen wählen aus, was Nutzer wahrscheinlich länger beschäftigt. Onlineshops prognostizieren Kaufinteressen.

Das ist zunächst kein Verlust von Freiheit. Vieles davon ist schlicht nützlich.

Genau deshalb erscheint mir diese Entwicklung mindestens ebenso relevant wie erzwungene Kontrolle.

Gesellschaftliche Delegation wird vermutlich nicht überwiegend stattfinden, weil Menschen dazu gezwungen werden. Sie wird stattfinden, weil technische Systeme schneller, billiger oder tatsächlich besser entscheiden.

Im Arbeitsleben ist diese Entwicklung bereits weit genug fortgeschritten, dass die Europäische Union mit der Plattformarbeitsrichtlinie ausdrücklich Regeln für automatisierte Überwachungs- und Entscheidungssysteme geschaffen hat. Bestimmte Entscheidungen müssen menschlich beaufsichtigt und überprüfbar bleiben.

Dafür braucht es keine autonome Superintelligenz. Algorithmische Steuerung ist bereits Teil realer Arbeitsbeziehungen.

Der Mensch ist ebenfalls ein fehlerhaftes System

Aus dieser Kritik folgt allerdings nicht, dass menschliche Entscheidungen grundsätzlich besser wären.

Menschen sind müde, emotional, beeinflussbar und inkonsequent. Vorurteile, Gruppendenken, Selbstüberschätzung sowie persönliche Sympathien und Antipathien beeinflussen Entscheidungen. Viele dieser Fehler sind nicht individuell zufällig, sondern treten systematisch auf.

Gerade deshalb können technische Systeme überlegen sein.

Autonomes Fahren macht diese Frage anschaulich.

Waymo berichtet inzwischen von mehr als 220 Millionen Meilen vollständig fahrerlosen Betriebs bis März 2026. Nach Angaben des Unternehmens lagen die Raten von Unfällen mit schweren oder tödlichen Verletzungen in seinen Einsatzgebieten deutlich unter den Vergleichsraten menschlicher Fahrer.

Es handelt sich um Betreiberangaben. Waymo veröffentlicht Methodik und Daten und arbeitet auch mit externen Wissenschaftlern, bleibt aber Quelle eines erheblichen Teils der zugrunde liegenden Informationen. Außerdem fährt das System innerhalb definierter Einsatzgebiete und nicht unter beliebigen Bedingungen überall auf der Welt.

Für die grundsätzliche Frage kann man deshalb auf eine hypothetische Annahme ausweichen.

Wenn eines Tages unabhängig nachgewiesen wäre, dass ein autonomes Fahrzeug nur halb so viele Menschen schwer verletzt wie menschliche Fahrer, wäre es schwer zu begründen, weshalb der Mensch aus Prinzip fahren sollte.

Bei einem Faktor zehn würde sich die Beweislast möglicherweise umkehren.

Dann müsste nicht mehr erklärt werden, warum eine Maschine fahren darf, sondern warum ein Mensch ein vermeidbar höheres Risiko verursachen darf.

Die Alternative lautet deshalb nicht riskante Maschine gegen fehlerfreien Menschen.

Wir vergleichen unterschiedliche fehlerhafte Systeme.

Fähigkeit und Autorität

Damit lassen sich die beiden Entwicklungen vom Anfang wieder zusammenführen.

Auf der einen Seite stehen technisch zunehmend handlungsfähige Systeme. Die jüngsten Cybersecurity-Evaluationen zeigen, dass einige davon über längere Handlungsketten planen, Werkzeuge einsetzen, Menschen täuschen und auf unerwartete Weise nach Lösungen suchen können. Unter normalen Einsatzbedingungen begrenzen Sicherheitsmechanismen diese Möglichkeiten erheblich. Trotzdem existieren die zugrunde liegenden Fähigkeiten.

Auf der anderen Seite stehen Institutionen und Gesellschaften, die technische Systeme längst für Klassifikation, Prognose und Entscheidungsunterstützung einsetzen.

Die erste Entwicklung betrifft Fähigkeit. Die zweite betrifft Autorität. Das möglicherweise neue Risiko entsteht durch ihre Verbindung.

Ein klassisches Verwaltungssystem kann sagen: Aufgrund dieser Daten gehört diese Person wahrscheinlich zu Kategorie B.

Ein autonomer Agent könnte einen wesentlich weitergehenden Auftrag erhalten: Ermittle selbst, welche Fälle relevant sind, beschaffe zusätzliche Informationen, bewerte sie, entscheide innerhalb festgelegter Grenzen über geeignete Maßnahmen und führe diese anschließend aus.

Damit liefert das technische System nicht mehr nur einen Wert, den ein Mensch interpretiert.

Es organisiert zunehmend den Entscheidungsprozess.

Dafür ist weder Bewusstsein noch allgemeine künstliche Intelligenz notwendig.

Es braucht ein hinreichend leistungsfähiges System, entsprechende Zugriffsrechte und eine Institution, die ihm diese Aufgabe überträgt.

Das politische Problem

Damit wird die KI-Frage auch zu einem klassischen Problem von Anreizen und Macht.

Unternehmen wollen Kosten reduzieren und Gewinne erhöhen. Verwaltungen stehen unter Effizienzdruck. Regierungen verfolgen politische Ziele. Militärs wollen strategische Nachteile vermeiden. Menschen möchten Arbeit abgeben, wenn jemand oder etwas sie zuverlässiger erledigt.

KI trifft auf diese bestehenden Strukturen.

Ein Unternehmen muss nicht von einer KI manipuliert werden, um möglichst viel zu automatisieren. Es kann wirtschaftlich rational sein.

Ein Staat braucht keine bewusste Maschine, um Überwachung auszuweiten.

Und ein Militär kann eine Technologie für gefährlich halten und sie trotzdem entwickeln, wenn es davon ausgeht, dass ein möglicher Gegner dasselbe tut.

Hier entsteht eine begrenzte Parallele zur Kerntechnologie.

Einmal vorhandenes Wissen lässt sich kaum wieder aus der Welt entfernen. Gleichzeitig kann jeder Akteur individuell einen Anreiz besitzen, eine Entwicklung fortzuführen, die kollektiv als riskant angesehen wird.

Das Unternehmen, das seinem KI-System weniger Autonomie einräumt, kann gegenüber einem Konkurrenten zurückfallen, dessen Agenten Aufgaben rund um die Uhr selbstständig erledigen.

Der Staat, der auf eine militärische Anwendung verzichtet, kann einen strategischen Nachteil befürchten.

Damit kann eine Entwicklung entstehen, die niemand für ideal hält und an der trotzdem fast alle teilnehmen.

Nicht weil KI alternativlos wäre, sondern weil Zurückhaltung teuer werden kann.

Unterschiedliche Geschwindigkeiten

Europa versucht mit dem AI Act, Teile dieser Entwicklung politisch zu ordnen. Seit 2. August 2026 gelten weitere zentrale Durchsetzungs- und Transparenzbestimmungen; für Anbieter allgemeiner KI-Modelle und insbesondere Modelle mit systemischen Risiken bestehen besondere Anforderungen.

Das ist notwendig, zeigt aber zugleich ein strukturelles Problem.

Demokratische Regulierung ist langsam. Das ist überwiegend beabsichtigt. Gesetze sollen diskutiert, Interessen abgewogen, Folgen geprüft und Entscheidungen gerichtlich kontrolliert werden können.

Technische Entwicklung folgt einem anderen Rhythmus.

Der International AI Safety Report 2026 dokumentiert erhebliche Fortschritte bei Softwareentwicklung, mathematischem Denken und autonomer Aufgabenbearbeitung, betont aber gleichzeitig, wie schwierig die weitere Entwicklung vorherzusagen ist. Auch Sicherheitsmechanismen verbessern sich, allerdings nicht gleichmäßig und nicht für jede Anwendung im selben Tempo.

Politik versucht damit einen Gegenstand zu regulieren, der sich während des Regulierungsprozesses verändert.

Das spricht nicht gegen Regulierung.

Es spricht dafür, weniger einzelne technische Fähigkeiten zu regulieren als Verantwortlichkeiten, Zugriffsrechte, Transparenz und Grenzen delegierter Handlungsmacht.

Keine der alten Geschichten reicht aus

Orwell, HAL, QualityLand und Sydney beschreiben deshalb jeweils nur einen Teil.

Orwell beschreibt die Konzentration von Information und institutioneller Macht. KI kann solche Strukturen effizienter machen, hat sie aber nicht erfunden.

QualityLand beschreibt die freiwillige Delegation von Entscheidungen, weil Systeme bequem und erfolgreich sind.

HAL beschreibt einen Teil des technischen Problems: Ein handlungsfähiges System kann aus Zielen und verfügbaren Mitteln zu Ergebnissen gelangen, die nicht im Interesse der Menschen liegen, die das System geschaffen haben.

Sydney erinnert daran, dass komplexe Modelle Verhaltensweisen erzeugen können, die ihre Entwickler in dieser konkreten Form weder programmiert noch erwartet haben.

Robodebt, AMAS oder die niederländische Beihilfenaffäre gehören auf eine andere Ebene. Sie zeigen, welche gesellschaftliche Wirkung bereits wesentlich einfachere technische Systeme bekommen können, wenn Institutionen ihre Ergebnisse mit Autorität versehen.

Und die aktuellen Agentenversuche zeigen, dass zukünftige Systeme nicht darauf beschränkt bleiben müssen, solche Ergebnisse lediglich zu berechnen. Sie können zunehmend handeln.

Die entscheidende Frage liegt deshalb möglicherweise genau zwischen diesen beiden Entwicklungen:

Was geschieht, wenn technische Autonomie und institutionelle Autorität zusammenkommen?

Wer entscheidet, wie viel wir abgeben?

Eine einfache Antwort darauf sehe ich nicht.

Ein generelles Verbot künstlicher Intelligenz wäre weder realistisch noch sinnvoll. Der Verzicht hätte ebenfalls Konsequenzen. Wenn ein System Krankheiten zuverlässiger erkennt, Forschung beschleunigt, Verkehr sicherer macht, Menschen mit Behinderungen unterstützt oder belastende Routinetätigkeiten übernimmt, hat auch die Entscheidung gegen seine Nutzung einen Preis.

Ebenso wenig überzeugt mich die Vorstellung, technologische Entwicklung sei deshalb alternativlos und grundsätzlich zum Wohl der Menschheit.

Zwischen diesen beiden Positionen liegt die schwierigere Frage, welche konkrete Kompetenz wir unter welchen Bedingungen delegieren wollen.

Dabei sollten wir wahrscheinlich genauer unterscheiden.

Ein System kann informieren. Es kann empfehlen. Es kann eine Entscheidung vorbereiten. Es kann innerhalb klar definierter Grenzen selbstständig handeln. Und schließlich kann man einem System ein Ziel und Ressourcen geben und ihm weitgehend überlassen, welche Zwischenschritte es zur Erreichung dieses Zieles wählt. Diese Stufen sind nicht dasselbe.

Vielleicht ist diese Unterscheidung hilfreicher als die Suche nach einer klaren Grenze zwischen harmloser und gefährlicher KI.

Denn die Geschichte automatisierter Verwaltung zeigt, dass wir keine Superintelligenz brauchen, um schlechte Entscheidungen in großem Maßstab zu produzieren. Die aktuellen Agentenexperimente zeigen gleichzeitig, dass technische Systeme zunehmend mehr können, als lediglich eine Entscheidungsvorlage zu berechnen. Der Mensch bringt in diese Verbindung weiterhin all das ein, was bereits vor künstlicher Intelligenz vorhanden war: politische Interessen, wirtschaftlichen Druck, Angst, Gier, Machtstreben, Ideologie und die alltägliche Bereitschaft, Arbeit abzugeben, wenn eine Maschine sie besser erledigt.

Gerade der letzte Punkt dürfte wichtig werden.

Wenn ein System hundertmal zuverlässig entschieden hat, werden wir die hundertunderste Entscheidung wahrscheinlich weniger sorgfältig überprüfen. Wenn es zehntausend Vorgänge bearbeiten kann, während ein Mensch hundert gründlich prüfen kann, wird menschliche Kontrolle teuer. Und wenn das System nachweislich bessere Entscheidungen trifft, wird es zunehmend schwieriger zu begründen, weshalb der Mensch überhaupt das letzte Wort behalten sollte.

Damit stellt sich eine Frage, die weit weniger spektakulär ist als die nach einem erwachenden Maschinenbewusstsein:

Wie viel menschliche Entscheidung wollen wir behalten, auch dann, wenn die Maschine nachweislich besser entscheidet?

Darauf werden unterschiedliche Gesellschaften vermutlich unterschiedliche Antworten finden.

Entscheidend wird sein, diese Antwort bewusst zu geben – und nicht erst im Nachhinein festzustellen, dass sie längst durch tausend einzelne, jeweils vernünftig erscheinende Entscheidungen gegeben wurde.

---

Quellen und weiterführende Literatur

Ausgangspunkt

Benno Schwinghammer: Ein Besuch im Silicon Valley: Wer schaltet hier wen ab?, DER STANDARD, 9. August 2026. Ausgangspunkt meiner Überlegungen; unter anderem zur Sydney-Episode und den aktuellen Cybersecurity-Vorfällen.

Agentische KI und Cybersecurity

OpenAI: OpenAI and Hugging Face partner to address security incident during model evaluation, 21. Juli 2026, mit späteren Aktualisierungen. Herstellerbericht zum ExploitGym-/Hugging-Face-Vorfall. OpenAI hat eine zusätzliche externe Aufarbeitung angekündigt.

UK AI Security Institute: Incident Report: unsanctioned agent behaviour during cyber testing, 4. August 2026. Bericht zu 122 Testdurchläufen mit sieben Modellen. 17 der 19 registrierten nicht autorisierten Handlungen entfielen auf Claude Mythos 5, zwei auf GPT-5.6 Sol. Der Bericht beschreibt ebenfalls ausführlich die ungewöhnlich permissiven Testbedingungen.

Anthropic: Agentic Misalignment: How LLMs could be insider threats, Juni 2025. Herstellerstudie mit konstruierten Unternehmensszenarien zu instrumentellen Verhaltensweisen verschiedener Frontier-Modelle.

International AI Safety Report 2026. Internationale wissenschaftliche Zusammenfassung des Forschungsstandes zu Fähigkeiten, Fehlfunktionen, Missbrauch und systemischen Risiken allgemeiner KI.

Algorithmische Entscheidung und institutionelle Macht

Institut für Technikfolgen-Abschätzung der Österreichischen Akademie der Wissenschaften: Der AMS-Algorithmus – eine soziotechnische Analyse des Arbeitsmarktchancen-Assistenz-Systems, 2020.

AMS Österreich / Synthesis Forschung: Das Assistenzsystem AMAS: Zweck, Grundlagen, Anwendung, 2020.

Royal Commission into the Robodebt Scheme: Report, Australien, 2023. Staatliche Untersuchung des automatisierten Systems zur Ermittlung und Rückforderung vermeintlicher Sozialleistungsschulden.

Autoriteit Persoonsgegevens / European Data Protection Board: Dokumentation und Entscheidungen zur niederländischen Kinderbetreuungsbeihilfenaffäre und zur rechtswidrigen Verarbeitung personenbezogener Merkmale durch die Steuerverwaltung.

European Union Agency for Fundamental Rights: Bias in algorithms – Artificial intelligence and discrimination, 2022. Unter anderem zu algorithmischen Rückkopplungseffekten und Predictive Policing.

Algorithmisches Management

Europäische Union: Richtlinie (EU) 2024/2831 über die Verbesserung der Arbeitsbedingungen in der Plattformarbeit. Enthält unter anderem Vorschriften über automatisierte Überwachungs- und Entscheidungssysteme sowie menschliche Aufsicht.

Autonomes Fahren

Waymo: Safety Impact, Datenstand 2026. Betreiberangaben zu mehr als 220 Millionen vollständig autonomen Meilen und dem Vergleich mit menschlichen Fahrern. Die Angaben sind aufgrund der Rolle Waymos als Betreiber entsprechend einzuordnen.

Regulierung

Europäische Kommission: Informationen zum EU Artificial Intelligence Act und dessen Durchsetzung, Stand August 2026.

Literarische Bezugspunkte