Die Blackbox.

Bekanntes Rezept, unlesbares Ergebnis.

Wie ein Modell trainiert wird, ist gut verstanden: Architektur, Daten, eine Optimierungsregel. Was daraus entsteht, ist jedoch kein Programm, das ein Mensch lesen könnte. Diese Systeme werden eher gezüchtet als gebaut — die Wachstumsbedingungen werden von Hand gesetzt, das Gewachsene selbst nicht. Es gibt keine Codezeile, in der wenn X, dann Y steht, sondern Milliarden gelernter Zahlen, deren gemeinsames Verhalten die Antworten erzeugt.

Beim Blick in diese Systeme sehen wir riesige Matrizen aus Milliarden von Zahlen. Sie berechnen offenbar wichtige kognitive Aufgaben, doch wie genau sie das tun, ist nicht offensichtlich. Dario Amodei, The Urgency of Interpretability, 2025

Das ist das Blackbox-Problem: volle Kontrolle über die Wachstumsbedingungen, aber wenig Einblick in das Gewachsene. Kein Fehler, den jemand im nächsten Quartal behebt, sondern eine strukturelle Eigenschaft der Art, wie diese Systeme entstehen.

Die Erbauer sagen es selbst.

Das ist keine Kritik von außen. Über konkurrierende Labore hinweg klingt das Eingeständnis gleich.

Menschen außerhalb des Feldes sind oft überrascht und beunruhigt, wenn sie erfahren, dass wir nicht verstehen, wie unsere eigenen KI-Schöpfungen funktionieren. Dario Amodei, CEO von Anthropic, 2025

Die inneren Abläufe von Sprachmodellen sind häufig ein Rätsel — selbst für die Forschenden, die sie trainieren. Google DeepMind, Ankündigung von Gemma Scope, 2024

Bei OpenAI kamen viele Fähigkeiten von GPT-4 für die Menschen, die das Modell entwickelt hatten, überraschend. Boaz Barak, ein Harvard-Informatiker, der damals im Superalignment-Team von OpenAI arbeitete, sagt, viele im Feld verglichen ihre Lage mit der „Physik zu Beginn des 20. Jahrhunderts“: viele experimentelle Ergebnisse, aber keine Theorie, die sie erklärt. Mikhail Belkin, der an der UC San Diego untersucht, warum Deep Learning funktioniert, formuliert es noch schärfer: Heutige Trainingsrezepte seien „mehr Alchemie als Chemie“. MIT Technology Review verdichtete den Zustand des Feldes zu einer Überschrift: „Nobody knows how AI works.“

Das Innere lesen — langsam.

Das Feld nimmt die Unklarheit nicht einfach hin. Mechanistische Interpretierbarkeit versucht, die Box direkt zu öffnen: Anthropics Mapping the Mind of a Large Language Model extrahierte zig Millionen für Menschen lesbare Konzepte aus einem produktiv eingesetzten Modell. Nachfolgende Arbeiten zu Schaltkreisen verfolgen einzelne Schritte im Schlussfolgern eines Modells. Das breitere Feld der erklärbaren KI untersucht solche Ansätze seit Jahren (Adadi & Berrada, 2018). Daneben steht eine deutliche Gegenposition: Cynthia Rudin argumentiert, dass bei Entscheidungen mit hohen Risiken nicht Blackboxes erklärt werden sollten, sondern von vornherein interpretierbare Modelle zum Einsatz kommen müssen.

Echte Fortschritte, offen umstrittene Methoden und eine weiterhin große Lücke — das ist der gegenwärtige Stand.

Eine Haltung, keine Beschwerde.

Die tägliche Arbeit mit Systemen, die niemand vollständig lesen kann, verlangt eine bestimmte Haltung: beobachten, bevor man theoretisiert; nur behaupten, was die Belege tragen; Unsicherheit sichtbar halten, statt über sie hinweg aufzutreten. Dieses Labor trägt die Erinnerung dort, wo sie nicht zu übersehen ist — in seinem Namen.

Fragen, die offen bleiben.

• Reift die Interpretierbarkeit, bevor die Systeme ihr entwachsen? Amodei beschreibt es als Wettlauf; sein Ausgang ist offen.
• Wo verläuft die Grenze zwischen dem grundsätzlichen Verständnis eines Systems und der Fähigkeit, es im Detail zu lesen — und was davon verlangen Anwendungen mit hohen Risiken tatsächlich?

2026-07 — Erste Fassung: Problem, öffentliche Eingeständnisse von Anthropic, Google DeepMind und OpenAI-naher Forschung, Interpretierbarkeit und ihre Gegenposition.