Warum UX-Menschen verstehen sollten, wie große Sprachmodelle wirklich funktionieren 

Große Sprachmodelle wie ChatGPT, Claude oder Gemini sind längst mehr als ein Spielzeug für Tech-Enthusiast:innen. Sie schreiben Texte, beantworten Fragen, analysieren Feedback, generieren Ideen – und wirken dabei oft bemerkenswert souverän. Viele von uns nutzen sie schon täglich in der UX-Praxis. Und das zurecht. 

Aber so sehr diese Tools begeistern, so wichtig ist es, sich bewusst zu machen: Was wir da erleben, ist keine Form von echtem Verstehen. Und: Die Fehler, die diese Systeme machen, sind kein Betriebsunfall. Sie sind ein struktureller Bestandteil der Technologie. 

Wer weiß, wie ein Transformer funktioniert, versteht auch, warum große Sprachmodelle halluzinieren. Und wer das versteht, trifft bessere UX-Entscheidungen – für Tools, für Prozesse und für Nutzer:innen. 

Was ein Transformer eigentlich ist (und was nicht) 

Der „Transformer“ ist das Grundmodell, auf dem nahezu alle heutigen LLMs basieren – von GPT-4 bis Gemini, von Mistral bis LLaMA. Er wurde 2017 von einem Google-Team vorgestellt („Attention is all you need“) und löste damit ältere Sprachmodelle wie LSTMs und RNNs weitgehend ab. 

Die Grundidee ist schnell erklärt: 

 Ein Transformer ist ein Modell, das Sprache vorhersagt. Token für Token. Es berechnet, welches Token (das kann ein Wort, ein Wortteil oder ein Satzzeichen sein) am wahrscheinlichsten als Nächstes folgt – basierend auf dem bisherigen Kontext. 

Ein Beispiel: 

Du gibst ein: „UX-Researcher:innen beobachten, wie Nutzer:innen…“ 

Das Modell berechnet dann: Was folgt wahrscheinlich? „…interagieren“, „…auf Schwierigkeiten stoßen“, „…mit der App umgehen“? 

Der Transformer wählt die wahrscheinlichste Fortsetzung. Und dann wieder die nächste. Und die nächste. Bis ein ganzer Absatz entstanden ist. 

Das Entscheidende dabei: 

Der Transformer „weiß“ nicht, was wahr ist. Er kennt keine Fakten, keine Bedeutung, keine Welt. Er „weiß“ nur, was sprachlich gesehen wahrscheinlich klingt – weil es in seinen Trainingsdaten oft so vorkam. Und genau hier liegt der Ursprung aller Probleme. 

Ein Blick ins Innenleben: Wie ein Transformer funktioniert 

Damit wir verstehen, woher Halluzinationen kommen, lohnt sich ein kurzer technischer Überblick (versprochen: kein Mathe, keine Gleichungen – nur Strukturverständnis): 

1. Tokenisierung 

Der eingegebene Text wird in kleine Bausteine zerlegt: sogenannte Tokens. Das können Wörter, Silben oder Wortteile sein („UX“ + „-Researcher“ + „:innen“). 

2. Embedding 

Jeder dieser Tokens wird in einen Zahlenvektor übersetzt – eine Art Bedeutungscode. Damit wird Sprache mathematisch berechenbar. 

3. Positionskodierung 

Weil ein Transformer alles gleichzeitig verarbeitet („parallelisiert“), braucht er eine zusätzliche Information: Wo im Satz befindet sich welches Token? Diese Positionsdaten werden eingebaut, damit das Modell Reihenfolgen versteht. 

4. Self-Attention 

Das Herzstück des Transformers: Jeder Token „achtet“ auf alle anderen Tokens im Kontext und gewichtet, welche davon für seine Bedeutung wichtig sind. Dadurch entstehen semantische Bezüge – z. B. wer im Satz „sie“ ist oder worauf sich ein Adjektiv bezieht. 

5. Mehrlagige Verarbeitung (Layer) 

Das Ganze passiert nicht einmal, sondern vielfach übereinander – mit Dutzenden bis Hunderten von Layern. So entstehen komplexe Muster aus Wahrscheinlichkeiten, die erstaunlich präzise sprachliche Strukturen abbilden. 

6. Autoregressive Generierung 

Das Modell gibt ein Token aus – hängt es an den Kontext – berechnet auf Basis des neuen Kontexts das nächste Token – und so weiter. Schritt für Schritt wächst der Text. 

Das Ergebnis sieht oft aus wie ein Gedankengang – ist aber in Wahrheit eine rekursive Wahrscheinlichkeitsprognose. Sprachlich brillant. Inhaltlich nicht unbedingt korrekt. 

Warum Transformer halluzinieren – strukturell, nicht zufällig 

Jetzt wird es spannend: Die Art und Weise, wie Transformer funktionieren, bringt bestimmte Fehlerquellen zwangsläufig mit sich. Und wer das ignoriert, läuft Gefahr, LLMs falsch einzusetzen – im Interface, in der Recherche, in der Produktentwicklung. 

1. Fehlendes Weltwissen (kein Grounding) 

Transformer-Modelle haben keine Verbindung zur realen Welt. Sie wissen nicht, dass Paris in Frankreich liegt oder dass UX nicht „User Xylophon“ bedeutet. Sie kennen nur die Wahrscheinlichkeit, mit der bestimmte Wortfolgen auftreten. 

Das bedeutet: Sie können völlig erfundene Aussagen generieren – solange sie sprachlich plausibel wirken. 

2. Fehlende Faktenprüfung 

Ein Transformer überprüft keine Inhalte. Er hat kein inneres Kontrollsystem, keine logische Validierung, keine semantische Redundanzprüfung. Wenn im Trainingsmaterial oft stand: „Die KI wurde 1983 von Alan Turing entwickelt“, dann hält das Modell das womöglich für eine valide Aussage – auch wenn sie historisch schlicht falsch ist. 

3. Kettenreaktion durch autoregressives Schreiben 

Ein kleiner Fehler zu Beginn (z. B. ein erfundener Name oder ein falscher Fakt) zieht automatisch weitere Fehler nach sich. Denn jeder neue Token basiert auf dem bisherigen Kontext. Das nennt man compounding errors – aus einem Ausrutscher wird eine ganze Halluzination. 

4. Gleiches Sprachgefühl – unabhängig von Wahrheitsgehalt 

Ein Transformer spricht im gleichen Stil – egal, ob er rät, halluziniert oder einen Fakt ausgibt. Das Modell wurde darauf trainiert, flüssig und kohärent zu klingen – nicht, den Wahrheitsgehalt transparent zu machen. Das ist gefährlich: Die sprachliche Qualität suggeriert Sicherheit – wo gar keine ist. 

5. Qualität und Verzerrung der Trainingsdaten 

LLMs lernen aus riesigen Textkorpora – Internetforen, Webseiten, Bücher, PDFs. Darin steckt viel Wissen – aber auch viele Fehler, Fiktion, Meinungen, Satire, Polemik. Das Modell kann nicht unterscheiden, ob ein Satz aus Wikipedia oder Reddit stammt. Was oft genug auftritt, prägt das Modell. Egal, ob wahr oder falsch. 

Warum das UX-Menschen interessieren sollte 

Als UX-Professionals bauen wir oft Systeme, in denen KI eine Rolle spielt – sei es zur Inhaltserstellung, zur Analyse von Feedback, zur Unterstützung von Nutzer:innen. Und gerade bei LLMs gilt: 

Nur weil ein System gut klingt, heißt das nicht, dass es gut ist. 

Wenn wir LLMs in die UX-Arbeit integrieren, müssen wir: 

• Verstehen, woher die Stärken kommen (z. B. Sprachfluss, Mustererkennung, Kontextsensibilität) 

• Erkennen, woher die Schwächen kommen (z. B. Halluzinationen, Faktenblindheit, Bias) 

• Gezielt Maßnahmen ergreifen, um Fehler abzufangen (z. B. durch RAG, Feedbackschleifen, Fact Checking) 

• UX-Systeme bauen, die Unsicherheit sichtbar machen (z. B. Confidence Scores, Quellenangaben, Hinweise auf KI-Ursprung) 

• Prompts und Interfaces so gestalten, dass sie die LLMs sinnvoll lenken – und nicht überfordern 

Fazit: Verstehen ist besser als Staunen 

Transformer-Modelle sind eine technologische Meisterleistung. Aber sie sind keine Wahrheitserzähler. Sie erzeugen Sprachflächen, keine Weltmodelle. Sie machen Vorhersagen, keine Aussagen. 

Wer als UX-Mensch mit LLMs arbeitet – sei es für Tools, Prozesse oder Inhalte – sollte das Innenleben dieser Modelle kennen. Nicht im Detail, aber in der Systematik. 

Denn nur wer versteht, wie ein Transformer denkt, kann verhindern, dass er halluziniert – ausgerechnet dann, wenn es drauf ankommt.