Stell dir vor, du präsentierst deinen Stakeholdern eine Nutzer:innen-Aussage aus den letzten Interviews. Die Zitierform ist korrekt, der Inhalt klingt plausibel – aber niemand hat das so gesagt. Das LLM hat es rekonstruiert.

Kein Science-Fiction-Szenario. Sondern ein empirisch belegtes Problem, das gerade dabei ist, leise in die qualitative Forschungspraxis einzusickern.

In meiner Arbeit als UX-Beraterin beobachte ich seit Monaten, wie LLMs zunehmend für die Analyse von Interview-Transkripten eingesetzt werden. Das Versprechen ist verlockend: schnellere Auswertung, weniger manuelle Arbeit, mehr Interviews in weniger Zeit. Aber wie zuverlässig sind die Ergebnisse tatsächlich? Und was passiert, wenn wir zu sehr vertrauen?

In diesem Artikel schauen wir uns an, was aktuelle Benchmarks – allen voran der neue HalluHard-Benchmark – über die Halluzinationsrate von LLMs zeigen, warum Multi-Turn-Dialoge das Problem dramatisch verschärfen, und was das konkret für UX Research und UX AI Prompting bedeutet.

📌 Das Wichtigste in Kürze

• Selbst die besten LLMs halluzinieren in realistischen, mehrstufigen Szenarien in rund 30 % der Fälle – das zeigt der neue HalluHard-Benchmark.

• Bisherige Benchmarks (z. B. TruthfulQA, SimpleQA) sind zu einfach und gesättigt – sie spiegeln die echten Risiken nicht wider.

• LLMs „regenerieren" Zitate aus Transkripten, statt sie zu kopieren – mit teils bedeutungsverändernden Abweichungen.

• Omissions sind das größere Problem: Was ein LLM weglässt, ist für qualitative Analyse oft wichtiger als das, was es erfindet.

• Multi-Turn-Dialoge verschärfen alles: Fehler aus frühen Turns werden zur Grundlage späterer Antworten.

• Die Lösung liegt nicht in mehr Technologie, sondern in mehr Methodenbewusstsein – kombiniert mit kluger Prompt-Architektur.

• Transkripte selbst lesen bleibt unersetzlich. Kein Prompt schützt so gut wie die eigene Vertrautheit mit den Daten.

  
  

Warum alte Benchmarks ein zu optimistisches Bild zeichnen

LLMs und Halluzinationen – das Thema ist nicht neu. Schon länger gibt es Benchmarks, die messen sollen, wie verlässlich Sprachmodelle sind. Aber die Krux: Die meisten dieser Benchmarks testen Szenarien, die mit realen Anwendungsfällen wenig zu tun haben.

TruthfulQA (Lin et al., 2021) war lange der Standard: 817 kurze Fragen zu verbreiteten Fehlvorstellungen, gemessen im Single-Turn-Format. Das Problem – er ist inzwischen weitgehend gesättigt. Analysen zeigen, dass der Benchmark durch die Aufnahme in Trainingsdaten kompromittiert ist, und die Multiple-Choice-Variante lässt sich mit einfachen Heuristiken auf fast 80 % Genauigkeit „austricksen" – ohne die eigentliche Frage zu beantworten.

SimpleQA (OpenAI, 2024) war als härtere Alternative gedacht: 4.326 Faktenfragen mit eindeutigen, zeitstabilen Antworten. Doch aktuelle Frontier-Modelle mit Websuche erreichen dort fast 100 % – auch SimpleQA ist praktisch gesättigt.

Das Muster ist immer dasselbe: Sobald ein Benchmark veröffentlicht ist, optimieren Modelle darauf. Und sobald sie optimieren, bildet er die echte Realität nicht mehr ab.

Was in all diesen Tests fehlt: die Komplexität echter Anwendungsfälle. Offene Antworten. Mehrere Gesprächsrunden. Nischenwissen. Quellen, die tatsächlich existieren müssen.

HalluHard: Was passiert, wenn Benchmarks realistisch werden?

Genau hier setzt HalluHard an – ein neuer Halluzinations-Benchmark, entwickelt von Forschenden der EPFL und des ELLIS Institute / Max-Planck-Institut Tübingen.

Das Design ist grundlegend anders als bisherige Benchmarks:

• Multi-Turn-Dialoge mit 3 Gesprächsrunden statt Single-Turn

• 950 Seed-Fragen aus vier anspruchsvollen Domänen: Rechtsfälle, Forschungsfragen, medizinische Leitlinien und Coding

• Zweistufige Verifikation: Erstens, ob eine zitierte Referenz überhaupt existiert (Reference Grounding). Zweitens, ob der Inhalt die Behauptung tatsächlich stützt (Content Grounding) – inklusive PDF-Parsing

  
  

Das Ergebnis ist ernüchternd: Selbst die besten verfügbaren Modellkonfigurationen mit Websuche halluzinieren in rund 30 % der Fälle. Zum Vergleich – bei SimpleQA mit Websuche liegen dieselben Modelle nahe null.

Zwei weitere Erkenntnisse von HalluHard sind für UX AI Research besonders relevant:

Erstens: Fehlerakkumulation über Turns. Modelle halluzinieren in späteren Gesprächsrunden signifikant häufiger, weil sie auf ihren eigenen früheren Fehlern aufbauen. 3–20 % der falschen Referenzen tauchen in späteren Turns wieder auf. Das Modell glaubt sich quasi selbst.

Zweitens: Die gefährliche Mittelzone. Bei komplett unbekanntem Wissen enthalten sich Modelle oft. Bei Nischenwissen – also dort, wo sie „irgendwie" etwas wissen, aber nicht genug – füllen sie Lücken mit plausibel klingenden, aber falschen Details auf. Genau das ist die Zone, in der qualitative Interviewdaten oft liegen.

Warum Multi-Turn-Dialoge das Problem für UX Research besonders verschärfen

Hier wird es für uns als UX-Forschende konkret. Denn ein typischer Analyse-Workflow mit LLMs ist kein Single-Turn. Er sieht eher so aus:

1. „Hier ist das Transkript von Interview 3. Was sind die Hauptthemen?"

2. „Vergleich das mit den Themen aus Interview 1 und 2."

3. „Welche Widersprüche siehst du zwischen den Teilnehmenden?"

4. „Erstell mir eine Übersicht der Kerninsights mit Zitaten."

   
   

Das ist ein klassischer Multi-Turn-Dialog – und genau das Setting, in dem HalluHard die Fehlerakkumulation nachgewiesen hat.

Wenn das Modell in Turn 1 ein Thema leicht falsch gewichtet, wird dieser Fehler in Turn 2 zur Prämisse für den Vergleich. In Turn 3 werden auf Basis einer bereits verzerrten Analyse „Widersprüche" konstruiert, die es vielleicht gar nicht gibt. In Turn 4 werden Zitate ausgewählt, die eine inzwischen verfestigte – aber schiefe – Narrative stützen.

Das Tückische: Mit jedem Turn wird das Ergebnis kohärenter und überzeugender. Das Modell erzählt konsistent seine eigene Geschichte weiter – während die Verbindung zu den tatsächlichen Daten immer fragiler wird.

Hinzu kommt ein methodisches Problem, das wir aus der qualitativen Forschung kennen: Confirmation Bias. Wenn du in Turn 2 eine bestimmte Richtung vorgibst – etwa „Ich glaube, Frustration ist ein durchgehendes Thema" –, wird das Modell diese Hypothese eher bestätigen als hinterfragen. Es hat keinen inneren Widerspruchsgeist.

Vier konkrete Problemfelder in der qualitativen Analyse

1. Erfundene Zitate: Regenerierung statt Extraktion

Das ist das vielleicht greifbarste Problem. Eine Studie der Learning Analytics Community, die automatisch LLM-generierte Zitate gegen Originaltranskripte abglich, stellte zunächst fest: 7,7 % der gelieferten Zitate waren im Original nicht auffindbar [CEUR-WS.org]. Bei näherer Analyse zeigte sich: Viele waren keine kompletten Erfindungen, sondern „Regenerierungen" – das Modell hatte Füllwörter weggelassen, Interpunktion verändert, Sätze leicht umformuliert.

Für quantitative Analysen mag das tolerierbar sein. Für qualitative Forschung ist es ein fundamentales Problem: Ein weggelassenes „also", ein zusammengezogener Satz, eine veränderte Betonung – das kann in der Interpretation den Unterschied machen. Wenn du ein Zitat als authentische Nutzer:innenstimme in eine Stakeholder-Präsentation gibst, das in Wirklichkeit eine KI-Paraphrase ist, ist das keine Kleinigkeit.

2. Omissions: Das unsichtbare Problem

Die Studien zeigen konsistent: LLMs lassen mehr weg als sie erfinden. Eine Analyse klinischer Transkript-Zusammenfassungen (npj Digital Medicine, 2025) fand eine Halluzinationsrate von 1,47 % – aber eine Omission-Rate von 3,45 %. Das Ausgelassene war mehr als doppelt so häufig wie das Erfundene.

Für UX Research ist das besonders tückisch. Gerade die leisen Signale – ein Zögern, ein Widerspruch mitten in einer Antwort, eine beiläufige Bemerkung, die das eigentliche Problem benennt – sind oft die wertvollsten Einsichten. Ein LLM optimiert auf Kohärenz. Es liefert dir das, was „typisch" aussieht, und filtert das Abweichende raus. Das ist das genaue Gegenteil von dem, was gute qualitative Analyse tun sollte.

3. Glättung statt Tiefe

LLM-Outputs sind sprachlich poliert, konsistent, professionell. Das klingt gut – ist es aber nicht immer. Eine LLM-generierte Themenübersicht wirkt auf den ersten Blick überzeugender als handgeschriebene Notizen mit Fragezeichen und Pfeilen. Dabei ist sie analytisch oft flacher. Die Gefahr: Stakeholder schenken dem Ergebnis mehr Vertrauen, als es verdient – weil es professionell klingt, nicht weil es methodisch tief ist.

4. Kulturelle und sprachliche Nuancen

Eine Studie zu Fokusgruppen-Transkripten aus Kenia (Nature, Scientific Reports, 2025) zeigte: GPT-4o hatte erhebliche Schwierigkeiten mit idiomatischen Ausdrücken und kulturell eingebetteter Sprache. Die Halluzinationen reichten von einzelnen Wortwechseln bis hin zu Zusammenführungen von Textstellen, die die Bedeutung veränderten. Im UX-Kontext bedeutet das: Wenn Teilnehmende Fachjargon nutzen, umgangssprachlich sprechen oder sich vage ausdrücken, übersetzt das Modell das in „Standardsprache" – und verliert dabei Bedeutung.

Das eigentliche Problem: Eine Branche an der Vertrauensschwelle

Bis hierher klingt das wie ein technisches Problem mit technischen Lösungen. Aber es ist mehr als das.

UX Research lebt von der Glaubwürdigkeit qualitativer Daten. Wenn Stakeholdern Zitate präsentiert werden, die niemand so gesagt hat – oder wenn Themen priorisiert werden, weil ein LLM die Nuancen geglättet hat – untergräbt das nicht nur einzelne Projekte. Es untergräbt das Vertrauen in qualitative Forschung insgesamt.

Gerade jetzt, wo Organisationen unter Kostendruck stehen und die Versuchung groß ist, LLMs als günstigeren Ersatz für gründliche Analyse zu sehen, braucht es ein klares Bewusstsein für diese Grenzen. Und das Bewusstsein fehlt noch erschreckend oft.

Eine Forschungsgruppe, die thematische Analysen von Software-Engineering-Interviews durchführte (arXiv), brauchte acht Prompt-Iterationen, bis LLM-Outputs methodisch vertretbar waren – und selbst dann war ein manueller Abgleich mit Zeilen- und Segmentnummern zwingend nötig. Das ist kein Workflow, den man mal eben nebenbei einsetzt.

Das Risiko ist real: Wenn eine Disziplin, die ihr Gewicht aus der Nähe zu echten Nutzer:innenstimmen bezieht, diese Stimmen durch KI-Paraphrasen ersetzt – ohne es zu merken oder zu kommunizieren – verliert sie die Grundlage ihrer Legitimität.

Praktische Tipps: So nutzt du LLMs verantwortungsvoll in der Transkriptanalyse

Das heißt nicht: Finger weg von LLMs. Es heißt: klug einsetzen. Hier sind die Strategien, die ich empfehle und selbst anwende:

1. Stern-Modell statt langer Chat Analysiere jedes Interview in einem eigenen, frischen Chat – ohne Kenntnis der anderen Interviews. Die Synthese übernimmst du selbst. Du bist die Instanz, die die Muster zwischen den Interviews erkennt, weil du die Interviews kennst. Das Modell sieht nur seinen eigenen vorigen Output.

2. Re-Grounding in späteren Turns Vertraue in späteren Analyseschritten nicht dem Chatverlauf, sondern gib das Originaltranskript erneut mit. Statt „Basierend auf unserer bisherigen Analyse…" lieber: „Hier ist nochmal das vollständige Transkript. Prüfe, ob die folgenden Themen tatsächlich durch den Text gestützt werden."

3. Transkripte vorab nummerieren Versehe Transkripte mit Zeilennummern und fordere das LLM auf, zu jedem Code und jedem Zitat die Quellzeile anzugeben. Das schafft Rückverfolgbarkeit – und macht Halluzinationen sichtbar, bevor sie in den Bericht wandern.

4. Kontrafaktische Prompts Frag nach jeder Analysephase explizit in die Gegenrichtung: „Was in den Daten widerspricht diesen Themen?" oder „Welche Aussagen passen in keine dieser Kategorien?" Das zwingt das Modell, die eigene vorige Ausgabe kritisch zu prüfen – und kann die Tendenz zur konsistenten Weiterspinnung zumindest bremsen.

5. Unsicherheitsmarkierung einfordern Weise das Modell an, zwischen direkt durch Zitate belegten Aussagen und abgeleiteten Interpretationen zu unterscheiden. Ein Prompt wie „Markiere klar, was direkt im Transkript steht und was du interpretierst" hilft, die Grenze sichtbar zu halten.

6. Omission-Check einbauen Frag explizit: „Welche Passagen des Transkripts tauchen in keinem der genannten Themen auf?" Genau dort könnten die überraschenden Einsichten liegen – die Stellen, die das Modell herausgefiltert hat, weil sie nicht ins Muster passen.

7. Und der wichtigste Tipp: Lies die Transkripte selbst. Immer. Mehrere Studien zeigen: Forschende, die ihre eigenen Interviews geführt und die Transkripte selbst gelesen haben, erkennen LLM-Fehler deutlich besser. Diese Vertrautheit mit den Daten ist kein Overhead, den man wegoptimieren sollte – sie ist der analytische Prozess selbst. Kein Prompt schützt so gut.

FAQ

Sind LLMs für die qualitative UX-Analyse grundsätzlich ungeeignet?

Nein – aber der Einsatz muss klar begrenzt und methodisch reflektiert sein. LLMs können beim Strukturieren, Clustern und beim schnellen Überblick nützlich sein. Sobald es um Interpretation, Zitat-Selektion oder das Erkennen von Widersprüchen geht, braucht es immer eine menschliche Verifikationsschicht.

Warum ist die gemessene Halluzinationsrate (1–2 %) in manchen Studien so niedrig, wenn HalluHard 30 % zeigt?

Weil die Testbedingungen grundlegend unterschiedlich sind. Studien mit niedrigen Raten arbeiten oft mit klar umrissenen Aufgaben, vordefinierten Codebüchern und Single-Turn-Settings. HalluHard simuliert realistischere Szenarien: offene Antworten, Zitierpflicht, mehrere Turns, Nischendomänen. Die Lücke zwischen Benchmark-Performance und realer Einsatzsituation ist das eigentliche Problem.

Was ist mit spezialisierten Tools für qualitative Analyse – sind die besser?

Teilweise ja. Tools wie DeTAILS (Deep Thematic Analysis with Iterative LLM Support) bauen systematische Abgleiche ein – jedes vom LLM generierte Zitat wird automatisch gegen den Originaltext geprüft und verworfen, wenn es nicht wortwörtlich vorkommt. Das ist ein wichtiger Schritt. Aber auch diese Tools ersetzen nicht die analytische Urteilskraft der Forschenden.

Gilt das auch, wenn ich nur sehr lange Transkripte zusammenfassen lasse?

Ja – auch dort ist die Omission-Rate ein Problem. Studien zeigen, dass das Ausgelassene oft doppelt so häufig ist wie das Erfundene. Gerade bei der Zusammenfassung besteht die Gefahr, dass leise Signale und Widersprüche herausgefiltert werden, weil das Modell auf Kohärenz und Vollständigkeit optimiert.

Wie erkläre ich meinen Stakeholdern, warum ich LLM-Outputs noch manuell prüfe?

Einfach und ehrlich: Qualitative Daten sind die Grundlage von Designentscheidungen. Wenn wir Zitate präsentieren, müssen diese stimmen. Kein Unternehmen würde auf Basis von Produktionsdaten entscheiden, ohne sie zu verifizieren – und Nutzer:innen-Zitate sind unsere Produktionsdaten.

Fazit: Ein Werkzeug, kein Ersatz

LLMs können qualitative Analyse beschleunigen. Sie können strukturieren, clustern und einen ersten Überblick geben. Aber sie können nicht ersetzen, was gute qualitative Forschung ausmacht: die Nähe zu den Daten, das Gespür für das Unerwartete, die Bereitschaft, Interpretationen immer wieder am Original zu überprüfen.

Die Erkenntnisse aus HalluHard und den Transkript-Studien zeigen: Das Problem ist nicht marginal. Es ist strukturell. Und es wird sichtbarer, je komplexer und realistischer die Einsatzszenarien werden.

Wer das ignoriert, riskiert nicht nur schlechte Forschung. Die Branche riskiert, das Fundament ihrer Glaubwürdigkeit zu beschädigen – in dem Moment, in dem sie am schnellsten wachsen will.

Mein Appell: Nutzt LLMs als Assistenz. Nutzt sie klug. Aber behaltet die Kontrolle über das, was zählt: die echte Stimme eurer Nutzer:innen.

Über die Autorin

Tara Bosenick ist UX-Beraterin und Co-Inhaberin von Uintent. Seit 1999 begleitet sie Unternehmen dabei, ihre Produkte nutzerfreundlicher zu gestalten – mit fundierten Research-Methoden und einem klaren Blick für das Wesentliche. Als Speakerin auf Kongressen wie Mensch & Computer und dem World Usability Congress teilt sie ihr Wissen über UX und AI. In ihren Workshops zu UX-AI-Prompting und AI-Integration steckt, was gute UX ausmacht: klarer Nutzen, direkte Anwendbarkeit – und Spaß am Prozess.

💌 Noch nicht genug? Dann lies weiter – in unserem Newsletter.

Kommt viermal im Jahr. Bleibt länger im Kopf.https://www.uintent.com/de/newsletter