"Ist unser neues Design besser?" klingt nach fünf Usability-Tests und einer Woche Auswertung. Tatsächlich braucht die Frage einen A/B-Test mit ausreichend großer Stichprobe, sonst bleibt jede Antwort Spekulation. "Wie zufrieden sind unsere Nutzer?" klingt nach ein paar Interviews. Gebraucht wird SUS, NPS oder CSAT an einer repräsentativen Stichprobe, nur dann lässt sich der Wert später vergleichen und über die Zeit verfolgen. Und "warum brechen Nutzer im Checkout ab?" klingt nach Qual-Interviews, obwohl zuerst Funnel-Analyse und A/B-Test zeigen müssen, wo und wie oft das passiert. Das Warum kommt erst danach.

Quantitative UX-Methoden beantworten, wie viele und wie oft, nicht warum. Das Erheben der Zahlen ist dabei meist der leichtere Teil. Schwierig wird es beim Lesen: Wer Mittelwert, Signifikanz und Korrelation verwechselt, trifft falsche Entscheidungen, obwohl die Daten sauber sind.

Genau diese Lesart fehlt in den meisten Methoden-Übersichten. Ich werte seit über 25 Jahren quantitative UX-Daten aus, und der Fehler, der mir am häufigsten begegnet, passiert selten bei der Erhebung. Er passiert danach, am Schreibtisch, beim Interpretieren der Tabelle. Dieser Artikel zeigt, worauf es dabei ankommt: von der richtigen Stichprobengröße über Mittelwert und Median bis zu p-Werten, Konfidenzintervallen und einem kurzen Ausblick auf multivariate Verfahren.

📌 Das Wichtigste in Kürze

• Qualitativ beantwortet das Warum, quantitativ das Wie viele. Beide ergänzen sich, keine ersetzt die andere.

• Die Stichprobengröße folgt aus der Forschungsfrage: 30 für einen Zellenvergleich, 100 als Minimum, 400 für belastbare Ergebnisse.

• Bei schiefen Verteilungen sagt der Median mehr als der Mittelwert. Erst die Verteilung ansehen, dann rechnen.

• Ein p-Wert unter 0,05 zeigt, dass ein Unterschied wahrscheinlich real ist. Relevant muss er deshalb noch nicht sein.

• Konfidenzintervalle zeigen die Unsicherheit einer Messung und sind oft aussagekräftiger als der p-Wert allein.

• Der durchschnittliche SUS-Score liegt bei 68 (Sauro, 2018). Erst der Vergleich macht deinen eigenen Wert einordbar.

• Korrelation zeigt einen Zusammenhang, keine Ursache. Für Kausalität braucht es einen A/B-Test.

Wann brauchst du qualitative, wann quantitative Methoden?

Qualitativ und quantitativ beantworten unterschiedliche Fragen. Qualitative Forschung erkundet das Warum und Wie: tiefe Einblicke aus Interviews, Beobachtungen oder Tagebuchstudien, meist mit kleinen Stichproben, offen für Überraschungen und stark interpretativ. Quantitative Forschung beantwortet Wie viele und Wie oft: breite Daten aus Umfragen, A/B-Tests oder Analytics, mit großen Stichproben, strukturiert, hypothesengetrieben und statistisch auswertbar.

Ein Merksatz aus meinen Workshops bringt es auf den Punkt: Was tun Nutzer, das beobachten wir. Warum tun sie es, das fragen wir qualitativ. Wie viele tun es, das messen wir quantitativ.

Praxisbeispiel: Beim Checkout-Abbruch zeigt die Funnel-Analyse zuerst, an welchem Schritt und wie oft Nutzer aussteigen. Das Interview danach klärt, woran es liegt. Erst raten und danach Zahlen suchen, kostet dagegen Zeit und führt oft in die falsche Richtung.

Was macht eine quantitative Studie wissenschaftlich sauber?

Drei Begriffe entscheiden, ob eine quantitative Studie überhaupt etwas aussagt: Hypothese, Variable und Operationalisierung. Die Hypothese ist eine testbare Annahme, zum Beispiel: Nutzer finden den Checkout-Button schneller, wenn er grün statt grau ist. Die Variable ist das, was gemessen oder verändert wird, hier die Button-Farbe als unabhängige und die Findungszeit als abhängige Variable. Operationalisierung heißt, etwas Abstraktes messbar zu machen: Aus "Zufriedenheit" wird eine Likert-Skala von 1 bis 5 oder ein SUS-Score.

Damit die Ergebnisse tragen, braucht es zusätzlich drei Gütekriterien. Validität fragt, ob wirklich das gemessen wird, was gemessen werden soll, etwa wenn eine Umfrage nach "Nutzungsabsicht" fragt, aber eigentlich tatsächliches Verhalten meint. Reliabilität fragt, ob eine Wiederholung ähnliche Ergebnisse liefert, der SUS-Score gilt hier als über die Zeit stabil. Objektivität fragt, ob das Ergebnis vom Forscher unabhängig ist, standardisierte Fragebögen leisten das besser als freie Interpretation.

Wie groß muss deine Stichprobe wirklich sein?

Die Stichprobengröße folgt aus der Forschungsfrage, nie aus Gewohnheit, Budget oder einer fremden Faustregel. Als Richtwerte gelten 30 für einen Zellenvergleich zwischen zwei Gruppen, 100 als Minimum für eine Zielgruppe und 400, wenn die Ergebnisse wirklich belastbar sein sollen.

Wie die Stichprobe zusammenkommt, ist eine zweite Entscheidung. Bei der Zufallsstichprobe hat jede Person die gleiche Chance, dabei zu sein, der Goldstandard, aber in der Praxis oft schwer umsetzbar. Die Quotenstichprobe wählt gezielt nach Merkmalen wie Alter oder Geschlecht und sorgt für eine repräsentative Zusammensetzung. Beim Convenience Sample nimmst du, wer gerade verfügbar ist, schnell, aber mit Vorsicht bei jeder Verallgemeinerung. Snowball Sampling lässt Teilnehmende weitere empfehlen und eignet sich für schwer erreichbare Zielgruppen.

Auch der Rekrutierungsweg bringt einen eigenen Bias mit, den du kennen solltest:

Kein Rekrutierungsweg ist perfekt. Am meisten hilft es, den eigenen Bias zu kennen und ihn im Bericht offen zu benennen, statt ihn zu verschweigen.

Datenquellen zu kombinieren lohnt sich zusätzlich: Umfragen liefern Einstellungen, Zufriedenheit, NPS oder SUS, Web Analytics zeigt Verhalten, Klickpfade und Bounce Rate, A/B-Tests liefern Konversion und Klickraten, Support-Daten liefern Tickets, FAQ-Zugriffe und Chatbot-Logs. Wer mehrere Quellen trianguliert, bekommt ein verlässlicheres Bild als aus einer einzigen Quelle.

Mittelwert oder Median: Was sagt dir mehr über deine Nutzer?

Deskriptive Statistik verwandelt Rohdaten in verständliche Kennzahlen und Visualisierungen. Statt "4,2, 3,8, 4,5, 4,1, 3,9" zu notieren, sagst du "Durchschnitt 4,1 von 5 Sternen". Drei Fragen stehen dabei im Zentrum: Was ist der typische Wert, wie stark streuen die Daten, und wie sieht die Verteilung aus?

Der Mittelwert ist die Summe aller Werte geteilt durch ihre Anzahl. Bei den Task-Zeiten 45, 52, 48, 51 und 49 Sekunden ergibt das 49 Sekunden im Schnitt, allerdings reagiert der Mittelwert empfindlich auf Ausreißer. Der Median ist der Wert genau in der Mitte und deutlich robuster gegenüber schiefen Verteilungen. Bei den Gehältern 40.000, 45.000, 50.000, 55.000 und 200.000 Euro liegt der Median bei 50.000 Euro, nicht bei den 78.000 Euro, die der Mittelwert anzeigen würde. Der Modus schließlich ist der häufigste Wert, bei den Bewertungen 4, 5, 4, 3, 4, 5 und 4 Sternen also die 4, ideal für kategoriale Daten.

Wie stark die Werte streuen, verrät die Spannweite (Maximum minus Minimum, bei Task-Zeiten von 30 bis 120 Sekunden also 90 Sekunden) oder die Standardabweichung, die durchschnittliche Abweichung vom Mittelwert. Zwei Teams zeigen, warum das zählt:

Gleicher Mittelwert, völlig andere Realität. Team A liefert konsistent ab, Team B schwankt stark, obwohl der Durchschnitt identisch aussieht. Ohne Streumaß bleibt das unsichtbar.

Auch die Form der Verteilung entscheidet, welche Kennzahl überhaupt sinnvoll ist. Bei einer Normalverteilung liegen Mittelwert, Median und Modus praktisch gleichauf, etwa bei Reaktionszeiten oder IQ-Werten. Rechtsschiefe Verteilungen, wie sie bei Task-Zeiten, Einkommen oder Seitenaufrufen häufig vorkommen, ziehen den Mittelwert nach oben, während der Median stabil bleibt. Bimodale Verteilungen mit zwei Gipfeln, etwa bei Expert:innen und Anfänger:innen in einer Stichprobe, machen den Mittelwert fast nutzlos: Er landet im Tal zwischen den beiden Gruppen und repräsentiert niemanden. Die Regel dahinter bleibt einfach: erst die Verteilung ansehen, dann rechnen.

Welche Fehler bei deskriptiver Statistik am häufigsten passieren

Der häufigste Fehler ist, nur den Mittelwert zu berichten. Median, Streuung und eine Visualisierung sagen fast immer mehr. Der zweithäufigste: Prozente ohne Basis. "80 % sind zufrieden" klingt gut, sagt aber nichts, wenn niemand weiß, aus wie vielen Personen sich das speist. "80 % zufrieden (n=150)" dagegen lässt sich einordnen und später vergleichen. Ein dritter Klassiker ist die manipulierte Y-Achse: Startet sie nicht bei null, wirken kleine Unterschiede riesig. Und viertens, vielleicht der teuerste Fehler: Korrelation wird als Kausalität verkauft, wo eigentlich ein A/B-Test die einzige Möglichkeit wäre, das zu klären.

Wann ist eine Korrelation aussagekräftig, und wann nicht?

Die Korrelation misst Stärke und Richtung des Zusammenhangs zweier Variablen auf einer Skala von -1 bis +1. Null heißt kein Zusammenhang, +1 ein perfekter positiver, -1 ein perfekter negativer. In der UX-Praxis zeigen sich Werte wie r = 0,72 zwischen SUS-Score und Wiederkaufabsicht, r = -0,65 zwischen Fehleranzahl und Zufriedenheit oder r = 0,12 zwischen Alter und NPS, praktisch kein Zusammenhang. Als Faustregel gilt ein Betrag unter 0,3 als schwach, zwischen 0,3 und 0,5 als mittel und über 0,5 als stark.

Was die Korrelation nicht zeigt, ist Ursache und Wirkung. Der Eisverkauf korreliert mit der Zahl der Sonnenbrände, verursacht sie aber nicht, an heißen Tagen steigen einfach beide. Wer aus einer Korrelation eine Maßnahme ableiten will, braucht dafür einen A/B-Test, keine Beobachtungsdaten.

Was bedeutet ein p-Wert von 0,03 wirklich?

Deskriptive Statistik beschreibt, was in deiner Stichprobe passiert ist. Inferenzstatistik geht einen Schritt weiter und fragt, ob das auch für alle anderen gilt. Ein Beispiel: Version A deines Checkouts konvertiert mit 4,2 %, Version B mit 4,8 %, ein Plus von 14 %. Wirfst du aber eine Münze 100-mal, fällt sie auch nicht exakt 50-mal auf Kopf. Vielleicht ist der Unterschied zwischen A und B also nur zufällige Schwankung. Genau das berechnet die Inferenzstatistik: die Wahrscheinlichkeit, dass ein beobachteter Unterschied allein durch Zufall entstanden ist.

Diese Wahrscheinlichkeit ist der p-Wert. Er beantwortet die Frage: Wie wahrscheinlich wäre dieses Ergebnis oder ein noch extremeres, wenn es in Wirklichkeit gar keinen Unterschied gibt? Ein p-Wert von 0,03 heißt, dass ein Unterschied dieser Größe nur in 3 % aller Fälle auftreten würde, wenn beide Versionen tatsächlich gleich wären. Als Grenze hat sich p < 0,05 als signifikant etabliert. Wichtig dabei: Ein p-Wert über 0,05 bedeutet nicht, dass es keinen Unterschied gibt, nur, dass er sich mit dieser Stichprobe nicht nachweisen ließ.

Für den Vergleich von Mittelwerten zweier Gruppen bei metrischen Daten wie Zeiten oder Scores kommt meist der t-Test zum Einsatz. Testen unterschiedliche Personen je Gruppe altes gegen neues Design, spricht man vom unabhängigen t-Test, etwa bei einem klassischen A/B-Test. Testen dieselben Personen beide Versionen nacheinander, im Vorher-Nachher-Vergleich, ist es der gepaarte t-Test. Ein Beispiel aus der Praxis: Gruppe A mit dem alten Design braucht im Schnitt 68 Sekunden, Gruppe B mit dem neuen Design 52 Sekunden, bei p = 0,008 ist der Unterschied von 16 Sekunden statistisch signifikant.

Ist jedes signifikante Ergebnis auch relevant?

Nein, und das ist der Punkt, an dem viele Reports in die Irre führen.

Bei sehr großen Stichproben werden selbst winzige, praktisch bedeutungslose Unterschiede statistisch signifikant. Bei kleineren Stichproben kann ein Ergebnis dagegen signifikant und gleichzeitig echt spürbar sein. Signifikanz sagt, ob ein Unterschied wahrscheinlich real ist. Ob er sich lohnt, muss die Praxis beantworten, nicht der p-Wert.

Was verraten dir Konfidenzintervalle, das ein p-Wert nicht zeigt?

Ein Konfidenzintervall ist der Bereich, in dem der wahre Wert mit 95 % Wahrscheinlichkeit liegt. "SUS-Score 72, 95 %-KI 68 bis 76" heißt: Der tatsächliche Score der Gesamtpopulation liegt sehr wahrscheinlich zwischen 68 und 76. Zur Einordnung: Der durchschnittliche SUS-Score liegt laut einer Analyse von Jeff Sauro aus über 10.000 Antworten und Hunderten Produkten bei 68 (Sauro, MeasuringU, 2018), ein Wert von 75 entspricht bereits dem 73. Perzentil, ein Wert von 52 nur dem 15. Der Beispielwert von 72 aus dem Konfidenzintervall liegt damit knapp über dem Durchschnitt aller je gemessenen Systeme.

Konfidenzintervalle zeigen zusätzlich, wie unsicher eine Messung ist. Ein breites Intervall bedeutet viel Unsicherheit und meist, dass mehr Daten gesammelt werden sollten. Überlappen sich die Konfidenzintervalle zweier Gruppen nicht, ist der Unterschied signifikant, ganz ohne separate Berechnung. In der Praxis sind Konfidenzintervalle oft aussagekräftiger als ein einzelner p-Wert, weil sie eine Spanne zeigen statt nur ein Ja oder Nein.

Was bringen dir multivariate Analysen, wenn mehrere Faktoren gleichzeitig wirken?

UX wird selten von genau einem Faktor beeinflusst. "Ältere Nutzer brauchen länger" ist eine einfache Aussage, aber sie übersieht, wie viel welcher Faktor tatsächlich beiträgt. Vier Verfahren helfen dabei weiter, kompakt zusammengefasst.

Die Regression zeigt, welche Faktoren ein Ergebnis wie stark beeinflussen. Bei einem NPS-Score als Zielvariable könnten Ladezeit mit minus 0,4 Punkten pro Sekunde, Support-Qualität mit plus 2,1 Punkten pro Bewertungspunkt und die Anzahl der Features mit plus 0,3 pro Feature ins Modell eingehen. Ein R-Quadrat von 0,65 bedeutet, dass diese Faktoren 65 % der Unterschiede im NPS erklären, der Rest hängt von anderen, nicht erfassten Größen ab. Für die Priorisierung zeigt das, wo sich Optimierung am meisten lohnt.

Die Faktoranalyse reduziert viele Einzelfragen auf wenige zugrunde liegende Faktoren. Zehn UX-Fragen können sich zum Beispiel zu drei Faktoren wie Effizienz, Ästhetik und Vertrauen verdichten. Der SUS selbst ist dafür ein bekanntes Beispiel: Seine zehn Fragen laden auf zwei Faktoren, Usability und Learnability.

Die Clusteranalyse teilt Nutzer automatisch in ähnliche Gruppen ein, basierend auf Verhalten oder Antworten, etwa in Power User, Casual User und Struggling User. Das hilft bei datenbasierten Personas, gezielter Optimierung, Onboarding und der Verteilung von Support-Ressourcen.

Die MaxDiff-Analyse schließlich lässt Nutzer in mehreren Runden das jeweils wichtigste und unwichtigste Element aus einer kleinen Auswahl wählen. Das erzeugt Prioritäten ohne die Verzerrungen klassischer Ratingskalen, etwa Mitte-Tendenz oder Höflichkeitsantworten. Als Output entstehen Utility-Scores je Element, etwa Navigation mit hoher Priorität bei plus 1,8 und Export mit niedriger Priorität bei minus 1,4. Nützlich ist das für Feature-Roadmaps oder um Produktattribute realistisch zu gewichten.

Wie du deine nächste quantitative Auswertung besser machst

Zahlen sind nur so gut wie ihre Interpretation. Wer zuerst die Verteilung ansieht und erst danach eine Kennzahl berechnet, vermeidet die Hälfte der üblichen Fehler von allein. Wer Signifikanz und Relevanz sauber trennt, verkauft niemandem 0,02 % Klicksteigerung als Erfolg. Und wer den eigenen Bias kennt und offen benennt, macht Ergebnisse glaubwürdiger, nicht schwächer.

Konkret für die nächste Studie: Prozentwerte nie ohne n angeben, den p-Wert nie ohne Konfidenzintervall präsentieren, und bei jeder neuen Kennzahl kurz fragen, welche Verteilung eigentlich dahintersteckt. Das kostet ein paar Minuten mehr pro Report und erspart Diskussionen, die sonst deutlich länger dauern.

Wenn dein Team dabei tiefer einsteigen will: Im Workshop Überblick über quantitative Methoden für UX-Professionals gehen wir genau diese Methoden gemeinsam am eigenen Datensatz durch.

Mehr zum Thema Research-Qualität findest du in UX Research Qualität: Warum gute Absichten nicht reichen.

Und wenn es im nächsten Schritt darum geht, diese Zahlen auch gegenüber dem Management zu vertreten, hilft UX Research als Risikomanagement: Warum wir endlich die Sprache wechseln müssen weiter.

Häufige Fragen zu quantitativen UX-Methoden

Wie viele Teilnehmende brauche ich für eine quantitative UX-Studie?

Das hängt von der Frage ab, nicht von einer festen Regel. Für den Vergleich zweier Gruppen reichen oft 30 Personen pro Zelle, für eine einzelne Zielgruppe gelten 100 als Minimum, und wer wirklich belastbare, verallgemeinerbare Ergebnisse braucht, sollte auf etwa 400 kommen.

Mittelwert oder Median, was nehme ich?

Schau dir zuerst die Verteilung an. Bei symmetrischen Daten ohne Ausreißer sagt der Mittelwert genug. Bei schiefen Verteilungen, etwa Gehältern oder Ladezeiten mit einzelnen extremen Ausreißern, zeigt der Median den typischen Wert deutlich zuverlässiger.

Was bedeutet ein p-Wert von 0,03?

Er sagt, dass ein beobachteter Unterschied nur in 3 % aller Fälle auftreten würde, wenn es in Wirklichkeit gar keinen Unterschied gäbe. Unter der üblichen Grenze von 0,05 gilt das Ergebnis als statistisch signifikant, also wahrscheinlich echt und nicht nur Zufall.

Ist ein signifikantes Ergebnis immer auch relevant?

Nein. Bei sehr großen Stichproben werden selbst winzige, praktisch bedeutungslose Unterschiede statistisch signifikant, etwa 0,02 % mehr Klicks bei 100.000 Nutzenden. Ob sich ein Ergebnis lohnt, entscheidet die Praxis, nicht allein der p-Wert.

Was gilt als guter SUS-Score?

Der Durchschnitt über tausende gemessene Systeme liegt bei 68, alles darüber ist überdurchschnittlich (Sauro, MeasuringU, 2018). Ein Wert von 75 entspricht dem 73. Perzentil, ein Wert von 52 nur dem 15. Ohne diesen Vergleichswert lässt sich ein einzelner SUS-Score kaum einordnen.