Ein Projektleiter fragte mich neulich, ob sich zwei Nutzergruppen signifikant unterscheiden. Jede Gruppe: 15 Personen. Kurze Antwort: Eine UX-Metrik ist nur so gut wie ihr Kontext, ihre Stichprobe und ihre Methodik. Eine Zahl ohne diese drei Dinge ist Rauschen, keine Erkenntnis. Wo genau lag der Fehler in seiner Frage, und was macht eine Metrik überhaupt aussagekräftig?

📌 Das Wichtigste in Kürze

• Eine Metrik ist erst dann brauchbar, wenn sie messbar, systematisch und mit einem klaren Ziel verknüpft ist.

• Eine Zahl ohne zeitlichen, vergleichenden oder zielbezogenen Kontext sagt nichts aus.

• Bei kleinen Stichproben wie n=15 ist „signifikant“ oft die falsche Frage. Entscheidend ist das Konfidenzintervall.

• Nicht jede Metrik ist ein KPI. Aber jeder KPI ist eine Metrik.

• Vanity Metrics wie Pageviews sehen gut aus, verändern aber keine Entscheidung.

• SUS, NPS, CSAT und CES haben etablierte Benchmarks, aber auch blinde Flecken.

• Korrelation ist kein Beweis für Ursache und Wirkung, auch wenn zwei Kurven hübsch parallel laufen.

  
  

Was ist eine UX-Metrik eigentlich?

Eine Metrik ist eine messbare Kennzahl, mit der sich Fortschritt oder Zustand eines Ziels bewerten lässt. Im UX-Kontext heißt das: quantifizierbare Daten zur Qualität der Nutzererfahrung, erhoben systematisch und wiederholbar.

Drei Eigenschaften unterscheiden eine echte Metrik von Bauchgefühl mit Nachkommastellen. Sie ist messbar, also eine Zahl statt ein Eindruck. Sie ist systematisch, also wiederholbar und über Zeit vergleichbar. Und sie ist aussagekräftig, also mit einem echten Ziel verbunden statt mit Marketing-Sprache.

Klingt banal, ist es aber nicht. Wer „die User Experience verbessern“ als Ziel formuliert, hat noch keine Metrik. Wer daraus „Task Success Rate von 65 % auf 85 % steigern“ macht, hat eine. Diesen Übersetzungsschritt vom abstrakten Konzept zur messbaren Größe nennt man Operationalisierung. In der Praxis wird genau er am häufigsten übersprungen, meistens aus Zeitdruck.

Metrik oder KPI, was ist der Unterschied?

Nicht jede Metrik ist ein KPI, aber jeder KPI ist eine Metrik. Bounce Rate, Seitenaufrufe oder Click-Through-Rate sind Metriken: operativ, breit gestreut, gut für Kontext. Ein KPI dagegen ist eine der wenigen Metriken, die strategisch genug ist, um eine Entscheidung zu tragen.

Faustregel aus der Praxis: 3 bis 5 KPIs pro Team reichen, mehr überfordert. Wie du diese wenigen KPIs auswählst und im Unternehmen verankerst, ist ein eigenes, größeres Thema und bekommt einen eigenen Artikel. Hier soll es erst mal um die Metrik als solche gehen.

Warum eine Zahl ohne Kontext nichts wert ist

„Unsere Task Success Rate liegt bei 78 %.“ Klingt nach einer Aussage. Ist aber keine. Gut oder schlecht? Ohne Vergleich unmöglich zu sagen. Erst mit Kontext wird aus der Zahl eine Information: „Task Success Rate 78 %, letztes Quartal 65 %, Industry-Benchmark 72 %.“ Jetzt weiß jeder im Raum, dass es eine Verbesserung ist und dass sie über dem Branchenschnitt liegt.

Drei Arten von Kontext machen aus einer Zahl eine Entscheidungsgrundlage. Der zeitliche Kontext zeigt den Trend, steigend oder fallend im Vergleich zum letzten Quartal. Der Vergleichskontext setzt die Zahl neben Benchmark oder Wettbewerb. Der Zielkontext beantwortet, wie weit man vom Soll entfernt ist.

Fehlt einer dieser drei Bezugspunkte, bleibt die Zahl ein Fakt ohne Aussagewert, und niemand im Team kann sie sinnvoll nutzen.

Kann man bei 15 Testpersonen von einem signifikanten Unterschied sprechen?

Genau diese Frage bekam ich kürzlich gestellt. Zwei Gruppen, je 15 Personen, unterschiedliche Task Success Rate. Der Projektleiter wollte wissen, ob der Unterschied signifikant sei.

Die ehrliche Antwort: Bei so kleinen Stichproben ist „signifikant“ fast nie die richtige Frage. Wichtiger ist das Konfidenzintervall, also die Bandbreite, in der der wahre Wert vermutlich liegt.

Ein Rechenbeispiel macht das greifbar. Bei dichotomen Daten wie Task Success (erfolgreich oder nicht) ergeben 9 von 12 erfolgreichen Versuchen eine Erfolgsquote von 75 %. Klingt präzise. Das 95-Prozent-Konfidenzintervall, berechnet mit dem Wilson-Score-Intervall (Wilson, 1927), liegt aber zwischen 43 % und 95 %. Eine Bandbreite von über 50 Prozentpunkten. Bei metrischen Daten wie einem SUS-Score sieht es etwas besser aus: Ein Mittelwert von 75 Punkten bei 12 Personen hat ein Konfidenzintervall von etwa 66 bis 84 Punkten. Deutlich schmaler, aber immer noch breit genug, um vorsichtig zu sein.

Für meinen Projektleiter bedeutete das: Die Zahlen waren interessant, aber keine Basis für eine harte Entscheidung. Wir haben die Stichprobe für die nächste Testrunde vergrößert und die Frage von „ist das signifikant“ auf „wie sicher können wir sein“ umformuliert. Kleiner Unterschied in der Formulierung, großer Unterschied in der Entscheidungsqualität.

Woran erkennst du eine Vanity Metric?

Pageviews sehen gut aus in jedem Report. Sie sagen aber nichts darüber, ob jemand sein Problem gelöst hat. Das ist die Definition einer Vanity Metric: Sie wirkt überzeugend, ohne eine Entscheidung zu tragen. Total Registrations ohne Aktivierung, Time on Site ohne Kontext (lang, weil begeistert, oder lang, weil verloren?), Social Media Likes ohne Zusammenhang zur Conversion. Zahlen, die glänzen und trotzdem wenig hergeben.

Der Test dafür ist simpel: Wenn sich diese Zahl ändert, was machst du anders? Bei einer Task Success Rate ist die Antwort klar, du überarbeitest den Flow. Bei Pageviews? Wahrscheinlich nichts. Darin liegt der Unterschied zwischen einer Action Metric und einer Vanity Metric.

Was taugen SUS, NPS, CSAT und CES wirklich?

Diese vier Kürzel tauchen in fast jedem Reporting auf, mit gutem Grund, sie haben etablierte Benchmarks. Mit Vorsicht zu genießen sind sie trotzdem.

Keine dieser vier Metriken ersetzt die anderen. NPS zeigt Loyalität über Zeit, CES zeigt, wo im Prozess es hakt. Wer nur eine davon trackt, hat einen Ausschnitt, keine Vollständigkeit.

Warum Korrelation nicht gleich Kausalität ist

Eisverkäufe korrelieren mit der Zahl der Ertrinkenden. Steigt der eine Wert, steigt auch der andere. Trotzdem verkauft niemand ernsthaft weniger Eis, um Leben zu retten. Der Grund: Ein dritter Faktor, warmes Wetter im Sommer, treibt beide Werte gleichzeitig nach oben.

Dasselbe Muster lauert in UX-Daten ständig. Zwei Metriken bewegen sich parallel, und die Versuchung ist groß, daraus eine Ursache-Wirkungs-Kette zu bauen. Drei Schritte schützen davor. Erst eine Hypothese aufstellen: Welche Ursache-Wirkungs-Beziehung wird vermutet? Dann den Mechanismus erklären: Warum sollte das eine das andere auslösen? Und zuletzt validieren, etwa über einen A/B-Test oder eine Zeitreihenanalyse.

Ohne diesen letzten Schritt bleibt jede Metriken-Story eine Behauptung. Mit ihm wird sie belastbar.

Wie stellst du sicher, dass deine Daten zur Qualität von User Research beitragen?

Drei Kriterien entscheiden, ob eine Erhebung überhaupt vertrauenswürdig ist.

1. Validität: Misst du wirklich das, was du messen willst, oder nur etwas, das zufällig damit korreliert?

2. Reliabilität: Kommt bei einer Wiederholung unter gleichen Bedingungen dasselbe Ergebnis heraus?

3. Repräsentativität: Spiegelt deine Stichprobe die tatsächliche Nutzerschaft wider, oder nur die, die zufällig Zeit für den Test hatten?

Wer diese drei Kriterien konsequent prüft, bevor die nächste Erhebung startet, misst seltener, dafür aber richtiger. Das ist der Unterschied zwischen einer Metrik, die Vertrauen verdient, und einer, die nur überzeugend aussieht.

Häufige Fragen zu UX-Metriken

Ist ein Unterschied zwischen zwei Gruppen mit n=15 statistisch aussagekräftig?

Selten eindeutig. Bei so kleinen Stichproben ist das Konfidenzintervall meist breit, bei dichotomen Daten oft über 20 bis 30 Prozentpunkte. Statt nach „signifikant“ zu fragen, lohnt sich der Blick auf die Bandbreite, in der der wahre Wert vermutlich liegt.

Was ist der Unterschied zwischen einer UX-Metrik und einem KPI?

Jeder KPI ist eine Metrik, aber nicht jede Metrik ein KPI. Metriken sind breit und operativ, KPIs die wenigen strategischen Kennzahlen, die eine Entscheidung tragen. Details dazu folgen in einem eigenen Artikel.

Welche UX-Metrik sollte ich zuerst einführen?

Das hängt vom Ziel ab. Für Usability-Fragen eignet sich die Task Success Rate, für Zufriedenheit über Zeit NPS oder SUS. Wichtiger als die Wahl der Metrik ist die Frage, ob sich bei einer Veränderung tatsächlich etwas an deinem Handeln ändern würde.

Wie erkenne ich eine Vanity Metric?

Wenn du dir bei einer Veränderung der Zahl nicht vorstellen kannst, was du konkret anders machen würdest, ist es wahrscheinlich eine Vanity Metric.

Reicht eine Korrelation aus, um eine UX-Verbesserung zu rechtfertigen?

Allein nicht. Eine Korrelation kann ein erster Hinweis sein, gehört aber erst validiert, etwa per A/B-Test, bevor sie als Begründung für eine Investition dient.

Fazit

UX-Metriken versagen selten, weil die falsche Zahl gewählt wurde. Sie versagen, weil der Kontext fehlt, die Stichprobe zu klein ist oder eine Korrelation zur Kausalität erklärt wird. Alle drei Fehler lassen sich vermeiden, ganz ohne Statistik-Studium.

Wer als Nächstes eine Metrik einführt, sollte sich zuerst fragen: Was mache ich anders, wenn sich diese Zahl bewegt? Kommt keine Antwort, ist es die falsche Metrik.

Am 13. November zeige ich im Workshop Effizienter Umgang mit UX-Metriken und strategischer Datennutzung, wie ihr im Team von der ersten Metrik bis zum belastbaren Reporting kommt.