Das Wichtigste in Kürze: 

• Yupp vergleicht KI-Antworten via Crowd-Voting 

• Nutzer:innen bewerten Qualität, Tempo & Klarheit 

• Bewertungen werden statistisch als Paarvergleiche ausgewertet 

• Der VIBE-Score zeigt, welches Modell im Alltag besser performt 

• Bias wird durch Blindtests aktiv kontrolliert 

• Segmentierung zeigt: Modellwahl hängt vom Nutzungskontext ab 

• Praxisnahes Vorbild für UX-Testmethoden 

Einleitung: Was, wenn Feedback das Produkt ist? 

Kennst Du das? Du stellst ChatGPT, Claude oder Gemini dieselbe Frage – und bekommst drei völlig unterschiedliche Antworten. Mal ist eine genial, mal total daneben. Aber: Wer sagt eigentlich, welche "besser" ist?

Und nach welchen Kriterien? 

Hier kommt Yupp.ai ins Spiel. Eine Plattform, die genau solche Vergleiche zum Prinzip macht. Sie zeigt, wie Nutzer:innen durch einfaches Feedback zur Bewertung von KI-Modellen beitragen können. Und was das mit UX zu tun hat? Eine Menge. Denn viele der Methoden, die Yupp nutzt, sind aus unserer Praxis bekannt – nur viel größer gedacht. 

Ich arbeite seit vielen Jahren als UX-Beraterin in globalen Projekten. Was mich an Yupp fasziniert: Die Plattform bringt UX-Methodik und KI-Evaluation auf smarte Weise zusammen. Und lässt sich hervorragend als Inspiration für eigene Testprozesse nutzen. 

Wie funktioniert Yupp eigentlich genau? 

Yupp ist keine klassische KI-Plattform, sondern ein „Meta“-System: Du gibst eine Frage ein und bekommst Antworten von mehreren KI-Modellen. Deine Aufgabe: Entscheide, welche Antwort Dir besser gefällt – und warum. 

Das Entscheidende: Diese Bewertungen fließen nicht einfach in ein Sterne-Rating ein. Stattdessen nutzt Yupp das Bradley-Terry-Modell – ein Paarvergleichsverfahren, das aus vielen Einzelentscheidungen eine konsistente Rangfolge erstellt. Ergebnis: Der VIBE-Score ("Value Informed Benchmark Evaluation") zeigt, welches Modell im direkten Vergleich überzeugt. 

Nach welchen Kriterien wird bewertet? 

Yupp bewertet nicht nur nach "Gefallen". Mehrere Dimensionen spielen eine Rolle: 

• Antwortqualität: Wie klar, hilfreich und relevant ist die Antwort? 

• Antwortgeschwindigkeit: Wie schnell reagiert das Modell? 

• Kosten: Was kostet eine Antwort, z. B. bei API-Nutzung? 

• Konfidenz: Gibt das Modell klare Aussagen oder bleibt es vage? 

Diese Werte werden zusammen mit dem Nutzerfeedback analysiert – je nach Gewichtung und Zielgruppe. 

Praxisbeispiel: 

In einem Experiment mit faktischen vs. kreativen Prompts schnitten Claude und GPT-4 unterschiedlich ab: Claude war besser in der Argumentation, GPT-4 besser im Storytelling. Die Bewertung ergab sich aber nicht allein aus der Antwortlänge oder Faktenlage, sondern aus der Nutzerwahrnehmung. 

Was passiert mit Bias? Kann man die Bewertungen trauen? 

Gute Frage. Yupp testet aktiv auf Verzerrungen. Zum Beispiel durch Blindtests: Die Modellnamen werden ausgeblendet, sodass Nutzer:innen nicht wissen, ob die Antwort von GPT-4 oder Claude stammt. 

Das reduziert den sogenannten Brand Bias. Gleichzeitig werden systematische Unterschiede zwischen Nutzergruppen betrachtet (z. B. Einsteiger:innen vs. KI-Power-User). 

UX-Parallele: 

Auch in der Usability-Forschung ist Blinding ein wichtiges Tool, um Wahrnehmungsverzerrungen zu vermeiden. Yupp überträgt dieses Prinzip auf die KI-Evaluation – skalierbar und datenbasiert. 

Warum Segmentierung so wichtig ist 

Nicht jede Frage ist gleich. Yupp analysiert deshalb auch den Kontext der Anfragen: 

• Ist es eine faktische Frage oder eine kreative? 

• Ist der oder die Fragestellende technisch versiert oder eher Laie? 

So entstehen Segment-Scores, die zeigen, welches Modell bei welchen Anwendungsfällen besonders gut abschneidet. Für uns UX-Professionals ist das ein klares Learning: Pauschalwerte bringen wenig. Entscheidend ist die Performance im Nutzungskontext. 

Beispiel: 

Ein Modell mag im Durchschnitt sehr gut sein – aber bei barrierefreien Anwendungen oder sensiblen Gesundheitsthemen versagen. Yupp macht solche Unterschiede sichtbar. 

Was passiert mit dem Feedback? 

Hier wird’s spannend: Feedback ist bei Yupp nicht Beiwerk – es ist das Produkt. Die Plattform verkauft anonymisierte Bewertungsdaten an KI-Anbieter, die damit ihre Modelle verbessern. Nutzer:innen erhalten dafür Yupp-Credits, die sich auszahlen lassen (max. 50€/Monat). 

Das heißt: Nutzer:innen werden zu echten Datenlieferanten – fair vergütet und transparent. Auch das ist ein interessanter Gedanke für die UX-Branche: Was wäre, wenn Nutzerfeedback nicht nur erhoben, sondern strategisch und monetär genutzt würde? 

FAQ: Was UX-Teams über Yupp wissen wollen 

1. Muss ich Programmierkenntnisse haben, um Yupp zu nutzen? 

 Nein. Die Plattform ist sehr niedrigschwellig. Frage eingeben, Antworten vergleichen, fertig. 

2. Wie viele Modelle werden verglichen? 

 In der Regel zwei bis vier pro Anfrage. Meist sind GPT-4, Claude, Gemini und Grok dabei. 

3. Kann ich Feedback auch anonym geben? 

 Ja. Du brauchst nur einen Account, aber deine Bewertungen werden nicht personenbezogen gespeichert. 

4. Gibt es eine API für eigene Tests? 

 Noch nicht offiziell. Yupp plant jedoch, Evaluation-as-a-Service für Firmen anzubieten. 

5. Was bringt mir das als UX-Team konkret? 

 Yupp ist eine Inspirationsquelle: für Bewertungslogiken, Bias-Checks, Segmentanalysen und Feedback-Systeme – alles Themen, die UX-Teams täglich bewegen. 

Fazit: Was wir als UX-Community von Yupp lernen können 

Yupp zeigt, dass nutzerzentriertes Feedback in großem Stil möglich ist – ohne an Tiefe zu verlieren. Die Plattform nutzt Methoden, die wir aus der UX-Praxis kennen, und bringt sie auf ein skalierbares, auswertbares Level. 

Für UX-Teams lohnt sich ein Blick auf Yupp, um: 

• eigene Testprozesse zu reflektieren, 

• neue Ideen für KI-Evaluationen zu bekommen, 

• und bessere Entscheidungen bei der Modellwahl zu treffen. 

Du willst eigene Prompts systematisch testen? Oder verstehen, wie andere Modelle performen? Dann wirf einen Blick auf Yupp.ai. 

💌 Noch nicht genug? Dann lies weiter – in unserem Newsletter.

Kommt viermal im Jahr. Bleibt länger im Kopf.  https://www.uintent.com/de/newsletter