KI in User Research: Eine Fallstudie zur Analyse internationaler Umfragen
Über unser jüngstes Experiment zur Analyse internationaler Umfragen mithilfe von ChatGPT. Spoiler für Kolleg:innen in User Research: Das Suchen von Zitaten ist von gestern!
User Research spielt eine wichtige Rolle bei der Bewertung digitaler Produkte und dem Verständnis der User Experience. Mit Fortschritten in der künstlichen Intelligenz (KI), insbesondere dem Einsatz von Large Language Models (LLMs, großen wie ChatGPT, haben wir die Möglichkeit, den Analyseprozess zu beschleunigen. In diesem Blog-Artikel berichten wir über unser jüngstes Experiment zur Analyse internationaler Umfragen mithilfe von ChatGPT. Spoiler für User-Researcher:innen: Das Suchen von Zitaten ist von gestern!
Vorsicht! ChatGPT verwendet Eingabe von Nutzern, um das Modell zu verbessern. Da es möglich ist, Trainingsdaten aus LLMs abzurufen, sollten keine vertraulichen Informationen an ChatGPT weitergegeben werden!
Hintergrund
Die Fallstudie umfasste eine mittelgroße Umfrage mit etwa 1000 Antworten aus verschiedenen Regionen. Die Umfrage enthielt sowohl numerische als auch Freitextfragen, und die Teilnehmer:innen gaben in ihren Freitextantworten zusätzliche Details an. Unser Fokus lag auf der Analyse der Freitextantworten.
Ziel
Das Hauptziel dieser Fallstudie bestand darin, häufig erwähnte Themen in den Umfrageantworten zu analysieren und sie zwischen verschiedenen Regionen zu vergleichen, um Ähnlichkeiten und Unterschiede festzustellen. Darüber hinaus wollten wir einige repräsentative Zitate für jedes Thema auswählen.
Vorgehensweise: Zero-shot prompting + zweistufige Ansatz
Die wichtigsten Aspekte unserer Vorgehensweise bei der Nutzung von ChatGPT in der Analyse sind folgende:
Zero-shot prompting:
Wir haben eine Eingabe erstellt, die eine kurze Beschreibung des digitalen Produkts, eine Umfragefrage, Anweisungen für die Analyse und Ausgabe sowie die Umfragedaten enthält. Aufgrund der begrenzten Länge von ChatGPT mussten wir die Daten für jede Region trennen (ca. 300 Antworten waren das Limit). Achten Sie auch hier darauf, keine sensiblen Informationen an ChatGPT weiterzugeben!
Two-steps approach:
- Schritt 1: Wir haben dieselben Eingaben mehrmals verwendet, um die Top-Kategorien zu definieren. Durch den Vergleich der Ausgaben haben wir die am häufigsten vorkommenden Kategorien ausgewählt.
- Schritt 2: In diesem Schritt haben wir die ausgewählten Top-Kategorien in die Eingabe aufgenommen, um repräsentative Zitate zu generieren. Falls erforderlich, haben wir Kategorien entfernt, die nicht viele Zitate erbracht haben.
Um die Qualität der Analyse zu gewährleisten, haben wir auch eine manuelle Analyse einiger Regionen durchgeführt.
Prompts
Die von uns in der Fallstudie verwendeten Eingaben waren wie folgt:
Für Schritt 1
Unten finden Sie eine offene Antwort aus einer Umfrage, in der die Teilnehmende [um was es in der Frage ging] beschreiben, mit Fokus auf [Spezifikation]. Eine Zeile entspricht einer Antwort. Als Usability-Experte analysieren Sie die Antworten gemäß den folgenden Anweisungen.
<<Anweisungen>>
Bitte erstellen Sie eine Tabelle mit den am häufigsten genannten [Thema]. Schreiben Sie in der ersten Spalte bis zu 10 am häufigsten genannte Themen in den folgenden <<Daten>>. Bitte ignorieren Sie allgemeine Kommentare wie "Ich weiß es nicht" oder Kommentare, die für die Usability-Bewertung der Website nicht relevant sind, wie "Autos sind nicht nützlich". Schreiben Sie in der zweiten Spalte die Häufigkeit des Auftretens des Themas. Zitieren Sie in der dritten Spalte alle relevanten Kommentare aus <<Daten>>, die in das Thema in der ersten Spalte fallen. Ändern Sie die Kommentare nicht, wenn Sie sie zitieren. Erstellen Sie dann eine weitere Tabelle zu LIKES gemäß dem oben beschriebenen Verfahren.
<<Daten>>
[Daten, eine Antwort pro Zeile]
Für Schritt 2
Unten finden Sie eine offene Antwort aus einer Umfrage, in der die Teilnehmende [um was es in der Frage ging] beschreiben, mit Fokus auf [Spezifikation]. Eine Zeile entspricht einer Antwort. Als Usability-Experte analysieren Sie die Antworten gemäß den folgenden Anweisungen.
<<Anweisungen>>
Einige der Antworten in <<Daten>> fallen in die in Abschnitt <<Kategorien>> gezeigten Kategorien. Wählen Sie für jede Kategorie FÜNF Antworten aus <<Daten>> aus, die LÄNGER ALS SECHS WÖRTER sind und die Kategorie klar erläutern. Die Ausgabe sollte in Form von Aufzählungspunkten mit Einrückung erfolgen.
<<Kategorien>>
[Liste der in Schritt 1 definierten Kategorien]
<<Daten>>
[Daten, eine Antwort pro Zeile]
Erkenntnisse
Die Fallstudie ergab mehrere wertvolle Erkenntnisse:
- Die oft genannten Themen, die aus ChatGPT abgeleitet wurden, waren sehr ähnlich zu den von menschlichen Researchern erstellten Kategorien und umfassten alle häufig genannten Aspekte.
- Die Ausgaben von ChatGPT variierten bei jeder Generierung. Um zuverlässige Ergebnisse zu erhalten, empfehlen wir, mindestens drei Antworten zu generieren und diejenigen auszuwählen, die am häufigsten erscheinen.
- Mit geeigneten Eingaben ist es möglich, Zitate Wort für Wort abzurufen! Wir sollten es nutzen – die Zitatensuche ist von gestern! 😍
Andere Ansätze
Neben dem in dieser Fallstudie verfolgten Ansatz gibt es weitere Möglichkeiten für eine komplexere Analyse:
Eingabe in Form von Pseudo-Programmen
Für eine komplexere Analyse und/oder mehr Kontrolle über das Verhalten von ChatGPT können Pseudo-Programme hilfreich sein. Beschreiben Sie einfach die Schritte in einem Format, das wie Programmiersprachen aussieht, und verwenden Sie "Programm-Vokabular" wie if, for, while usw. Zum Beispiel bestimmen diese Pseudo-Programme die Übereinstimmung der Antworten, verbessern sie bei Bedarf und geben dann die relevanten Kommentare in tabellarischer Form aus.
For each topics in the table:
while !comply(instruction):
improve responses
Print_in_table(topics, frequency, relevant comments)
Print("done. Comply")
Verwenden von ChatGPT+
Wenn verfügbar, kann die Verwendung der "Code Interpreter" oder Browsing-Funktion von ChatGPT+ zusätzliche Hintergrundinformationen liefern und den Analyseprozess verbessern.
Embedding und clustering
Wenn die Umfrageantworten von hoher Qualität sind, könnte es sinnvoll sein, Einbettungstechniken einzusetzen, um häufig genannte Themen automatisch zusammenzufassen.
Vorsicht!
Obwohl KI-gestützte Analysen vorteilhaft sein können, müssen bestimmte Vorsichtsmaßnahmen getroffen werden:
Qualitätsprüfung
Wie bei normalen Umfragen müssen Sie die Qualität der Antworten gründlich überprüfen. Teilnehmer können ungenaue Informationen liefern oder sogar nichtexistierende Funktionen erfinden, daher ist es wichtig, das von ChatGPT generierte Ergebnis zu überprüfen und zu validieren.
Datensicherheit
Beim Einsatz von ChatGPT ist es wichtig, die Datensicherheit zu beachten. Da ChatGPT Benutzereingaben als Schulungsdaten verwendet, besteht immer noch die Möglichkeit, sensible Daten abzurufen (auch wenn die Daten nur einmal im Schulungsset erscheinen! https://arxiv.org/pdf/2012.07805.pdf). Geben Sie ChatGPT daher KEINE SENSIBLEN INFORMATIONEN!
Zusammenfassung
KI, insbesondere LLMs wie ChatGPT, kann einen erheblichen Beitrag zur Analyse von User Research leisten. Diese Fallstudie zeigt die Machbarkeit und Effektivität des Einsatzes von ChatGPT zur Analyse internationaler Umfragen. Durch die Nutzung der Möglichkeiten von KI können wir User Researcher:innen wertvolle Erkenntnisse schneller und effizienter gewinnen. Es ist jedoch wichtig, KI-Analysen mit Vorsicht anzugehen, indem Qualitätssicherungen durchgeführt und der Datenschutz gewährleistet werden.