eparo – Digital Service Design

Das Blog von eparo.de

15. November, 2014

8 Tipps für erfolgreiche UX-Tests

Echte User-Insights gewinnen – und sich nicht blamieren

Es scheint ja im Prinzip ganz einfach zu sein, einen UX-Test durchzuführen: Nutzer finden, Interview durchführen, Beobachtungen auswerten…

In der Praxis sorgen aber oft kleine Fehler und Pannen dafür, dass ein Test keine guten Ergebnisse liefert oder sogar richtig schief geht. Das ist besonders unangenehm, wenn auch noch diverse Kollegen, Vorgesetzte oder Kunden beim Test zusehen.

Wir haben diese Fehler in der Vergangenheit natürlich auch alle schon selbst erlebt und daraus gelernt.

Die folgenden acht Tipps klingen zwar ziemlich banal, werden euch aber helfen, dass die nächsten UX-Tests reibungslos klappen:

1  “Echte“ Nutzer und keine „Simulanten“ rekrutieren!

Auf die passenden Probanden kommt es an.Der Erfolg eines UX-Tests hängt zu 99% davon ab, dass die echte Zielgruppe im Test sitzt. Nur dann kann man beobachten, ob die Inhalte und Prozesse wirklich stimmen. Dafür müssen die Probanden wirklich zum Testzeitpunkt genau in der Lebenssituation sein, in der sie eine Website oder App auch tatsächlich nutzen würden. Sie müssen z.B. konkret aktuell nach einem neuen Auto schauen oder eine Reise planen oder einen Verwandten mit Alzheimer haben.

Dann verhalten sie sich im Test authentisch und es lassen sich auch die unbewussten Reaktionen beobachten und bewerten. Das lässt sich durch eine „Stellen Sie sich bitte vor…“-Anmoderation nicht ersetzen.

In der Praxis müsst ihr das bei der Probandenrekrutierung berücksichtigen. Erschwert wird das noch dadurch, dass es durchaus Testpersonen gibt, die „lügen und betrügen“, um an einer Studie teilnehmen zu können. Ist ja leicht verdientes Geld…

Praktisch müsst ihr bei der Rekrutierung gezielt Fangfragen einbauen, um echte Nutzer von den Simulanten unterscheiden zu können. Das ist bei unserer eigenen Rekrutierung schon fast zu einer Wissenschaft geworden.

Lars (unser Probandenfindeguru) hat in einem Interview auf dem eparo-Blog auch noch mehr über die Herausforderungen bei der Probandenrekrutierung erzählt: Interview mit Lars zu Fake-Probanden

2  Show-Stopper bei der Probandenauswahl vermeiden!

 Die Probanden müssen wirklich passenDer Tipp ist zwar eigentlich schon abgedeckt, wenn ihr die richtige Zielgruppe rekrutiert.

Aber in der Praxis kann es leicht passieren, dass ein Proband in der Vorbefragung plötzlich etwas sagt, was ihn für den Test total unbrauchbar macht.

Beispiele:

„Ich würde online nie einen Vertrag abschließen.“ (für den Test eines Onlinevertragsabschlusses)

„Um die Hausmodernisierung kümmert sich bei uns mein Mann.“ (beim Test eines Energiesparspecials)“

Von solchen Probanden wird man keinerlei brauchbare Erkenntnisse gewinnen, sondern nur eine kostbare Interviewstunde verschwenden. Das merken auch alle Testbeobachter und sind entsprechend genervt.

Verhindern lässt sich das im Vorfeld bei der Rekrutierung. Wieder kommt es darauf an, genau zu klären, welche Anforderungen der Proband erfüllen muss. Das ist auf jeden Fall viel wichtiger als demographische Daten.

Sollte es doch mal passieren, dass ein Proband überhaupt nicht passt, muss man ihn direkt zu Testbeginn austauschen. Das geht natürlich nur, wenn man eine passenden Ersatzkandidaten draußen sitzen hat.

3  Immer einen Ersatzkandidaten vorhalten.

Es kann immer mal vorkommen, dass ein Proband nicht zum Test erscheint oder sich als ungeeignet herausstellt. Dann sitzen 5-10 Leute im Beobachtungsraum, drehen Däumchen und sind mittelschwer verärgert. Das darf natürlich nicht passieren.

Wichtig ist daher, dass ihr durch Erinnerungsanrufe am Tag vorher sicherstellt, dass der Proband auch tatsächlich erscheint. Gegen plötzliche Krankheiten, Stau oder Lokführerstreik hilft das natürlich nicht.

Zusätzlich müsst ihr daher immer dafür sorgen, dass ein passender Ersatzkandidat zur Verfügung steht. Wir rekrutieren deshalb immer ein/zwei zusätzliche Probanden, die im Idealfall nur fürs Warten bezahlt werden. In der Regel wartet ein Proband drei Stunden am Vormittag und ein zweiter Proband für die drei Interviews am Nachmittag.

Dann ist es kein Problem, wenn doch mal ein regulärer Proband ausfällt.

4  Der Proband darf nicht vorher erfahren, worum es bei dem Test geht!

Der Proband muss ahnungslos sein.Noch ein Probandenzitat, das ich nie hören möchte: „Ich hab mir die Seite xyz gestern schon mal angesehen.“ Das ruiniert den kompletten Testeinstieg und ärgert auch wieder alle Testbeobachter. Brauchbare Erkenntnisse sind so nämlich nicht mehr zu bekommen.

Auch hier hilft die sorgfältige Rekrutierung mit den richtigen Fragen aus denen der potentielle Proband nicht ablesen kann, worum es geht.

Also nicht fragen „Kaufen Sie bei Supermarkt xy?“ sondern offen fragen „Bei welchen der folgenden Lebensmittelhändler kaufen sie regelmäßig ein?“.

Das ist wirklich wichtig, da es ja durchaus „Fake- Probanden“ gibt, die versuchen, sich in Studien einzuschleichen. Das habe ich ja im ersten Tipp schon erklärt.

5  Möglichst realistische Prototypen verwenden

Realistische PrototypenHäufig werden in den UX-Tests ja erste Konzeptansätze mit Hilfe von digitalen Prototypen (Klickdummies) getestet. Hier ist es wichtig, dass durchgängig echte Inhalte verwendet werden. Also keine Blindtexte und keine Platzhalterbilder. Die Nutzer sind sonst schnell verwirrt („Warum steht das denn hier jetzt in Latein?“)

Werden Funktionen und Prozessabläufe getestet, dann müssen diese Abläufe logisch sein. Z.B. müssen bei einem eCommerce-Test die Produktauswahl und Preise sich stimmig durch den Testablauf ziehen. Sonst kommen Fragen „Ich habe einen roten Pulli angeklickt, warum ist jetzt ne Jeans in meinem Warenkorb?“. Wenn das passiert, verliert der Proband den roten Faden und die Testergebnisse leiden.

Hierzu braucht es „nur“ etwas Fleiß und Sorgfalt bei der Erstellung des Prototypen. Es ist immer echt schade, wenn durch Schlamperei ein Interview fast wertlos wird.

 

Jetzt noch ein paar Praxistipps zur Technik. Auch hier können Kleinigkeiten für großen Unmut sorgen.

6  Eine gute Internetverbindung ist Pflicht: LAN statt WLAN!

LAN statt WLANWährend des Usability-Tests sollten sowohl die Testübertragung in den Beobachtungsraum als auch die Seitenaufrufe im Testbrowser einwandfrei und schnell funktionieren. Um Verzögerungen & Störungen zu vermeiden, bitte wenn möglich eine LAN-Verbindung nehmen. WLAN ruckelt manchmal.

 

 

7  Dropbox-, Skype- & andere Popups unterdrücken!

dropbox-skype-und-coPlötzlich auf dem Bildschirm des Probanden auftauchende Popups führen zu unnötiger Ablenkung und Störung des Testverlaufs.

Besonders peinlich sind hier private E-Mail-Notifications des Testleiters oder immer wiederkehrende Pop-ups zu Software-Updates.

Prüft das System vorher, damit das unterbunden wird. Diese Störungen verwirren ja nicht nur die Probanden, sondern werden auch von allen Testbeobachtern bemerkt. Das wirkt richtig unprofessionell.

8  Der Proband muss gut zu sehen und zu hören sein!

Ton und Bild müssen stimmenDamit während der Tests oder im Nachhinein auf den Aufnahmen das Verhalten des Probanden gut nachvollziehbar ist, müssen Mimik und Gestik perfekt erkennbar sein. Daher sollte man immer für ideale Lichtverhältnisse im Raum sorgen. Ebenso ist das klare Hören seiner Aussagen von großer Bedeutung.

Der Ton wird oft unterschätzt. Man muss auf jeden Fall ein gutes Mikro nutzen und vorher testen, ob die Einstellungen stimmen. Und darauf achten, dass die Umgebungsgeräusche möglichst reduziert werden.

9  Fazit:

Am wichtigsten sind natürlich die perfekten Probanden. Wenn ihr die nicht selber suchen wollt, dann könnt ihr die auch von eparo bekommen. Das ist unser „täglich Brot“.

Genauso wichtig wie die Probanden ist der Testgegenstand. Bei der Entwicklung des Prototyps für den Test darf man nicht schlampig sein und muss auch auf die Details achten.

Aber auch die kleinen technischen und organisatorischen Sachen können die Qualität eines Tests wirklich negativ beeinflussen.

Aber mit den acht Tipps habt ihr die schlimmsten Probleme im Prinzip im Griff. Sonst einfach ne Mail schicken…

 
11. November, 2014

Interview mit Rolf zum WUD 2014 in Hamburg

World Usability Day in Hamburg

Engagement:
Service-Design zwischen Nutzerfreundlichkeit und Weltverbesserung

rolf

Am 13.11.2014 findet zum zehnten Mal der World Usability Day statt. Seit 9 Jahren ist eparo an der Organisation beteiligt. Beate hat Rolf im Vorfeld zum kommenden WUD in Hamburg interviewt:

Beate: Zum neunten Mal in Folge veranstaltet eparo den WUD. Was hat sich im Laufe der Jahre verändert?

Rolf: Zuerst einmal: Wir sind zwar seit neun Jahren dabei, allerdings erst seit 2010 quasi als Alleinveranstalter. In den ersten Jahren gab es ein relativ großes Organisationsteam, natürlich mit den üblichen Abstimmungsproblemen. Das ist nach und nach weggebröckelt. Seit vier Jahren organisieren wir den WUD jetzt direkt über eparo. So haben wir zwar mehr Arbeit, aber nicht mehr diese Abstimmungsmeetings im Projektteam. Das spart viel Zeit.
Was sich auch geändert hat, ist die „Location“. Anfangs waren wir immer in den alten Räumen der Hochschule für Angewandte Wissenschaften (HAW) am Berliner Tor. Dort gab es zwei große Hörsäle mit jeweils 100 Plätzen. Seit drei Jahren sind wir an der Finkenau. Dort es ist schöner, aber räumlich etwas beengter. Inzwischen sind auch die Workshops am Vormittag zu einem unverzichtbaren Bestandteil des WUD geworden. Die sind eigentlich in jedem Jahr ausgebucht. Vermutlich, weil sie immer sehr praxisorientiert, nützlich und umsonst sind.
Insgesamt ist der WUD auch populärer geworden. Die Events überall in Deutschland sind im Laufe der letzten Jahre größer und professioneller geworden.

Beate: Und das Publikum? Sind es immer dieselben Leute aus der UX und IT-Szene? Oder wen erwartest du in diesem Jahr?

Rolf: Im Kern ist der WUD schon so eine Art Familientreffen der Hamburger UX-Szene. Allerdings immer ergänzt durch Studenten der HAW und Leute, die spontan dazu kommen. Wir haben im letzten Jahr wieder damit begonnen, ein festes Workshop- und Vortragsprogramm zu organisieren. Das macht es interessanter und planbarer. So ist es auch leichter, den Chef zu überzeugen, dass sich die Teilnahme lohnt:-)

Inzwischen kommen auch viele angestellte UXler. Digitale Services sind kein Agenturthema (mehr), sondern ganz klar Unternehmenssache. Agenturvertreter sind komischerweise sowieso dünn vertreten beim WUD. Das liegt entweder daran, dass wir sie nicht erreicht haben, oder dass kein Interesse besteht, oder keine Zeit da ist.

Beate: Also ist es noch kein „alter Hut“, wie man denken könnte?

Rolf: Nein, der einzige alte Hut beim WUD ist der Titel: Es geht eigentlich schon seit Jahren nicht mehr um Usability, sondern primär um das Nutzererlebnis, also die User Experience. An den Vortragseinreichungen kann man immer auch den Zeitgeist ablesen. Was treibt die Community um? Welche Themen stehen im Fokus?

Beate: Wie ist denn der sogenannte Zeitgeist der UX-Szene?

Wir bewegen uns von der Entdeckung der richtigen Arbeitsmethoden so langsam zum Kern des Problems vor. Wie passen denn neue Arbeitsmethoden wie Design Thinking, Agile und Co-Creation in die alten Strukturen? Was muss passieren, damit sie passen? Die „Szene“ hat es satt, dass trotz viel Engagement in den Projekten am Ende meist doch nur Sachen rauskommen, auf die man nicht stolz ist. Das soll sich ändern!

Beate: Das diesjährige Thema ist „Engagement“. Was bedeutet das für dich?

Rolf: Das Thema finde ich toll. Es öffnet den Raum jenseits des rein Fachlichen und verdeutlicht die Verantwortung, die jeder von uns hat. Egal, ob im Job oder privat. Es geht um Sinn und Bedeutung. Daher haben wir auch bei der Programmgestaltung Vorträge, die „Engagement“ in irgendeiner Form zum Thema gemacht haben, bevorzugt aufgenommen. Insgesamt gab es viel positives Feedback. Das Thema hat einen Nerv getroffen.

Beate: eparo hat ja Teilnehmende und Mitarbeiter versucht zu bewegen, engagierte Projekte vorzustellen. Nicht alle haben das Angebot angenommen. Woran lag das wohl?

Rolf: Das ist eigentlich wie immer. Ich vermute mal, dass es einigen schlicht durchgerutscht ist. So etwas passiert mir auch leider oft genug. Die wichtigen Dinge werden von den dringenden Sachen gefressen.

Beate: Gibt es da irgendwelche Zwickmühlen? Ich meine, wenn jemand eine Tauschbörse für Konsumgüter und Dienstleistungen vorstellt zum Beispiel, torpediert das ja alle marktwirtschaftlichen Interessen, die aber die meisten unserer Kunden verfolgen. Wie passt das alles zusammen?

Rolf: Ich mache mir da keine großen Gedanken drüber. Auch Konzerne mit klaren wirtschaftlichen Interessen engagieren sich ja sozial und nehmen ihre gesellschaftliche Verantwortung wahr. Ob das immer ernst gemeint ist, oder vielleicht auch teilweise marketing-getrieben, lasse ich mal offen. Ich persönlich fände es gut, wenn beim WUD auch Tauschbörsen vorgestellt werden. Auf die Diskussion mit unseren Kunden lasse ich es da gerne ankommen.

Beate: Was wünschst du dir denn für die Engagement-Projekte, die da vorgestellt werden?

Rolf: Ach, ich wär schon zufrieden, wenn die sozialen Projekte sichtbarer werden. Vielleicht findet sich auf dem Weg ja auch der ein oder andere Freiwillige, der Lust und Zeit hat, ein Projekt zu unterstützen.
Selbst wenn es nur einer ist, hätte sich die Aktion meiner Meinung nach schon gelohnt.

Beate: Wie positioniert sich denn eparo? Willst du auch „die Welt verbessern“? Oder zumindest das Biest Unternehmenskultur (wie Daniel Neuberger es in seinem Vortragstitel nennt) zähmen?

Rolf: Naja, ich möchte schon einiges verändern. Flache Hierarchien, Mitbestimmung, Transparenz – zugegeben, es sind große Ziele, die wir verfolgen. Ein Wochenende mit allen Mitarbeitern und ihren Familien im Mai war der Anfang. Jetzt arbeiten wir daran, dass wir unsere guten Vorsätze auch umsetzen. Die Entwicklung unserer Unternehmenskultur mit klaren Werten gehört dazu. Leider kommt das immer noch viel zu kurz im Arbeitsalltag. Was ich echt bedaure. Für den Job heißt es: Wenn wir es schaffen, digitale Services nutzbarer zu machen oder sogar erfreulich, dann würde mich das schon freuen. Mehr Zusammenarbeit und Kreativität und weniger Politik in den Projekten, das wäre schon etwas. Das sind auch die Beratungsprojekte, die ich am liebsten mache.

Beate: Welche Beratungsprojekte meinst du?

Rolf: Ich unterstütze Unternehmen und UX-Teams gerne dabei, die Organisation so aufzusetzen, dass wirklich tolle, innovative Services entstehen können. Das ist viel mehr als nur einen Prozess zu definieren. Es ist im Kern eine Änderung der Unternehmenskultur.

Beate: Auf welchen Vortrag und Workshop freust du dich am meisten?

Rolf: Ich wäre gerne bei der Session dabei, wo es um den Sinn von User-Tests geht. Da hätte ich eine sehr konträre Meinung zu den Vortragenden. Leider moderiere ich zum gleichen Zeitpunkt die andere Session. In Session 1 freue ich mich auf Daniel Neuberger und das Biest Unternehmenskultur. In der Session halte ich ja auch einen Vortrag. Mal sehen, vielleicht wird eine kleine, spontane Podiumsdiskussion daraus.

Beate: Worum geht es denn in deinem Vortrag?

Rolf: Ich will versuchen, etwas genauer zu zeigen, warum Projekte oft schiefgehen. Die Methoden und der Wille sind ja da. Im Unternehmen kommt dann aber irgendwann die Mauer zur Hierarchie und zum Macht- und Karrieredenken. Daran scheitern dann die ganzen ambitionierten Projekte.

Beate: Ich bin gespannt. Danke für das Gespräch, Rolf!