eparo – Digital Service Design

Das Blog von eparo.de

16. Oktober, 2014

„Richtig testen, ohne sich an Fake-Probanden zu vergiften“

Im Interview: Lars Wiese, seit Ende 2013 Direktor Feld bei eparo.
Der Marktforschungsexperte berichtet, wie er passgenaue „echte“ Probanden findet und Fehlrekrutierungen ausschließt.

Interview und Redaktion: Beate Winter

Micropersonas

Beate: Was sind denn eigentlich Fake-Probanden?

Lars: Fake-Probanden sind Personen, die sich mit falschen Berufen und falschen Angaben in Projekte reinschmuggeln wollen. Sie behaupten zum Beispiel, dass sie Nutzer eines bestimmen Produktes seien, kennen dieses tatsächlich aber nicht oder nutzen es nicht wirklich. Wenn du mit solchen falschen Probanden testest, sind die Ergebnisse natürlich völlig unbrauchbar.

Beate: Ist es dir schon passiert, dass du mitten im Test oder einer Studie feststellen musstest, einen „Fake-Probanden“ vor dir sitzen zu haben?

Lars: Klar, in meiner Zeit als Marktforscher kam das ständig vor. Ich erinnere mich an eine Autostudie, in der ich mit einem Probanden in einem Porsche saß. Es ging um eine neue Innenraumgestaltung. Der Proband sollte das Fahrzeug, das er auch angeblich selber besitzt, starten. Leider suchte er das Zündschloss rechts und sah mich fragend an. Wie er denn starten solle ohne Zündschloss? Ich ließ ihn dann vom Sicherheitsdienst nach draußen begleiten. Ich gab ihm aber noch den Hinweis, dass bei Porsche das Zündschloss schon immer links saß, und er das ja eigentlich wissen muss als Besitzer einen solchen Fahrzeuges. Ein anderes Mal hatte sich eine Frau als Schwangere ausgegeben, um an einer Gesprächsgruppe über Babynahrung teilzunehmen. Am Buffet rutschte ihr dann leider das dicke Kissen aus dem Pulli und der Bauch war wieder flach. Einer ist mal mit Perücke und Sonnenbrille verkleidet zwei Mal zu selben Studie erschienen. Da gibt es unzählige Geschichten.

Beate: Ist es denn nicht üblich, vorher genau nachzufragen, ob die Probanden echt sind?

Lars: Ich behaupte: Nein. Diesen Aufwand betreibt keiner unserer Wettbewerber. Sie setzen auf Masse und schnelle Rekrutierung der Projekte, leider häufig zu Lasten der Qualität. Bei eparo arbeiten ausschließlich Markt- und Sozialforscher mit langer Berufserfahrung in der Realisierung von Feldprojekten. Und die schauen sich Probanden sehr genau an.

Beate: Wie sorgst du dafür, dass bei deinen Rekrutierungen nur echte Probanden dabei sind?

Lars: Das geht schon los bei der Pflege unseres Probanden-Panels. In unsere Datenbank nehmen wir nur diejenigen auf, die sich qualifiziert haben und deren Identität wir überprüft haben. Wir haben verschiedene Sicherungen in die Rekrutierung und Datenbankaufnahmen eingebaut. Das ganze ist mehrstufig und agil. Double check, Prüfung von Alter, Adresse, Telefonnummer etc. ist selbstverständlich. So schließen wir Mehrfachanmeldungen aus. Es gibt echte Studienprofis, die versuchen, sich mit möglichst vielen unterschiedlichen Profilen bei den verschiedenen Felddienstleistern anzumelden.

Bei der eigentlichen Rekrutierung wird es dann erst richtig anspruchsvoll. Jetzt müssen wir ja noch dafür sorgen, dass uns die möglichen Probanden keine Märchen erzählen, um in die Studie reinzukommen.

Beate: Was meinst du mit „Märchen erzählen“?

Lars: Bei einer Rekrutierung geht es ja neben den harten demografischen Daten auch um die Lebenssituation und die Erfahrungen. Wo kauft jemand ein? Welche elektronischen Geräte nutzt er? Was für ein Auto fährt er? Wenn der Proband ahnt, was er sagen muss, um in die Studie zu kommen, dann erzählt er dir genau das, was du hören willst.

Beate: Und wie vermeidet ihr das?

Lars: Du brauchst erst einmal ein genaues Anforderungsprofil. Was macht die Zielgruppe aus? Wie unterscheidet sie sich? Daraus wird ein Rekrutierungsprofil exakt abgebildet. Wir stellen immer offene Fragen! Echte Probanden antworten wahrheitsgemäß. Die Antworten werden gezielt hinterfragt. Wichtig hierbei: Fragen stellen, die nur ein echter Nutzer kennen kann. Bei Zweifeln und Unstimmigkeiten der Angaben des Probanden rufen wir beispielsweise in der Firma an und lassen uns Position und Aufgabengebiet der Person bestätigen.

Es gibt außerdem eine 6 monatige Studiensperre, um Dauergäste in Projekten/Studien zu vermeiden.

Beate : Gibt es „Pappenheimer“, die immer wieder versuchen, sich rein zu schummeln?

Lars: Der bislang hartnäckigste Kandidat hat es 15 mal versucht, immer mit einer anderen Identität. Leider erfolglos :-)

Beate: Aber es kann ja doch passieren, dass es jemand schafft und im Interview sitzt, obwohl er überhaupt nicht passt. Wie gehst du damit um?

Lars: Wichtig ist, dass man es möglich früh merkt. Dazu fragen wir zu Beginn des Interviews noch einmal die Fakten ab. Bei den eparo-Tests und Interviews sitzen ja immer auch die Kunden im Beobachtungsraum und verfolgen genau, was der Proband sagt. Da fällt es sofort auf, wenn jemand nicht passt. Es macht überhaupt keinen Sinn, mit einem Fake-Probanden das Interview weiter zu führen, weil die Ergebnisse schlicht falsch sind. Also am besten direkt abbrechen. Damit man dann nicht eine Stunde lang rumsitzt, haben wir immer einen Ersatzkandidaten rekrutiert, der dann einspringen kann. Den brauchen wir ja auch, falls mal ein Proband nicht erscheint.

Beate: Wie oft kommen die Ersatzkandidaten zum Einsatz?

Lars: Eher selten. In der Regel passen die Probanden ja gut. Und auch die regulären Probanden erscheinen fast zu 100%. Wir rufen die ja immer am Tag vor der Studie noch mal an, um sicher zu stellen, dass sie den Termin nicht vergessen haben.

Beate: Da steckt insgesamt viel Arbeit drin.

Lars: Stimmt. Hinter den Kulissen muss ziemlich viel passieren, damit die perfekten fünf Probanden pünktlich zu einem Interview erscheinen.
Übrigens haben wir bis jetzt hauptsächlich über die eher einfachen Konsumentenstudien gesprochen.
Richtig spannend wird es ja erst, wenn wir die Nadel im Heuhaufen suchen müssen. So was wie „Sammler von Kuckucks-Uhren“ oder „Festangestellte Controller, die sich nach einem neuen Job umsehen“.
Aber das ist was fürs nächste Interview.

Beate: Vielen Dank.