Mythen und Fallstricke in der Marktforschung

Verzerrungen sind der Feind jeder Umfrage. Aber wie können Sie diese vermeiden?

Häufig besteht das Ziel einer Umfrage darin, Erkenntnisse zu gewinnen, die ausgehend von einer untersuchten Stichprobe auf Zielgruppe(n), wie bspw. Kunden(-segmente) oder Mitarbeiter übertragen werden können.

Jedoch lauern bspw. innerhalb der Datenerhebung oder der Frageformulierung falsche Vorstellungen und besonders verbreitete verzerrende Fallstricke, die die Aussagekraft einer Untersuchung verringern können.

1000 Teilnehmer müssen es aber schon sein, sonst ist die Umfrage nicht repräsentativ

Im Rahmen von Untersuchungen hören Sie häufig die Aussage „1000 Teilnehmer müssen es aber schon sein, sonst ist die Umfrage nicht repräsentativ!“ 

Um diese falsche Annahme zu entzaubern, lohnt sich ein kurzer Blick in die Theorie. Ob Umfrageergebnisse als repräsentativ (stark diskutierter Begriff!) angesehen werden können, hängt vom Gesamtfehler der Stichprobe ab. Und dieser setzt sich aus der Summe von Stichprobenfehler und systematischen Fehler (auch Verzerrung oder Bias) der Schätzfunktion zusammen. Während sich der Stichprobenfehler – das ist die zufällige Abweichung des Schätzers vom Erwartungswert des Schätzers – mit steigender Stichprobengröße sehr wohl verringert, ist dies bei der systematischen Verzerrung –  diese ist definiert als die Differenz zwischen dem Erwartungswert des Schätzers und dem wahren Wert in der Grundgesamtheit – nicht der Fall.

Gründe für eine systematische Verzerrung liegen u. a. in der Nichterreichbarkeit von Teilen der Grundgesamtheit. Stellen Sie bspw. auf den Fendt Saaten-Union Feldtagen einen Stand auf und befragen die Besucher nach ihrer Landtechnik-Lieblingsmarke, werden Sie wahrscheinlich keine generellen Aussagen über die Beliebtheit von Landtechnik-Marken unter deutschen Landwirten ableiten können, auch wenn Sie 10.000 Besucher befragen. 

Viel hilft viel

Andere verzerrende Gründe liegen bspw. in der Selbstselektion der Teilnehmer und des (un-)bewussten Einflusses des Untersuchers und seiner Umgebung.

Stellen Sie sich folgendes Beispiel vor: Ein Redakteur berichtet in einem Online-Artikel über ein konfliktbelastetes Thema, wie bspw. die neue Düngerverordnung oder den Milchpreis. Am Ende des Artikels wird die Teilnahme an einer thematisch in Wechselwirkung stehenden redaktionell gesteuerten Umfrage beworben. Diese Vorgehensweise begünstigt primär zwei verzerrende Faktoren: 

• Sie verändern wahrscheinlich allgemein und auf tendenziell einseitige Weise im Speziellen den Wissenstand des zukünftigen Umfrageteilnehmers (Versuchsleiterartefakt) und somit womöglich auch dessen Einstellung (Framing- oder Rahmungseffekt).
• Sie ziehen damit überwiegend Umfrageteilnehmer an, die von der Thematik besonders betroffen sind und somit auch am Gegenstand der Befragung interessiert sind (Selbstselektion).

Ähnliches geschieht auch häufig im Fragebogen selbst, sobald der Untersucher Fragestellungen mit (subjektiven) Hintergrundinformationen versieht, um das Ergebnis (un-)bewusst zu beeinflussen (Versuchsleiterartefakt): 

„Fleischersatzprodukte werden gerade unter verantwortungsvollen Verbrauchern immer beliebter. Viele Lebensmittelhersteller investieren daher in ihr Sortiment. Neue Produkte imitieren mittlerweile sogar einen perfekten Fleischgeschmack und eine natürliche Konsistenz. Konsumieren Sie bereits Fleischersatzprodukte oder haben Sie dies vor?“ (fiktives Beispiel)

Ergebnisse solcher Umfragen können daher schwerlich auf die Grundgesamtheit der internetnutzenden Landwirte oder die der Verbraucher übertragen werden.

Die Fragen und Antwortmöglichkeiten kann ich mir doch selber ausdenken

Daneben können auch andere Aspekte, wie u. a. die Fragenformulierung und -positionierung sowie das Fragebogendesign verzerren und damit einen grundlegenden Einfluss auf die Qualität des Befragungsergebnisses haben.

Stellen Sie sich vor, Ihre Kollegen und Sie stehen im Rahmen einer Produktneuentwicklung vor der Aufgabe, einen Fragebogen zu konzipieren, um Kundenwünsche zu identifizieren.

Vor dieser Aufgabe standen auch Mitarbeiter des Unternehmens Konica in den 70er-Jahren. Durch eine direkte Befragung konnten Sie allerdings lediglich herausfinden, dass Kunden nur geringfügige Änderungen am Produkt wünschten, obwohl sie in einem darauffolgenden Besuch eines Fotolabors erhebliche Mängel, wie bspw. unscharfe Bilder, Unter- und Überbelichtung oder gänzlich unbelichtete Filmrollen, feststellten.

Auf Basis dieser Erfahrungen entwickelte Prof. Noriaki Kano ein Modell, das ein tiefes Verständnis für die Problemwelt des Kunden und seine latenten, unausgesprochenen Bedürfnisse beinhaltet. Dieses hilft, Wünsche (Erwartungen) von Kunden zu erfassen und bei der Produktentwicklung zu berücksichtigen. 

Die Anwendung des Kano-Modells ermöglicht konkret die Zuordnung von Produktmerkmalen in die fünf Kategorien Basis-, Leistungs-, Begeisterungs-, unerhebliche sowie Zurückweisungsmerkmale. Besonders erfolgsversprechend ist hierbei die Identifikation von Begeisterungsmerkmalen, da diese das Produkt gegenüber der Konkurrenz auszeichnen. Selbst eine geringe Differenzierung gegenüber der Konkurrenz kann hierbei zu einem enormen Nutzen führen.