Analyse: Fake Reviews und Bewertungen erkennen

Immer häufiger liest man in der Presse und verschiedensten Online News Portalen von “Fake Reviews“. Dies bezieht sich auf verschiedene Branchen und deren Internet-Plattformen, von Gastronomie über Travel bis hin zu Suchmaschinen. Namentlich geht es dabei meist um Booking.com, Tripadvisor, und Google. Und natürlich um Amazon.

Interessanterweise gibt es zum Thema „Fake Reviews“ bisher wenig Fachliteratur bzw. Studien. Jeder weiß, dass es „falsche“ bzw. gekaufte Rezensionen gibt, allerdings sind Ausmaß und Impact bisher nur wenig belegt. Vorreiter beim Aufdecken von „Fake Reviews“ sowie deren Bekämpfung sind meist Verbraucherschutzverbände oder ähnliche Akteure. In UK ist dies „Which?“, in Deutschland z.B. die Stiftung Warentest.

Wir von der gominga beschäftigen uns als Review Experten natürlich ebenfalls intensiv mit dem Thema „Fake Reviews“, um unseren Kunden mit Rat & Tat zur Seite zu stehen. Hier sei auch auf unser Kapitel „Produktbewertungen auf Amazon: Relevanz und Handlungsempfehlungen für Unternehmen“ im Buch „Amazon für Entscheider“ (vgl. Springer Verlag, April 2020) verwiesen.

Im Folgenden haben wir einen aktuellen Artikel der Stiftung Warentest zum Anlass genommen, das Thema „Fake Reviews“ und die Vorgehensweise bzw. Identifikation von „Fake Reviews“ genauer unter die Lupe zu nehmen. Dazu haben wir den Analyse-Tool-Anbieter ReviewMeta analog zur Auswertung von Stiftung Warentest genutzt und eine zusätzliche Vergleichsauswertung mit weiteren Rezensionsdaten durchgeführt und angewandt.

Neben unseren Erkenntnissen stellen wir noch weiterführende Links zum Thema, u.a. zu aktuellen Studien von „Which?“ aus UK sowie der Stiftung Warentest zur Verfügung.

National wie international gibt es seit mehreren Jahren Studien, die den Einfluss von Rezensionen auf die Konsument*innen belegen. Dabei wird auch immer wieder ein Zusammenhang zwischen Bewertungen, Preis, und Abverkauf nachgewiesen. Daher ist es in gewisser Hinsicht nachzuvollziehen, dass es Versuche gibt das Geschäft durch die Manipulation von Bewertungen positiv zu beeinflussen.

„Fake Reviews“ sind meist dann wirkungsvoll, wenn das Produkt von einer weniger bekannten Marke stammt, da „Fake Reviews“ helfen können, die Online Reputation zu verbessern. Ebenso helfen sie bei Produkten mit nur wenigen technischen Attributen, weil Kaufinteressenten dabei mehr auf die Einschätzung anderer User angewiesen sind als bei Produkten, die sich durch ihre technischen Eigenschaften differenzieren. Wir haben beobachtet, dass eher niedrigpreisige Produkte der Manipulation unterliegen, da hier die Verbraucher*innen mehr auf den Sternewert und weniger auf den Rezensionstext schauen.

Angriffsfläche für Manipulation sind der Sterne-Wert, die Anzahl der Rezensionen sowie deren Verteilung zwischen den 1-5 Sternen, sowie einzelne „high quality fakes“ Rezensionen (Vgl. Which? 2020). Zwar haben die meisten Plattformen – so auch Amazon – mittlerweile sehr rigide Regeln für das Verfassen von Rezensionen und setzen diese auch immer besser mithilfe ihrer Algorithmen durch, aber dennoch kommt es nach wie vor zu gekauften oder anderweitig manipulierten Rezensionen. Das fängt bei „Family & Friends“ an und hört bei einer schon sehr professionellen Schattenindustrie mit Social Media Gruppen, Bezahldiensten, Bots, und Review Hijacking & Merging auf.

„Wie Verkäufer mit gekauftem Lob Kunden manipulieren“

(Stiftung Warentest)

Die Stiftung Warentest hat im Juni 2020 einen Bericht zu Fake Bewertungen auf Amazon veröffentlicht. In ihrer Recherche haben die Tester u.a. inkognito bei einer Agentur Bewertungen gekauft und anschließend mithilfe des Analyse-Tool-Anbieters ReviewMeta dann auf Echtheit analysiert. Weiterhin werden in dem Bericht Manipulationsmethoden erläutert.

Wir haben den Bericht zum Anlass genommen, uns die Methodik, Vorgehensweise und Ergebnisse genau anzuschauen und mit einem weiteren Datensatz zu vergleichen bzw. die Analyse zu replizieren.

Fragestellung und Ziel war für uns: kann man gekaufte Rezensionen wirklich gut identifizieren? Wie hoch ist der Anteil gekaufter Rezensionen, und gibt es einen Unterschied zwischen Markenprodukten und „no name“ Produkten?

Wie kann man gekaufte Bewertungen erkennen? Welche Kriterien gibt es dabei? Wie lässt sich ein solcher Prüfprozess automatisiert für große Datenmengen darstellen?

Grundsätzlich gibt es verschiedene Anhaltspunkte, die auf eine Manipulation hinweisen. Dabei werden einerseits die Verfasser*innen, andererseits die Rezension unter die Lupe genommen.

ReviewMeta ist eines der prominentesten Tools am Markt, um Rezensionen auf Amazon auf Echtheit zu prüfen. Die Firma sammelt zunächst Bewertungsdaten von den verschiedenen Amazon-Länder-Plattformen ein und unterzieht diese dann einer Prüfung auf Echtheit. So liegen zum heutigen Zeitpunkt für amazon.com beispielsweise 5,3 Millionen geprüfte Produkte vor, für amazon.de knapp 650.000 Produkte. Dies bedeutet natürlich, dass es sich um eine statische Prüfung handelt und nicht immer alle aktuellen Daten abgefragt werden können. Zudem beinhaltet der – zwar ohne Zweifel sehr große Datenschatz – längst nicht alle Produkte und deren Rezensionen. ReviewMeta wertet meist die Top 100 Produkte verschiedener Kategorien aus. Diese Topseller-Listen beinhalten dann – mal mehr, mal weniger – eine Mischung aus Produkten namhafter Markenhersteller und günstiger No-Name Produzenten. Das Tool ist gratis, sodass jeder entweder bei ReviewMeta direkt oder durch ein Browser Plugin einzelne Produkte abfragen und Rezensionen prüfen kann. Zuletzt sei noch erwähnt, dass ReviewMeta selbst nicht von „Fake Reviews“ spricht, sondern: „ReviewMeta analyzes Amazon product reviews and filters out reviews that our algorithm detects may be unnatural.“

Wir haben mithilfe des Tools von ReviewMeta zwei unterschiedliche Review-Datensätze analysiert und verglichen. Die erste Testgruppe besteht aus 45 Produkten, bei denen wir von gekauften bzw. „incentivierten“ Bewertungen wissen. Die zweite Testgruppe beinhaltet 110 Produkte von Markenherstellern, bei denen es keine gekauften / „incentivierten“ Bewertungen gibt. Allesamt gut gepflegte Sortimente mit durchweg organisch generierten Bewertungen, und einem aktiven Customer Support, der auf negative Bewertungen reagiert und Fragen beantwortet.

Unsere Fragestellung war also:

• Erkennt ReviewMeta tatsächlich gekaufte Bewertungen?
• Wie viele Bewertungen markiert ReviewMeta als „unnatürlich“?
• Wie verändert sich der Sterne-Wert durch ReviewMeta’s Aussortieren von „unnatürlichen“ Bewertungen?

Außerdem war für uns interessant, ob man einen Unterschied zwischen günstigen, No-Name Produkten (oftmals Handyhüllen, Accessoires, Kabel, Trinkflaschen etc.) und den Produkten der Markenhersteller erkennt.

Wichtig bei der Analyse und den Ergebnissen ist die Berechnung des Sterne-Wertes. Sowohl ReviewMeta als auch wir selbst können diesen immer nur mit dem arithmetischen Mittel der Bewertungen berechnen. Amazon hingegen nutzt einen Algorithmus, in den verschiedene, nicht bekannte Faktoren einfließen. Zwischen dem bei Amazon dargestellten Sterne-Wert und dem rechnerischen Wert besteht daher meist eine erhebliche Diskrepanz.

Amazon erläutert die Berechnung des Sterne-Wertes wie folgt:

Sowohl wir, als auch ReviewMeta, berücksichtigen in unseren Berechnungen ausschließlich jene Bewertungen mit Text. Obwohl verifizierte reine Sternewertungen ohne Text durchaus in den Gesamtdurchschnitt einfließen, sind diese derzeit nicht mit externen Mitteln erfassbar, weder für uns noch für ReviewMeta. Lediglich über einen Vergleich, wenn das Produkt bereits zuvor erfasst wurde, können diese näherungsweise ermittelt werden.

Der Prozess von ReviewMeta überprüft alle Bewertungen anhand von verschiedenen Kriterien, nach denen entweder die Bewertung oder der Verfasser als ‚unglaubwürdig‘ eingestuft werden – diese sind:

Verfasser:

• Brand Repeaters
• Brand Loyalists
• Brand Monogamists
• Never-Verified Reviewers
• One-Hit Wonders
• Overlapping Review History
• Reviewer Participation
• Single-Day Reviewers
• Take-Back Reviewers

Bewertung:

• Deleted Reviews
• Incentivized Reviews
• Phrase Repetition
• Unverified Purchases
• Word Count Comparision

Als Ergebnis wird von ReviewMeta ein Katalog erzeugt, der nach verschieden Kriterien (s.u.) entweder einen „FAIL“ meldet, wenn zu viele Auffälligkeiten registriert wurden, ein „WARN“ bei einer mittleren Zahl und „PASS“ wenn keine der angelegten Kriterien negativ erfüllt wurden. Wir haben uns im Folgenden nur die Fails angesehen.

ReviewMeta überprüft die Produkte nicht in regelmäßigen Abständen. In unseren Untersuchungen kam es vor, dass der letzte Scan des jeweiligen Produktes mehrere Wochen oder Monate zurücklag bzw. dass das Produkt noch nie erfasst wurde. Manchen Auswertungen liegen also nur ein bis zwei, vielleicht drei Scans zugrunde. Entsprechend vorsichtig sollten die Schlussfolgerungen betrachtet werden, da bei einigen Prüfkriterien (wie z.B. Deleted Reviews) die Aktualität der Daten sehr wichtig sind.

Im Folgenden zeigen wir die Ergebnisse unserer Analyse für die beiden Testgruppen detailliert auf und gehen dabei auf die Bereiche „Anpassung des Sterne-Werts“, „Anzahl verdächtiger Bewertungen“, sowie die Hauptkriterien der als „unnatürlich“ identifizierten Bewertungen ein.

Was das Aussortieren der „unnatürlichen“ Bewertungen und damit die Neuberechnung des Sterne-Wertes angeht, ist das Verhältnis zwischen beiden ausgewerteten Gruppen weitgehend ähnlich. Die Differenz des „alten“, bei Amazon angezeigten Sterne-Wertes, und des „neuen“ Sterne-Wertes hat sich bei beiden Gruppen ähnlich verändert.

Den größten Anteil machen jeweils Veränderungen in der ersten Nachkommastelle aus. Zwischen fast 73% (Testgruppe mit „incentivierten“ Bewertungen) und 62% (Testgruppe der Markenprodukte) zeigen eine Veränderung kleiner als 0,5 und damit in der Regel unter der Rundungsgrenze für den graphisch dargestellten Stern auf Amazon. Davon liegen zwischen 23% und 19% sogar unter 0,1.

Die Produkte der Testgruppe mit „incentivierten“ Bewertungen hatten vor der Analyse durch das ReviewMeta Tool im Schnitt 41 Bewertungen. Die Testgruppe der Markenprodukte 423. Die Gründe hierfür sind vielfältig. Man könnte behaupten, dass Markenprodukte von sich aus bei den Verbaucher*innen bekannter sind und daher auch öfter bewertet werden. Weiterhin werden die Produktpräsentationen von den Markenhersteller vermutlich besser gepflegt und das Thema Reviews sowie Q&A wird aktiv gemanagt. Dem hingegen weisen die Produkte der Testgruppe mit „incentivierten“ Bewertungen wesentlich weniger Reviews auf, was ja der ursprüngliche Grund ist überhaupt Bewertungen zu erkaufen.

Für das Aussortieren und Anpassen der quantitativen Menge der Rezensionen hat dies natürlich zur Folge, dass die Möglichkeit überhaupt eine große Anzahl an „unnatürlichen“ Bewertungen zu finden bei den beiden Testgruppen durchweg ungleich ist.

Bei der Testgruppe mit „incentivierten“ Bewertungen lagen bei 61% gar keine Veränderungen bei der Anzahl der Reviews vor, d.h. bei 61% gab es keinerlei Beanstandungen bzw. führten diese nicht zum Ausschluss. Bei den Markenprodukten betrifft dies nur 16%.

ReviewMeta analysiert die Bewertungen des jeweiligen Produkts in unregelmäßigen Abständen. Stellt ReviewMeta fest, dass eine zuvor veröffentlichte Bewertung nicht mehr verfügbar ist, gilt diese als „Deleted Review“, also als gelöschte Bewertung. Weshalb die jeweilige Bewertung gelöscht wurde, weiß ReviewMeta indes nicht. Werden viele Bewertungen gelöscht, gilt dieses Verhalten für ReviewMeta als unseriös.

Es gibt jedoch zahlreiche Gründe für Amazon, eine Rezension zu löschen oder gar nicht erst zuzulassen:

Wenn also beispielsweise in einer Bewertung der Versand kritisiert wird oder aber Marketplace Händler, dann entfernt Amazon eine solche Bewertung.

Ist der Hersteller bzw. dessen Customer Support auf Amazon aktiv und forciert die Löschung derart unpassender Bewertungen, bringt das dem Produkt nach den Kriterien von ReviewMeta Minuspunkte.

Amazon löscht auch Bewertungen, wenn eindeutig auf Produkttests verwiesen wird und es sich nicht um das Amazon-eigene Vine Programm handelt. Allerdings führen auch persönliche Daten oder Verweise auf andere Shops zur Löschung, allesamt Kriterien, die keine Aussage über die Echtheit der Bewertung zulassen. Die Anzahl der Bewertungen, die durch den Benutzer selbst gelöscht werden, ist nach unserer Erfahrung dagegen verschwindend gering.

Und noch einmal der Hinweis der Datenerhebung von ReviewMeta: Die Berechnung gelöschter Bewertungen bei ReviewMeta beruht allein auf einem ‚Vorher-Nachher‘. Sprich, eine Aussage zu Deleted Reviews kann nur gezogen werden, wenn das gleiche Produkt zuvor schon einmal erfasst wurde und eine Bewertung mit einem bestimmten TimeStamp beim nächsten Scan fehlt – wie ReviewMeta selbst erklärt:

Hierbei unterscheidet ReviewMeta vier verschiedene Fälle: „One-Hit Wonders“, „Single-Day Reviewers“, „Never-Verified Reviewers“ sowie „Take-Back Reviewers“. Dies ist beispielsweise eine Person, bei der es bei mindestens einer der abgegebenen Bewertungen zu einer Löschung gekommen ist.

ReviewMeta sucht hier nach einer Häufung bestimmter Worte und Ausdrücke. Unsere Auswertung zeigt, dass selten Hinweise auf Produkttests auftauchen, dagegen besonders oft Begriffe wie „Qualität“ und „Preis“ genannt werden, oder „bin zufrieden“. Das entspricht unserer Beobachtung nach, dem durchschnittlichen Bewertungsvokabular und ist an sich noch keine Auffälligkeit.

Im Datensatz der Testgruppe der „incentivierten“ Produkte wurde nur in genau einer Bewertung der Ausdruck „wurde mir kostenfrei zu Testzwecken zur Verfügung gestellt“ gefunden. Die übrigen Treffer bezogen sich auf „Qualität“, „Preis“ und „Design“.

Die Kriterien Brand Repeats (mit nur 1% entspricht 1 Treffer) oder Overlapping Review History (mit 6% entspricht 5 Treffer) werden nur verhältnismäßig selten gefunden. Hinter den Begriffen verbergen sich zum Einen Bewerter, die Produkte von ein und derselben Marke häufiger bewerten und zum Anderen, verschiedene Bewerter, die die identischen Produkte oft im gleichen Zeitraum bewerten. Dies lässt auf einen Bewerterpool einer Produkttestagentur schliessen. Genau diese relativ eindeutigen Identifier können jedoch nur sehr selten registriert werden.

„Fake Reviews“ werden uns weiterhin beschäftigen. Verbraucherschutzbehörden sind dabei wichtige Instanzen, um die negativen Auswirkungen transparent zu machen und Druck auf die Plattformbetreiber wie Amazon auszuüben.

Unsere Analyse zeigt dabei, wie schwierig es ist „Fake Reviews“ zu identifizieren. Selbst mithilfe technischer Tools wie ReviewMeta ist es schwierig, zwischen authentischen und „unnatürlichen“ Bewertungen zu unterscheiden. Die Kriterien zur Identifikation von „Fake Reviews“ sind oftmals nicht eindeutig, und so können eben auch gekaufte Bewertungen nicht immer mit absoluter Sicherheit gefunden und aussortiert werden.

Unsere Analyse illustriert auch, welche Unterschiede es zwischen verschiedenen Produktgruppen und Sortimentsbereichen geben kann.

Aufgrund unserer Analyse konnten wir nicht eindeutig feststellen, dass die meisten Reviews ‚Fake‘ sind, und die überwiegende Zahl der Produkte zu gut bewertet ist. Wir konnten nur bei maximal einem Viertel der analysierten Produkte einen besseren Bewertungsdurchschnitt feststellen, der sich nicht durch die Rechenweise von Amazon relativieren ließ. In der Mehrzahl der Fälle bewegt sich der Grad der Anpassungen unterhalb der Rundungsgrenze bei Amazon – viel größer ist die Abweichung durch die Amazon-eigenen Algorithmen für die Berechnung des Sterne-Wertes.