Die Kaufempfehlungen von Amazon sind sagenumwoben. Die Funktionsweise sei geheim wie die Coca-Cola-Formel. Unsinn, ist sie nicht. Wir erklären die Zauberformel. Weil es uns auf die Nerven geht, wenn alles zum Mysterium erklärt wird – denn es lähmt: Wer auf den Zauberer wartet, der ein Kaninchen aus dem Hut zieht, wird selbst zum Kaninchen, das auf die Schlange starrt.

Im letzten Artikel hatten wir verlangt, dass Manager Data Mining zur Chefsache machen, und behauptet, dass sie das auch können, weil Datenanalyse toll, aber keine Zauberei ist. Für Amazon ist sie vor allem Fleiß. Drei Teams betreiben Datenanalyse, damit die Kunden volle Körbe nach Hause bekommen: die Amazon Personalization Group, das Automated Merchandising Team und das Automated Content Selection and Delivery Team.

Senf oder Bier? Was empfiehlt man, wenn die Wurst schon im Korb liegt und die bisherigen Kunden 6 x Wurst und Bier, 5 x Wurst, Senf und Bier, 40 x Bier und 3 x Senf gekauft haben? Amazon würde Senf empfehlen, wir auch.

Der Amazon-Algorithmus ist einfach zu verstehen. Ebenso wie das Assoziationsverfahren für Warenkorbanalysen tun, wird mit Häufigkeiten gearbeitet: Zu einem Produkt A wird das Produkt B empfohlen, das Kunden, die schon A haben, am häufigsten gekauft haben. Allerdings sorgt ein Korrekturfaktor dafür, dass nicht die schiere Häufigkeit entscheidet, welches Produkt empfohlen wird; man teilt die Häufigkeit nämlich durch einen Faktor, der umso größer wird, je häufiger A auch ohne B und B auch ohne A gekauft wird. Im Grunde sind das aber schon Feinheiten. Dennoch: Ich konnte mir das besser am Esstisch als vor dem Bücherregal klar machen und wenn ich von mir ausgehe. Wenn ich Weißwürste einkaufe, nehme ich eigentlich immer süßen Senf und Weißbier mit. Ohne Weißwürste kaufe ich niemals süßen Senf. Weißbier hingegen kaufe ich durchaus auch allein. Wenn man Weißwürste bei Amazon bestellt (das geht), müsste zuerst süßer Senf, dann Weißbier empfohlen werden. Das leistet das Maß, das Amazon verwendet. Meine ohne Würste gekauften Weißbiere landen im Nenner und machen das Maß kleiner als beim Senf, den ich nie alleine kaufe.
Voilà!

Da man mit Amazon auch den Tisch decken kann, kann man überprüfen, ob ich als Stichprobe Eins tauge. Zu Weißwürsten wurde mir der Senf empfohlen. Aber kein Weißbier. Zum Weißbier dann der Senf. Na ja. Nobody is perfect.

So, unser Versprechen hätten wir damit in drei Absätzen eingelöst. Worüber sollte man sich als Manager noch Gedanken machen, wenn es um Empfehlungssysteme geht? Zum Beispiel darüber:

Empfehlungssysteme sind großartig, aber keine Mundpropaganda
Man ist sich weitgehend einig darüber, dass man auf die Empfehlungen seiner Freunde mehr hört als auf alles andere. Mundpropaganda gilt daher als wirksamste Form der Werbung. Leider kann man echte Mundpropaganda nicht kaufen: Mundpropaganda kann das Ergebnis von Marketing sein, aber keines seiner Mittel. Empfehlungssysteme und die Wirkung von Empfehlungen sind damit zweierlei. Der Computer, der bei Amazon Kaufempfehlungen ausspuckt, ist eben nicht per se ein Freund. Es hängt von der Güte seiner Empfehlungen ab, ob er es wird.

Das kleinste Schaufenster der Welt: Aus Sicht des stationären Handels ist der Platz, der im E-Commerce für weitere Angebote zur Verfügung steht, ganz schön mickrig. Quelle: Amazon.de.
Anklicken zum Vergrößern.

Kein Wunder, dass Amazon 30 % seines Umsatzes mit Empfehlungen macht
In allen Läden sehen wir nicht nur den Artikel, den wir ursprünglich kaufen wollten, sondern alle möglichen anderen. In der Regel verleitet das zu weiteren Käufen. Je länger man sich im Laden aufhält, je länger die Wege und die Wartezeit an den Kassen, desto voller werden die Tüten. Die Super- und Baumärkte profitieren davon, dass man nicht mit geschlossenen Augen wieder hinauskommt und daher Hunderten, manchmal Tausenden Verlockungen ausgesetzt wird. Diese Chance haben Internet-Händler so nicht. Auf gerade mal vier Verlockungen, also Empfehlungen, bringt es Amazon, wenn man sich für ein Buch entschieden hat. Es ist daher ein Gebot der Vernunft, dass Amazon die eingesparte Ladenmiete auch dafür ausgibt, die richtigen vier Verlockungen zu finden. Für uns interessant ist also weniger, welcher Anteil des Umsatzes auf ungeplante Käufe entfällt, sondern welche Empfehlungslogik am besten funktioniert.

Manchmal heißt es auch, Amazon hätte durch sein Empfehlungssystem den Umsatz um 30 % gesteigert. Das „durch“ ist hier das entscheidende Wort. Kausalität nachzuweisen, wenn es um menschliches Verhalten geht, ist nicht möglich. Man muss sich behelfen: Bei Tests von Medikamenten ist das sogar Pflicht. Die Präparate gibt man einer Testgruppe, gleichzeitig erhält eine Kontrollgruppe dieselben Tabletten, aber ohne Wirkstoff. Wenn es beiden Gruppen gleich gut oder gleich schlecht geht, sind Zweifel erlaubt, ob das Medikament einen Unterschied ausmacht, sprich: wirkt.

Bei vielen Prognose-Projekten von Unternehmen wird auf die Kontrollgruppe verzichtet. Eric Siegel, Buchautor, lange Zeit Professor an der Columbia-Universität und großer Fan von „Predictive Analytics“, führt das auf die mangelnde Sachkenntnis der Datenanalyseexperten selbst zurück. Keine Kontrollgruppe zu haben, sagt er, sei in der Szene jahrzehntelang die übliche Praxis gewesen. Sag ich doch, mehr Kirk, bitte!

In der Praxis ist es in der Tat nicht unüblich, ein Mailing an seine Kunden zu machen und sich zufrieden zu geben, wenn die Responsequote gesteigert werden konnte. Auf der Strecke bleibt dann die Frage, was ohne Mailing passiert wäre – weil nicht gemessen und verglichen wird, wie Kunden bestellen, die kein Mailing bekommen haben. Das wäre die Kontrollgruppe gewesen. Unabdingbar ist saubere Methodik, wenn man mit Trotzköpfen rechnen muss. Nicholas Radcliffe nennt sie „Sleeping Dogs“, „Boomerangs“ oder „Do-not-disturbs“. Mobilfunkanbieter kennen diesen Typus: Zum Auslaufen eines Handyvertrages bieten sie ihren Kunden ein Upgrade auf das neueste Modell an. Die Trotzköpfe erinnert das nur daran, dass sie kündigen können, was sie dann auch tun.

Kunden, die man besser in Ruhe lässt: Schlafende Hunde tun das Gegenteil von dem, was man will – wenn man sie anspricht. Quelle: Nicholas Radcliffe, Generating Incremental Sales, 2007 (PDF).

Die intensive Nutzung von Kontrollgruppen wurde mit Barack Obamas Wiederwahlkampagne 2012 berühmt. Tausende Wähler wurden entweder besucht oder angerufen, bekamen per E-Mail oder auf Papier Post oder wurden gar nicht umworben. Anschließend wurden alle befragt. Ziel war dabei eine Segmentierung in vier Gruppen:

1. Obama-Fans, die ihn ohne jedes Zutun wählen würden („Sure things“),
2. Trotzköpfe, die ihn nur dann wählen würden, wenn man sie in Ruhe ließe, sonst eben Mitt Romney („Sleeping Dogs“),
3. Obama-Gegner, die ihn niemals wählen würden („Lost Causes“), und
4. Unentschlossene, die auf einem der möglichen Ansprachewege für Obama zu überzeugen wären („Persuadables“).

Nur an die Persuadables sollte sich naturgemäß die teure Kampagne richten. Das gilt ganz allgemein für jede Form von Werbung, die man direkt adressieren kann. Die „Sure things“ machen Kampagnen unnötig teuer, die „Schlafenden Hunde“ können eine Kampagne ad absurdum führen.

Wenn es stimmt, was Siegel sagt, dann ist auf Experten auch kein Verlass. Chef sein ist eben ein einsamer Job. Wir finden es daher wichtig, dass Manager die Basics der Datenanalyse verstehen und auf die Plausibilität datenanalytischer Annahmen pochen. Dass die Hälfte seines Werbebudgets aus dem Fenster geworfen wurde, sagte schon Henry Ford. Die Sleeping Dogs zeigen, es kann noch schlimmer kommen. Vor allem, wenn der Chef zum Kaninchen verzaubert wurde.