Experimentergebnisse

Die Experimentergebnisse werden einmal pro Woche aktualisiert, bis das Experiment beendet ist. Die Experimentergebnisse geben an, wie gut jede Version des Inhalts bei den Kunden abgeschnitten hat, zusammen mit der Wahrscheinlichkeit, dass der Sieger besser ist. Sie können Ihre Ergebnisse einsehen, indem Sie im Dashboard "Experimente" auf den Namen des Experiments klicken.

Ergebnisse interpretieren

Auf Grundlage der beim Experiment erhobenen Daten berechnen wir eine Reihe möglicher Auswirkungen, wenn die einzelnen Inhalte veröffentlicht werden. Die Ergebnisse werden für alle ASINs zusammengefasst, die an dem Experiment teilnehmen. Wir stellen verschiedene Ergebnisse bereit:

1. Wahrscheinlichkeit, dass eine Version des Inhalts besser ist als die andere. Wenn wir zum Beispiel von einer Wahrscheinlichkeit von 75 % ausgehen, dass Version A besser ist, bedeutet dies, dass 75 % der von uns berechneten möglichen Auswirkungen auf positive Verkaufseffekte bei Veröffentlichung von Version A hindeuten.
2. Für jede Version des Inhalts wird Folgendes angezeigt: Einheiten, Verkäufe, Konversionsrate, Einheiten pro eindeutigem Besucher und Stichprobenumfang bei dieser Version. Die Konversionsrate ist der prozentuale Anteil der eindeutigen Besucher, die im Rahmen des Experiments -Inhalte gesehen und einen Kauf getätigt haben. Der Stichprobenumfang ist die Anzahl der eindeutigen Besucher, die jede Inhaltsversion gesehen haben. Die Einheiten pro eindeutigem Besucher sind die Einheiten geteilt durch den Stichprobenumfang.
3. Zu erwartende Auswirkungen über ein Jahr. Dieser Bereich wird nur für abgeschlossene Experimente ausgefüllt. Es wird eine Schätzung des möglichen positiven Verkaufseffekts für das nächste Jahr angezeigt, der durch die Veröffentlichung der Inhaltsversion mit den besseren Ergebnissen erreicht werden kann. Wenn mit hoher Wahrscheinlichkeit eine bessere Version bestimmt wird, sind die meisten erwarteten Auswirkungen positiv. Wenn nur mit geringer Wahrscheinlichkeit eine bessere Version bestimmt wird, können die Auswirkungen im ungünstigsten Fall negativ sein. Dies liegt daran, dass die Version, die im Experiment schlechtere Ergebnisse erzielt hat, mit der Zeit immer noch besser abschneiden kann. Die Prognosen sind Schätzungen, die nur auf den Experimentergebnissen und keinen anderen Faktoren beruhen. Sie werden nur zu Informationszwecken bereitgestellt und sind keine Garantie für die zukünftige Umsatzentwicklung.

Zu erwartende Auswirkungen über ein Jahr

Zur Bestimmung der Auswirkungen über ein Jahr berechnen wir die durchschnittliche Umsatzsteigerung pro Tag, die durch den siegreichen Inhalt erzielt wird, und multiplizieren diesen Wert mit 365. Dabei handelt es sich um eine Schätzung, bei der saisonale Schwankungen, Preisänderungen oder andere Faktoren, die Auswirkungen auf Ihren tatsächlichen Geschäftserfolg haben können, nicht berücksichtigt werden. Sie dient lediglich zu Informationszwecken und wir können keine inkrementellen Vorteile garantieren.

In der Spalte Wahrscheinlich wird der Median (das 50. Perzentil) der Spanne der von uns berechneten möglichen Ergebnisse angezeigt. In den Spalten Idealfall und Ungünstigster Fall wird das 95-%-Konfidenzintervall dieser Ergebnisse angezeigt.

Nicht eindeutige Ergebnisse

Ein Experiment kann mit Ergebnissen enden, die nicht eindeutig sind oder bei denen die Wahrscheinlichkeit gering ist, dass eine Version des Inhalts bessere Ergebnisse erzielt als eine andere. Dennoch können solche Ergebnisse durchaus hilfreich sein.

Im Folgenden finden Sie einige Gründe dafür, warum ein Experiment möglicherweise keine eindeutigen Ergebnisse liefert:

• Die Änderung, die Sie an Ihrem Inhalt vorgenommen haben, war zu klein, um das Kundenverhalten maßgeblich zu beeinflussen.
• Der vorhandene Traffic waren nicht ausreichend, um mit hoher Wahrscheinlichkeit einen Sieger zu ermitteln.
• Die beiden Versionen der getesteten Inhalte haben zu vergleichbaren Umsatzsteigerungen geführt.
• Die Änderung, die Sie an Ihrem Inhalt vorgenommen haben, betrifft einen Aspekt, der für die Kunden bei der Kaufentscheidung nicht wichtig ist.

Ziehen Sie bei der Auswertung nicht eindeutiger Ergebnisse Ihre Arbeitshypothese heran. Je nachdem, was Sie geändert haben, kann ein nicht eindeutiges Ergebnis zum Beispiel darauf hinweisen, dass eine bestimmte Art von Inhalt keine Investition wert ist, weil sie sich nicht auf das Kundenverhalten auswirkt. Es kann aber auch darauf hindeuten, dass zwei Wege der Produktvermarktung ähnlich effektiv sind. Sie können zusätzliche Experimente durchführen, um die Erkenntnisse aus den vorherigen Experimente zu überprüfen.

Methodik des Experiments

Hier wird erklärt, wie wir einen Sieger ermitteln und seine Auswirkungen prognostizieren. Zur Durchführung eines Experiments sind diese Informationen allerdings nicht erforderlich.

Die Experimente basieren auf einzelnen Kundenkonten. Während eines Experiments wird jedes Kundenkonto, in dem Ihr Inhalt angezeigt wird, als Teilnehmer des Experiments betrachtet. Den Kunden wird nach dem Zufallsprinzip während der gesamten Dauer des Experiments jeweils eine Inhaltsversion angezeigt, unabhängig vom Gerätetyp oder anderen Faktoren, solange der Kunde identifiziert werden kann. Besuche auf Ihrer Seite, bei denen ein Kunde nicht identifiziert werden kann, werden nicht in den Stichprobenumfang einbezogen. Wir behalten uns vor, bestimmte Arten von Daten automatisch aus der Stichprobe zu entfernen, um die Genauigkeit der Ergebnisse zu verbessern, z. B. statistische Ausreißer.

Bei der Analyse der Experimentergebnisse wenden wir den bayesschen Ansatz an. Das bedeutet, dass wir die Wahrscheinlichkeitsverteilung sowohl auf der Grundlage eines Modells als auch anhand der tatsächlichen Experimentergebnisse konstruieren. Wir weisen die mittlere Effektstärke (in Bezug auf Änderung von Einheiten) sowie das 95-%-Konfidenzintervall (auch bekannt als Vertrauensintervall) der A-posteriori-Wahrscheinlichkeitsverteilung aus. Diese wird im Verlauf des Experiments wöchentlich auf der Grundlage aller seit Beginn erfassten experimentellen Daten aktualisiert. Das Konfidenzintervall des Siegers ist der prozentuale Anteil der Ergebnisse in der Wahrscheinlichkeitsverteilung, die einen positiven Einfluss auf die Absatzzahlen haben.

Zur Bestimmung der zu erwartenden Auswirkungen über ein Jahr berechnen wir die durchschnittliche Differenz zwischen dem Tagesabsatz des Siegers und Verlierers für die Dauer des Experiments und multiplizieren diesen Wert mit 365. Wir berechnen die Auswirkung mit einem Konfidenzintervall von 95 % auf der Basis der A-posteriori-Wahrscheinlichkeitsverteilung.