Die Experimentergebnisse werden einmal pro Woche aktualisiert, bis das Experiment beendet ist. Die Experimentergebnisse geben an, wie gut jede Version des Inhalts bei den Kunden abgeschnitten hat, zusammen mit der Wahrscheinlichkeit, dass der Sieger besser ist. Sie können Ihre Ergebnisse einsehen, indem Sie im Dashboard "Experimente" auf den Namen des Experiments klicken.
Auf Grundlage der beim Experiment erhobenen Daten berechnen wir eine Reihe möglicher Auswirkungen, wenn die einzelnen Inhalte veröffentlicht werden. Die Ergebnisse werden für alle ASINs zusammengefasst, die an dem Experiment teilnehmen. Wir stellen verschiedene Ergebnisse bereit:
Zur Bestimmung der Auswirkungen über ein Jahr berechnen wir die durchschnittliche Umsatzsteigerung pro Tag, die durch den siegreichen Inhalt erzielt wird, und multiplizieren diesen Wert mit 365. Dabei handelt es sich um eine Schätzung, bei der saisonale Schwankungen, Preisänderungen oder andere Faktoren, die Auswirkungen auf Ihren tatsächlichen Geschäftserfolg haben können, nicht berücksichtigt werden. Sie dient lediglich zu Informationszwecken und wir können keine inkrementellen Vorteile garantieren.
In der Spalte Wahrscheinlich wird der Median (das 50. Perzentil) der Spanne der von uns berechneten möglichen Ergebnisse angezeigt. In den Spalten Idealfall und Ungünstigster Fall wird das 95-%-Konfidenzintervall dieser Ergebnisse angezeigt.
Ein Experiment kann mit Ergebnissen enden, die nicht eindeutig sind oder bei denen die Wahrscheinlichkeit gering ist, dass eine Version des Inhalts bessere Ergebnisse erzielt als eine andere. Dennoch können solche Ergebnisse durchaus hilfreich sein.
Im Folgenden finden Sie einige Gründe dafür, warum ein Experiment möglicherweise keine eindeutigen Ergebnisse liefert:
Ziehen Sie bei der Auswertung nicht eindeutiger Ergebnisse Ihre Arbeitshypothese heran. Je nachdem, was Sie geändert haben, kann ein nicht eindeutiges Ergebnis zum Beispiel darauf hinweisen, dass eine bestimmte Art von Inhalt keine Investition wert ist, weil sie sich nicht auf das Kundenverhalten auswirkt. Es kann aber auch darauf hindeuten, dass zwei Wege der Produktvermarktung ähnlich effektiv sind. Sie können zusätzliche Experimente durchführen, um die Erkenntnisse aus den vorherigen Experimente zu überprüfen.
Hier wird erklärt, wie wir einen Sieger ermitteln und seine Auswirkungen prognostizieren. Zur Durchführung eines Experiments sind diese Informationen allerdings nicht erforderlich.
Die Experimente basieren auf einzelnen Kundenkonten. Während eines Experiments wird jedes Kundenkonto, in dem Ihr Inhalt angezeigt wird, als Teilnehmer des Experiments betrachtet. Den Kunden wird nach dem Zufallsprinzip während der gesamten Dauer des Experiments jeweils eine Inhaltsversion angezeigt, unabhängig vom Gerätetyp oder anderen Faktoren, solange der Kunde identifiziert werden kann. Besuche auf Ihrer Seite, bei denen ein Kunde nicht identifiziert werden kann, werden nicht in den Stichprobenumfang einbezogen. Wir behalten uns vor, bestimmte Arten von Daten automatisch aus der Stichprobe zu entfernen, um die Genauigkeit der Ergebnisse zu verbessern, z. B. statistische Ausreißer.
Bei der Analyse der Experimentergebnisse wenden wir den bayesschen Ansatz an. Das bedeutet, dass wir die Wahrscheinlichkeitsverteilung sowohl auf der Grundlage eines Modells als auch anhand der tatsächlichen Experimentergebnisse konstruieren. Wir weisen die mittlere Effektstärke (in Bezug auf Änderung von Einheiten) sowie das 95-%-Konfidenzintervall (auch bekannt als Vertrauensintervall) der A-posteriori-Wahrscheinlichkeitsverteilung aus. Diese wird im Verlauf des Experiments wöchentlich auf der Grundlage aller seit Beginn erfassten experimentellen Daten aktualisiert. Das Konfidenzintervall des Siegers ist der prozentuale Anteil der Ergebnisse in der Wahrscheinlichkeitsverteilung, die einen positiven Einfluss auf die Absatzzahlen haben.
Zur Bestimmung der zu erwartenden Auswirkungen über ein Jahr berechnen wir die durchschnittliche Differenz zwischen dem Tagesabsatz des Siegers und Verlierers für die Dauer des Experiments und multiplizieren diesen Wert mit 365. Wir berechnen die Auswirkung mit einem Konfidenzintervall von 95 % auf der Basis der A-posteriori-Wahrscheinlichkeitsverteilung.