A/A Testing

Definition

A/A Testing ist ein statistischer Test, der durchgeführt wird, um zwei identische Erfahrungen mit einer zufälligen Gruppe von Nutzern zu vergleichen. Wie bei einem A/B-Test wird der Traffic gleichmäßig auf beide Varianten verteilt. Das Ziel eines A/A-Tests besteht jedoch darin, zu bestätigen, dass der statistische Test keinen Unterschied bei den Conversion Rates zwischen den beiden Erlebnissen ergibt.

Die Logik, die hinter diesem Ergebnis steht, ist, dass der erwartete KPI (Key Performance Indicator) für beide Gruppen gleich bleibt, da jeder Benutzergruppe ein identisches Erlebnis geboten wird. Wenn z. B. 10 % Ihrer Website-Besucher eine Umfrage auf der Landing Page ausfüllen, können wir davon ausgehen, dass die Conversion Rate für eine andere Gruppe von Besuchern, die eine identische Erfahrung auf der Landing Page machen, gleich bleibt.

Die Notwendigkeit von A/A Testing

Aber was würde man mit einem A/A-Test erreichen, wenn beide Varianten identisch sind? 

A/A Testing ermöglicht die Überprüfung der Zulässigkeit des Tools, das schließlich zur Durchführung von A/B-Tests verwendet werden kann. Mehrere Unternehmen führen A/A-Tests in den folgenden Fällen durch

• Um zu überprüfen, ob die A/B-Test-Software richtig konfiguriert ist.
  • Das Ziel eines A/A-Tests besteht darin, dass die Zielgruppe auf denselben Inhalt ähnlich reagiert. Wenn jedoch ein A/A-Test durchgeführt wird und die Plattform einen Gewinner liefert, muss die Software überprüft werden. Das Tool könnte falsch konfiguriert sein.
  • Es ist möglich, bei einem A/A-Test einen Gewinner zu erhalten. Wenn mehrere A/A-Tests durchgeführt werden, würde die Einstellung einer P2BB (Probability to Beat the Best) von 95 % bedeuten, dass in 5 % der Fälle eine Variante durch Zufall zum Gewinner erklärt werden könnte. In den meisten Fällen wird es jedoch keinen Gewinner geben.

• Zur Ermittlung einer Basis-Conversion-Rate für künftige A/B-Tests.
  • Angenommen, ein Unternehmen plant eine neue Reihe von Tests für eine Landing Page. Wenn nach der Durchführung eines A/A-Tests beide Varianten nach einer gewissen Zeit zu einer ähnlichen Conversion-Rate konvergieren, kann diese Conversion-Rate als Basiswert verwendet werden und zukünftige A/B-Tests können durchgeführt werden, um diese Rate zu übertreffen.

Beim A/A Testing ist zu erwarten, dass das Ergebnis nicht schlüssig sein wird. Dennoch ist es möglich, einen Gewinner zwischen zwei identischen Varianten zu ermitteln, auch wenn das Tool richtig konfiguriert ist.

Warum würde ein A/A-Test einen Gewinner ermitteln?

 Die folgenden Gründe erklären, warum ein A/A-Test einen Gewinner ermittelt –

• Es geht vor allem um Wahrscheinlichkeit – P2BB wird auf der Grundlage von Daten geschätzt, die variabel sein können. In einem kurzen Zeitfenster kann eine Variante allein durch Zufall einen starken Vorsprung erhalten, was zu einem extremen P2BB führt, obwohl es keinen Unterschied gibt. Alle A/B-Testing-Strategien neigen dazu, gelegentlich ein Ergebnis zu verkünden, auch wenn kein Unterschied besteht.
• Große Datenmengen und kleine Unterschiede – Bei den meisten digitalen Experimenten mit großen Stichprobengrößen können selbst kleinste Unterschiede bei den KPIs zu einem extremen P2BB führen. Der Analyst muss beurteilen, ob der festgestellte Unterschied einen Wert für das Endergebnis des Unternehmens hat.  
• Ständiges Überprüfen der Daten – Im neuen Zeitalter des digitalen Experimentierens versuchen wir, schnellere Ergebnisse aus Experimenten zu erhalten, damit gute Ideen schnell in die Praxis umgesetzt werden können und das Engagement erhöht wird. Mit der Absicht, den Test frühzeitig zu beenden, schauen sich die Analysten die Ergebnisse oft immer wieder an, und sobald der Gewinner feststeht, wird der Test beendet. Dieses ständige Anschauen der Ergebnisse mit der Absicht, die bessere Variante zu ermitteln, kann dazu führen, dass der Test vorzeitig beendet wird, und könnte den Test insgesamt ungültig machen. Bei A/A-Tests mit konstantem Daten-Peeking wird ein Ergebnis garantiert während des Tests verkündet.

Erst wenn genügend Zeit für den Test zur Verfügung steht, verschwindet der Aufschwung, der durch einen Zufall entstanden sein könnte und zu einem Gewinner geführt hat. Die Kontrolle und die Variante könnten zu verschiedenen Zeitpunkten unterschiedlich abschneiden, aber keine von beiden wird auf Dauer zum Sieger erklärt.

Best Practices für die Durchführung eines A/A-Tests

Wenn Ihre Organisation einen A/A-Test durchführen will, sollten Sie sich immer bewusst sein, dass Ihr Test vorübergehend einen Gewinner ermitteln könnte. Dies hängt von der Zeit ab, die Sie für den Test zur Verfügung gestellt haben. Mit zunehmender Anzahl von Besuchern wird der Unterschied aber wahrscheinlich mit der Zeit geringer werden.

Legen Sie vor dem Experiment eine Stichprobengröße fest, indem Sie den VWO-Stichprobengrößenrechner verwenden. Planen Sie dann ausreichend Zeit und Besucher für den Test ein, bevor Sie ihn abschließen. Seien Sie sich bewusst, dass je nach P2BB-Niveau die Chance besteht, dass eine Variante trotzdem zum Gewinner erklärt werden kann. 

Um die Zuverlässigkeit der Softwareplattform zu überprüfen, sollten Sie mehrere A/A-Tests für eine feste Besucherzahl durchführen und beachten, dass Sie je nach dem konfigurierten P2BB-Schwellenwert eine bestimmte Falsch-Positiv-Rate erhalten. Wenn die ermittelte Falsch-Positiv-Rate innerhalb des Schwellenwerts liegt, funktioniert die Plattform einwandfrei.

Da es nicht möglich ist, mehrere A/A-Tests eines realen Experiments durchzuführen, ist es eine gute Idee, diese Analyse mit Hilfe von Simulationen durchzuführen, indem man einen Datenerzeugungsprozess definiert und das statistische Tool zur Überprüfung der statistischen Signifikanz verwendet.

Testing mit VWO

VWO ist eine führende A/B-Testing-Plattform, der Tausende von Marken auf der ganzen Welt vertrauen, darunter Domino’s, HBO, eBay und Disney. Sie bietet alles, was Sie zum Erstellen und Ausführen von Tests benötigen, um Ihre Umsätze zu steigern, Kaufabbrüche zu bekämpfen und hervorragende digitale Erlebnisse zu schaffen, die zu Conversions führen – und das bei minimaler Abhängigkeit von Ihren Entwicklern. Starten Sie noch heute eine kostenlose 30-Tage-Testversion, um die Funktionen und Möglichkeiten von VWO kennenzulernen.