Appsumo lüftet sein A/B-Testing-Geheimnis: Nur 1 von 8 Tests führt zu Ergebnissen

Dies ist der zweite Artikel in einer Reihe von Interviews und Gastbeiträgen auf diesem Blog zum Thema A/B-Testing und die Optimierung der Conversion Rate. Im ersten Artikel haben wir Oli von Unbounce zu den Best Practices für Landingpages interviewt.

Anmerkung der Redaktion: Dieser Gastbeitrag stammt von Noah Kagan, dem Gründer von Appsumo, einer Website für Web App Deals. Wir kennen Noah schon seit einiger Zeit und er ist unsere erste Adresse für alle Herausforderungen im Bereich Marketing und Produktmanagement. Sie können ihm auf Twitter @noahkagan folgen. In diesem Artikel teilt Noah einige Geheimnisse und Realitäten des der A/B-Testings, die er im Zuge der Durchführung von Hunderten von Tests auf Appsumo entdeckt hat.

Kostenlos herunterladen: A/B-Testing-Leitfaden

Nur 1 von 8 A/B-Tests hat zu signifikanten Veränderungen geführt

AppSumo.com erreicht rund 5.000 Besucher pro Tag. Durch A/B-Testings  konnten wir unsere E-Mail-Conversions um das Fünffache steigern und die Conversion Rate bei den Verkäufen verdoppeln.

Trotzdem möchte ich mit Ihnen einige nüchterne Tatsachen über unsere Testerfahrungen teilen. Indem ich sie mit Ihnen teile, möchte ich Sie ermutigen, das Testen nicht aufzugeben und das Beste daraus zu machen. Der folgende Datenpunkt wird Sie wahrscheinlich überraschen:

Nur 1 von 8 A/B-Tests hat zu signifikanten Veränderungen geführt..

Das ist grotesk. Nicht nur ein großartiges Vokabular, sondern harte Realität. Im Folgenden finden Sie einige unserer Tests, von denen ich SICHER war, dass sie beeindruckende Ergebnisse liefern würden, nur um später eines Besseren belehrt zu werden.

A/B-Testing #FAIL 1

Hypothese: Testen des Titels. Wir haben viel Traffic auf unserer Landingpage und eine klarere Botschaft wird die Conversions deutlich erhöhen.

Ergebnis: Nicht schlüssig. Wir haben mehr als 8 Varianten ausprobiert, und keine konnte zu einer signifikanten Verbesserung führen.

Deshalb ist es gescheitert: Die Leute lesen nicht. (Anmerkung: Die wirkliche Antwort lautet: „Ich weiß nicht, warum es nicht geklappt hat, deshalb mache ich AB-Tests“)

Verbesserungsvorschlag: Wir brauchen drastischere Änderungen an unserer Website, z. B. mehr Informationen über unsere Angebote oder Bilder, um eine bessere Conversion Rate zu erreichen.

A/B-Test #FAIL 2

Hypothese: Wenn ein Tweet für einen Rabatt als Pop-up in einer Lightbox erscheint, muss man nicht erst auf einen Button klicken, um zu twittern. Die Annahme besteht darin, dass die Reduzierung eines Klicks und die („nervige“) Platzierung vor dem Gesicht einer Person zu mehr Tweets führen wird.

Ergebnis: Rückgang um 10% bei der Lightbox-Version.

Deshalb ist es gescheitert: NERVIG. Stimme voll und ganz zu. Außerdem war es verfrüht, da die Leute zu diesem Zeitpunkt weder eine Ahnung davon hatten noch an Tweets interessiert waren.

Verbesserungsvorschlag: Das Bedürfnis der Menschen nach Austausch sollte besser in unser Website-Design integriert werden.

A/B-Test #FAIL 3

Hypothese: Ein Rabatt würde mehr Leute dazu bringen, uns auf unserer Landingpage ihre E-Mail zu geben.

Ergebnis: Fehlgeschlagen. Geringere Conversion zu E-Mail auf unserer Landingpage.

Warum es nicht geklappt hat: Eine E-Mail ist eine wertvolle Ressource und wir haben es mit anspruchsvollen Nutzern zu tun. Sofern Sie nicht mit unserer Marke vertraut sind – und das ist nur eine kleine Zielgruppe -, sind Sie nicht gerade begeistert davon, Ihre E-Mail gegen einen % Rabatt einzutauschen.

Verbesserungsvorschlag: Anstelle von % Rabatt könnten auch $ verschenkt werden. %-Rabatte könnten auch in Verbindung mit Beispielen für Angebote erfolgen, damit die Kunden sehen können, wofür sie den Rabatt verwenden könnten.

Erkunden wir A/B-Testing-Tools

Überlegungen zu den fehlgeschlagenen A/B-Tests

All dies war eine große Überraschung und eine Enttäuschung für mich.

Wie oft haben Sie schon gedacht: „Das hier ist 100 Mal besser und ich kann es kaum erwarten zu sehen, wie viel besser diese Version funktioniert.“

Ein paar Tage später sehen Sie dann auf Ihrem Testing-Dashboard, dass es tatsächlich VERLUSTE gibt.

Ein Wort zur Warnung: Achten Sie auf eine vorzeitige E-Finalisierung. Beenden Sie die Tests nicht, bevor die Daten abgeschlossen sind (auch bekannt als statistische Signifikanz).

Ich habe den Großteil meiner Testphilosophie bei SpeedDate gelernt, wo buchstäblich jede Änderung getestet und gemessen wird. VIELE MALE haben meine Tests die ursprüngliche Version zunächst übertroffen, nur um ein paar Tage später festzustellen, dass a) die Verbesserung doch nicht so erstaunlich war oder b) sie tatsächlich Verluste erzeugte.

Wie können Sie das Beste aus Ihren Testings herausholen?

Einige Tipps für A/B-Testings, die auf meiner Erfahrung beruhen:

• Wöchentliche Iterationen. Dies ist die effektivste Methode, die ich für A/B-Testings gefunden habe
  • Wählen Sie nur 1 Sache aus, die Sie verbessern wollen. Sagen wir, es ist die Conversion Rate bei den Erstbesuchern
  • Ermitteln Sie einen Richtwert für die Conversion Rate
  • Führen Sie 1-3 Tests pro Woche durch, um diese Zahl zu erhöhen.
  • Machen Sie das jede Woche, bis Sie ein internes Ziel erreicht haben, das Sie sich selbst gesetzt haben.
• Die meisten Menschen testen 80 verschiedene Dinge, anstatt immer wieder eine Priorität zu setzen. Das macht Ihr Leben einfacher.
• Geduld. Machen Sie sich klar, dass es ein paar tausend Besuche oder 2 Wochen dauern kann, bis Sie Ergebnisse erzielen. Wählen Sie größere Änderungen zum Testen, damit Sie nicht auf kleine Verbesserungen warten müssen.
• Beharrlichkeit. Wenn Sie wissen, dass 7 von 8 Ihrer Tests zu unbedeutenden Verbesserungen führen, sollte es Sie beruhigen, dass Sie nichts falsch machen. So ist es nun einmal. Wie sehr wollen Sie diese Verbesserungen? Bleiben Sie dran.
• Konzentrieren Sie sich auf das große Ganze. Ich sage das oft, aber nicht alle hören zu. Einige werden es tun und sie werden großartige Ergebnisse damit erzielen. Wenn Sie 3-14 Tage warten müssen, bis Ihre A/B-Tests abgeschlossen sind, dann haben Sie lieber dramatische Veränderungen wie -50% oder 200% als eine Veränderung von 1-2%. Das mag davon abhängen, wo Sie mit Ihrem Unternehmen stehen, aber wahrscheinlich sind Sie nicht Amazon und 1% Steigerung wird Ihnen keine Millionen Dollar mehr einbringen.

Falls Ihnen dieser Artikel gefällt, folgen Sie @appsumo für weitere Informationen und besuchen Sie Appsumo.com für tolle Angebote.

Anmerkung des Redakteurs: Ich hoffe, dieser Gastbeitrag hat Ihnen gefallen. Es stimmt, dass viele A/B-Tests unbedeutende Ergebnisse liefern, und genau aus diesem Grund sollten Sie ständig A/B-Testings durchführen. Sollten Sie jemanden kennen, den ich für die nächsten Artikel dieser Serie interviewen sollte, oder möchten Sie selbst einen Gastbeitrag beisteuern, nehmen Sie bitte Kontakt mit mir auf (paras@wingify.com).