6 Tipps fürs erfolgreiche Split-Testing von E-Mail Newslettern

Split-Testing empfehlen Experten immer, sobald es um die Frage nach den Erfolg von Newslettern geht. Doch ist das nicht nur etwas für große E-Mail Verteiler? Nicht unbedingt! Achten Sie auf ein paar wichtige Rahmenbedingungen, dann wird Ihr Split-Testing auch für kleinere Newsletter interessant.

Woran liegt es, dass die Öffnungsrate eine Woche hoch, eine Woche unter allen Erwartungen liegt? Spätestens jetzt fangen Ihre Mitarbeiter an zu diskutieren: Die Werbeabteilung schiebt es auf den Aussendetermin, der Produktmanager findet die Texte schlecht … All das sind nur Mutmaßungen und bringen wenig, solange nicht getestet wird. Doch auch auf den richtigen Test kommt es an, denn eine Statistik kann – wie Sie wissen – ziemlich in die Irre führen.

Split-Testing – Sorgen Sie für signifikante Ergebnisse!

Split-Testing für Newsletter

Fotolia © bakhtiarzein

Fakt ist: Ergebnisse werden Sie mit einem Split Test immer bekommen, nur leider oft keine signifikanten. Können Sie wirklich sicher sein, dass beobachtete Unterschied tatsächlich an dem liegt, was Sie in den beiden getesteten Versionen geändert haben? Gibt es weitere Faktoren, die beim Test unbewusst abgeändert wurden? Je größer die Stichprobe, desto eher erhalten Sie signifikante Ergebnisse, dass wissen Sie selbst. Doch was tun, wenn Ihre Empfängerliste klein ist? Dann müssen Sie nicht auf Split-Testing verzichten, sondern nur ein paar Dinge beherzigen.

6 Tipps für E-Mail Newsletter mit wenigen Empfängern:

  1. Testen Sie 2 Versionen – Je mehr Varianten Sie auf einmal untersuchen, desto mehr Test-Teilnehmer brauchen Sie, um signifikante Ergebnisse zu bekommen. Mit 2 Versionen Ihres Newsletters bekommen Sie schnell ein gut auszuwertendes Ergebnis.
  2. Wählen Sie sehr starke Unterschiede – Je stärker die Kontraste zwischen Variante A und B sind, desto kleiner kann Ihre Stichprobe sein. Setzen Sie daher 2 sehr unterschiedliche Varianten ein und testen Sie zuerst das, von dem Sie glauben, dass es den größten Effekt hat. Beispiele: Verändern Sie nicht nur ein Wort, sondern testen Sie 2 unterschiedliche Betreffzeilen mit verschiedenen Nutzen oder Ansprachen. Statt Angebote für den Herbst vs. Aktuelle Herbstangebote testen Sie lieber Aktuelle Angebote für den Herbst vs. Jetzt zuschlagen: 20 Prozent Rabatt im Herbst.
  3. Testen Sie mit allen Nutzern – Vorab Split-Tests kommen für kleine Newsletter-Listen nicht infrage. Testen Sie hier am besten gleich mit allen Empfängern, werten Sie die Aktion aus und optimieren Sie dann Ihre Newsletter für die nächsten Aussendungen.
  4. Testen Sie gleichzeitig – Die großen Tests werden manchmal sequenziell getestet, dazu verschickt man erst Variante A und danach Variante B an den gleichen Verteiler. Vorteil: Sie hätten mehr Teilnehmer. Doch Vorsicht, das kann sich als unvergleichbar herausstellen, denn Sie testen mit unterschiedlicher Tageszeit, Wochentag, Wetter usw. Das sind zuviele Unbekannte, daher schlagen wir auch bei kleinen Test vor, einen parallelen Split-Test vorzunehmen. Halbieren Sie also Ihre Empfängerliste und verschicken Sie beide Varianten gleichzeitig.
  5. Analysieren Sie mehrere Faktoren – Beschränken Sie sich beim Test nicht nur auf Öffnungen und Klicks. Messen Sie auch, was die Nutzer nach dem Klick getan haben: Welche und wie viele Seiten haben sie danach besucht? Wie lange waren sie auf der Site? Haben sie etwas gekauft oder nicht?…
  6. Mut zu (etwas) mehr Risiko – Zugegeben, hundertprozentige Sicherheit erhalten Sie mit Split-Tests nicht. Denn auch hier erhalten Sie „nur“ Richtwerte. Legen Sie fest, wie sicher Sie sich sein wollen, dass das gemessene Ergebnis nicht nur ein Zufallseffekt ist. Normalerweise strebt man 95 Prozent an (Konfidenzniveau). Das bedeutet, dass ein Restrisiko von 5 Prozent bleibt, dass das Ergebnis nur durch Zufall entstanden ist. Dass also beispielsweise eine der zwei Betreffzeilen, die Sie ausprobiert haben, nicht deshalb zu einer höheren Öffnungsrate geführt hat, weil sie besser ist – sondern lediglich weil zufällig mehr Empfänger diese Mail geöffnet haben. Haben Sie jedoch nur wenige Empfänger, können Sie das Konfidenzniveau auf 90 oder 80 Prozent absenken. Sie haben dann zwar ein höheres Risiko, dass Sie die falschen Schlüsse ziehen, doch Sie laufen höchstens Gefahr, dass Sie eine öfter angeklickte Betreffzeile (unser Beispiel) als besser einstufen, obwohl beide gleich gut sind.

Abonnieren Sie jetzt unsere kostenlosen E-News und profitieren Sie von unserem Insider-Wissen im Bereich Internet Marketing. Viel Spaß beim Entdecken – Wir freuen uns auf Ihre Anmeldung!

Empfehlung: Das Einhalten dieser 6 Tipps könnte für Sie auch dann Erfolg versprechen, wenn Sie zwar eine große Empfängerliste haben, aber den Split-Test entweder nicht mit allen Usern durchführen wollen oder die Ergebnisse besonders schnell benötigen.

Tipp der Redaktion: Sie möchten Ihr E-Mail Marketing erheblich verbessern? Dann kontaktieren Sie internetmarketing.at, wir helfen Ihnen gerne weiter.

Weitere Informationen:

Was ist ein Split-Test? Auf: www.optimizely.com
Evalanche News: Der schnellste Weg zu erfolgreicheren Newslettern, auf: www.scnem.com
Jeff Sauro: 10 Things to Know about A/B Testingwww.measuringu.com