Welche Betreffzeile bringt mehr Öffnungen? Welche Farbe sollte der Kaufbutton haben? Welche Überschrift überzeugt mehr Besucher? Über solche Fragen wird in vielen Teams lange diskutiert, oft nach Bauchgefühl oder nach der Meinung der ranghöchsten Person. A/B-Testing beendet diese Diskussionen mit Daten. Du zeigst zwei Varianten verschiedenen Gruppen und misst, welche besser funktioniert. So triffst du Entscheidungen auf Basis echten Nutzerverhaltens.
In diesem Beitrag erfährst du, wie A/B-Tests funktionieren, was du testen kannst, wie du einen Test Schritt für Schritt aufsetzt, worauf es bei Stichprobengröße und Signifikanz ankommt und welche Fehler du vermeiden solltest.
Was ist ein A/B-Test?
Ein A/B-Test ist ein Experiment, bei dem zwei Varianten eines Elements miteinander verglichen werden. Variante A ist meist die bestehende Version, auch Kontrollvariante genannt. Variante B enthält eine Änderung. Die Besucher oder Empfänger werden zufällig auf beide Varianten verteilt. Am Ende zeigt sich anhand einer vorher festgelegten Kennzahl, welche Variante besser abschneidet.
Das Prinzip stammt aus der Wissenschaft, wo kontrollierte Experimente seit langem genutzt werden. Im Marketing kommt es vor allem bei Websites, Onlineshops, Newslettern, Anzeigen und Apps zum Einsatz.
Neben dem klassischen Vergleich zweier Varianten gibt es Erweiterungen. Beim A/B/n-Test werden mehrere Varianten gleichzeitig getestet. Beim multivariaten Test werden mehrere Elemente gleichzeitig verändert, um auch Wechselwirkungen zu erkennen. Dafür ist allerdings deutlich mehr Traffic nötig.
Warum sich Testen lohnt
Daten statt Meinungen: Entscheidungen beruhen auf echtem Verhalten deiner Nutzer.
Mehr Ergebnis mit gleichem Budget: Eine höhere Conversion-Rate bringt mehr Anfragen oder Verkäufe, ohne zusätzliche Werbekosten.
Geringeres Risiko: Änderungen werden erst an einem Teil der Nutzer getestet.
Lernen über die Zielgruppe: Du erfährst, was deine Kunden wirklich anspricht.
Kontinuierliche Verbesserung: Viele kleine Verbesserungen summieren sich zu großen Effekten.
Was du testen kannst
Auf der Website
Überschriften und Werbeversprechen
Texte, Länge und Tonalität
Bilder und Videos
Buttons: Farbe, Beschriftung, Position
Formulare: Anzahl und Reihenfolge der Felder
Preisdarstellung und Angebote
Aufbau und Layout von Seiten
Vertrauenselemente wie Bewertungen oder Siegel
Im E-Mail-Marketing
Betreffzeilen, Absendername, Versandzeitpunkt, Vorschautext, Inhalt, Bilder und Call-to-Action. Viele E-Mail-Tools bieten eingebaute Testfunktionen. Mehr dazu im Beitrag zum E-Mail-Marketing.
In Werbeanzeigen
Anzeigentexte, Bilder, Videos, Zielgruppen und Zielseiten. Werbeplattformen haben eigene Testfunktionen, mit denen sich Varianten sauber vergleichen lassen.
A/B-Testing im Onlineshop: Ideen für den Start
Gerade im E-Commerce lassen sich mit Tests oft schnell spürbare Verbesserungen erzielen. Diese Ideen haben sich in vielen Shops als lohnende Testkandidaten erwiesen:
Versandkosten früh anzeigen: Überraschungen im Checkout sind ein häufiger Abbruchgrund.
Gastbestellung anbieten: Nicht jeder möchte ein Kundenkonto anlegen.
Produktbilder mit Anwendungsbeispielen: Sie zeigen Nutzen statt nur das Produkt.
Bewertungen näher am Kaufbutton: Vertrauen im entscheidenden Moment.
Kostenloser Versand ab Mindestbestellwert: Kann den durchschnittlichen Warenkorb erhöhen.
Weniger Schritte im Checkout: Jeder zusätzliche Schritt kostet Kunden.
Viele dieser Tests setzen genau dort an, wo Kunden ihren Kauf abbrechen. Welche Gründe dafür typisch sind, liest du im Beitrag über Warenkorbabbrecher.
Einen Test aufsetzen: Schritt für Schritt
1. Ziel und Kennzahl festlegen
Lege fest, was du verbessern willst und woran du den Erfolg misst. Typische Kennzahlen sind die Conversion-Rate, die Klickrate, die Anmelderate oder der Umsatz pro Besucher. Wähle eine Hauptkennzahl, die direkt mit deinem Geschäftsziel zusammenhängt.
2. Problem analysieren
Suche zunächst nach Schwachstellen. Wo brechen Besucher ab? Welche Seiten haben eine hohe Absprungrate? Webanalyse, Heatmaps und Nutzerfeedback liefern Hinweise. Wie Heatmaps funktionieren, erklärt unser Beitrag zur Heatmap.
3. Hypothese formulieren
Eine gute Hypothese beschreibt, was du ändern willst, welche Wirkung du erwartest und warum. Zum Beispiel: „Wenn wir die Versandkosten bereits auf der Produktseite anzeigen, brechen weniger Kunden im Checkout ab, weil sie nicht mehr überrascht werden.“ Eine klare Hypothese verhindert, dass du wahllos Dinge ausprobierst.
4. Variante erstellen
Erstelle Variante B und verändere dabei möglichst nur ein Element. So kannst du den Unterschied eindeutig dieser Änderung zuordnen.
5. Test durchführen
Verteile die Nutzer zufällig auf beide Varianten, meist im Verhältnis 50 zu 50. Lass den Test lange genug laufen, um aussagekräftige Daten zu sammeln, und beziehe mindestens eine, besser zwei volle Wochen ein, um Unterschiede zwischen Wochentagen auszugleichen.
6. Ergebnisse auswerten
Prüfe, ob der Unterschied zwischen den Varianten statistisch signifikant ist. Nur dann kannst du davon ausgehen, dass er nicht auf Zufall beruht.
7. Umsetzen und dokumentieren
Setze die bessere Variante um und dokumentiere Hypothese, Ergebnis und Erkenntnisse. Auch Tests ohne klaren Sieger liefern wertvolles Wissen.
Stichprobengröße und Signifikanz
Einer der häufigsten Fehler ist es, Tests zu früh zu beenden. Nach einem Tag mit wenigen hundert Besuchern kann eine Variante zufällig vorne liegen, obwohl sie langfristig schlechter ist. Deshalb brauchst du eine ausreichend große Stichprobe.
Die statistische Signifikanz gibt an, wie wahrscheinlich es ist, dass ein beobachteter Unterschied nicht zufällig zustande gekommen ist. Üblich ist ein Signifikanzniveau von 95 Prozent. Online-Rechner helfen dir, vorab die benötigte Stichprobengröße zu bestimmen. Sie hängt von deiner aktuellen Conversion-Rate und dem Effekt ab, den du nachweisen möchtest. Je kleiner der erwartete Unterschied, desto mehr Besucher brauchst du.
Lege Testdauer und Stichprobengröße vor dem Start fest und halte dich daran. Wer laufend auf die Zahlen schaut und den Test beendet, sobald eine Variante vorne liegt, erhält häufig falsche Ergebnisse.
Ergebnisse richtig interpretieren
Ein Testergebnis ist nicht immer so eindeutig, wie es auf den ersten Blick wirkt. Prüfe deshalb nicht nur die Hauptkennzahl, sondern auch Nebenwirkungen. Eine Variante kann zum Beispiel mehr Anmeldungen bringen, aber Nutzer mit geringerer Kaufbereitschaft anziehen. Oder ein auffälliges Pop-up erhöht die Newsletter-Anmeldungen, senkt aber die Verkäufe.
Schau dir die Ergebnisse außerdem nach Segmenten an, etwa getrennt nach Smartphone und Desktop, nach neuen und wiederkehrenden Besuchern oder nach Traffic-Quelle. Manchmal funktioniert eine Variante in einer Gruppe deutlich besser als in einer anderen. Ziehe aus solchen Teilergebnissen aber nur vorsichtige Schlüsse, da die Stichproben kleiner sind. Am Ende zählt, was dem Unternehmen wirtschaftlich nützt. Wie du den Ertrag von Werbemaßnahmen bewertest, erfährst du im Beitrag zum ROAS.
Eine Testkultur aufbauen
Die größten Erfolge erzielen Unternehmen, die nicht nur gelegentlich testen, sondern Experimente fest in ihre Arbeit integrieren. Sammle Testideen in einer gemeinsamen Liste und bewerte sie nach erwartetem Nutzen, Aufwand und Wahrscheinlichkeit eines Erfolgs. Arbeite die vielversprechendsten Ideen nacheinander ab. Teile die Ergebnisse im Team, auch die gescheiterten. Wer offen mit Misserfolgen umgeht, lernt schneller und vermeidet, dass dieselben Ideen immer wieder getestet werden.
Testen mit wenig Traffic
Kleine Websites haben oft zu wenig Besucher für klassische Tests mit kleinen Änderungen. Hier helfen einige Strategien: Teste mutigere Änderungen, die größere Effekte erwarten lassen, etwa eine komplett neu aufgebaute Landingpage statt einer anderen Buttonfarbe. Teste dort, wo viele Nutzer vorbeikommen, zum Beispiel auf der Startseite oder in Newslettern mit großer Empfängerliste. Und ergänze Tests durch qualitative Methoden wie Nutzerinterviews oder Usability-Tests.
Werkzeuge für A/B-Tests
Für Websites gibt es spezialisierte Testing-Tools, die Varianten ausspielen, Besucher verteilen und Ergebnisse auswerten. Viele Shopsysteme, Landingpage-Baukasten und E-Mail-Programme haben eigene Testfunktionen integriert. Achte bei Website-Tools darauf, dass sie die Ladezeit nicht spürbar verlangsamen und datenschutzkonform eingesetzt werden können. Da Testing-Tools in der Regel Cookies setzen, brauchst du meist eine Einwilligung der Besucher.
Ethik und Nutzererfahrung
Tests sollen herausfinden, was Nutzern wirklich hilft, nicht, wie man sie am besten überlistet. Varianten mit irreführenden Countdowns, versteckten Kosten oder vorausgewählten Zusatzprodukten mögen kurzfristig bessere Zahlen liefern, schaden aber Vertrauen und Ruf und können rechtlich problematisch sein. Achte zudem darauf, dass alle Varianten barrierefrei und auf allen Geräten gut nutzbar sind. Ein gutes Testergebnis ist eines, bei dem Unternehmen und Kunden gleichermaßen gewinnen. Frage dich vor jedem Test, ob du die Variante auch dauerhaft und mit gutem Gewissen einsetzen würdest.
Praxisbeispiel: Ein Online-Sprachkurs testet seine Anmeldeseite
Ein Anbieter von Online-Sprachkursen stellt fest, dass viele Besucher die Anmeldeseite verlassen, ohne sich für die kostenlose Testwoche zu registrieren. Die Hypothese des Teams: Das Formular mit acht Feldern schreckt ab. Variante B fragt nur nach E-Mail-Adresse und Passwort, weitere Angaben folgen nach der Anmeldung.
Nach drei Wochen und mehreren tausend Besuchern zeigt sich ein signifikantes Ergebnis: Variante B steigert die Anmelderate deutlich. Das Team setzt die neue Version um und testet im nächsten Schritt verschiedene Überschriften.
Typische Fehler beim A/B-Testing
Zu früh beenden: Zufällige Schwankungen werden als Ergebnis missverstanden.
Zu viele Änderungen gleichzeitig: Der Effekt lässt sich keinem Element zuordnen.
Keine Hypothese: Wahlloses Testen bringt wenig Erkenntnis.
Falsche Kennzahl: Mehr Klicks bedeuten nicht automatisch mehr Umsatz.
Externe Einflüsse ignorieren: Feiertage, Aktionen oder Kampagnen können Ergebnisse verzerren.
Fazit: Kleine Experimente, große Wirkung
A/B-Testing ersetzt Bauchgefühl durch Daten. Mit klaren Zielen, guten Hypothesen, ausreichend großen Stichproben und einer sauberen Auswertung findest du heraus, was deine Nutzer wirklich überzeugt. Wer regelmäßig testet und aus jedem Ergebnis lernt, verbessert Website, Newsletter und Anzeigen Schritt für Schritt und holt mehr aus seinem Marketingbudget heraus.
Häufige Fragen zum A/B-Testing
Was ist A/B-Testing?
Ein Verfahren, bei dem zwei Varianten zufällig verschiedenen Nutzergruppen gezeigt werden, um zu messen, welche besser funktioniert.
Wie lange sollte ein A/B-Test laufen?
Bis die vorab berechnete Stichprobengröße erreicht ist, mindestens aber ein bis zwei volle Wochen.
Was bedeutet statistische Signifikanz?
Sie gibt an, wie wahrscheinlich es ist, dass ein Unterschied nicht zufällig entstanden ist. Üblich sind 95 Prozent.
Was ist der Unterschied zum multivariaten Test?
Beim A/B-Test wird meist ein Element verändert, beim multivariaten Test mehrere gleichzeitig.
Lohnen sich Tests für kleine Websites?
Ja, wenn du mutigere Änderungen testest und Tests mit qualitativen Methoden ergänzt.
