A/B Testing: wann es sich lohnt, was es kostet und was Sie vorher brauchen

A/B Testing ist eine kontrollierte, randomisierte Experimentiermethode, die den laufenden Website-Traffic gleichmäßig zwischen einer unveränderten Kontrollseite und einer Treatment-Variante mit einer einzelnen geänderten Variable aufteilt, um statistisch signifikante Steigerungen der Conversion Rate bei einem Konfidenzniveau von 95% und einer Teststärke von 80% zuverlässig nachzuweisen.

Die Mechanik ist einfach und oft erklärt. Worüber der wirtschaftliche Erfolg entscheidet, ist nicht die Mechanik, sondern ob Ihr Funnel genug Sitzungen und Abschlüsse erzeugt, damit sich das statistische Signal überhaupt vom Tagesrauschen trennt.

Die meisten Texte zum Thema stammen von den Firmen, die die Testwerkzeuge verkaufen, und lassen deshalb die Frage aus, ob Sie überhaupt testen sollten. Dieser Leitfaden beginnt dort, denn für einen großen Teil der B2B-Websites lautet die ehrliche Antwort: noch nicht.

Die Schwelle setzt die Rechnung, nicht die Begeisterung. Um eine realistische Verbesserung zu erkennen, etwa 20% relativen Zuwachs bei den Conversions, brauchen Sie rund 100 Conversions je Variante, bevor sich das Ergebnis vom Zufall trennt. Das sind 200 Conversions pro Test, und bei 2% Conversion Rate bedeutet es etwa 10.000 Sitzungen auf der getesteten Seite.

Darunter scheitern Tests nicht laut. Sie liefern einen Gewinner, der statistisches Rauschen ist, Sie liefern ihn in Produktion aus, und der versprochene Effekt taucht in den Monatszahlen nie auf. Zwei Runden solcher Scheingewinner, und das Team schließt daraus, Testen funktioniere nicht, obwohl lediglich das Testen unterhalb der nötigen Stichprobengröße gescheitert ist.

Jede belastbare Stichprobenberechnung verknüpft drei Größen: Ihre aktuelle Basisrate, wenn Sie vorab Ihre Conversion Rate berechnen, den kleinsten wirtschaftlich relevanten Effekt (Minimum Detectable Effect, kurz MDE) und Ihre Fehlertoleranzen. Saubere Experimente begrenzen den Fehler 1. Art (alpha = 0.05, also 95% Konfidenzniveau und maximal 5% Risiko für falsch-positive Treffer) sowie den Fehler 2. Art (beta = 0.20, also 80% statistische Teststärke und maximal 20% Risiko, einen echten Effekt zu übersehen). Wollen Sie bei 2,0% Basisrate einen relativen MDE von 15% nachweisen (Anstieg auf 2,3%), benötigen Sie bereits rund 17.000 Sitzungen pro Variante. Der Stichprobenrechner von Evan Miller zeigt Ihnen vorab exakt, wie viele Besucher je Variante nötig sind.

Drei Dinge, jedes in Stunden statt Wochen erledigt. Fehlt eines, entstehen Ergebnisse, mit denen Sie nichts anfangen können, und das ist teurer als gar nicht zu testen, weil die Schlüsse danach ein Jahr lang zitiert werden. Die feste MDE-Zahl in der Hypothese ist das, was ein flaches Ergebnis davor bewahrt, im Rückblick als kleiner Erfolg umgedeutet zu werden. Ohne sie berichtet jedes Team jeden Ausgang als Bestätigung dessen, was es ohnehin vorhatte.

Eine Conversion-Messung, die aus jedem Pfad genau einmal auslöst, von Hand auf Desktop und Mobilgeräten geprüft. Eine Basislinie von mindestens acht Wochen, damit Sie wissen, wie normale Wochenschnitt-Schwankung aussieht. Und eine schriftliche Hypothese mit einer MDE-Zahl darin: nicht «ein kürzeres Formular wird besser laufen», sondern «das Formular von neun auf vier Felder zu kürzen hebt die qualifizierten Abschlüsse bei 95% Konfidenz um mindestens 15%».

Niemand hat den Traffic, alles zu testen, also zählt die Reihenfolge mehr als die Liste. Die Tabelle unten zeigt, womit wir je Seitentyp beginnen, aus Audits statt aus der Theorie, samt der ungefähren Menge, die für eine saubere Antwort binnen eines Monats nötig ist. Die Sitzungszahlen in der Tabelle gelten für eine Conversion Rate um 2%. Liegen Sie deutlich darüber, sinken sie entsprechend, und eine Seite mit 5% braucht knapp die Hälfte. Rechnen Sie mit Ihrer eigenen Rate, bevor Sie einen Test einplanen.

Das Muster dahinter: Der erste Test auf einer Seite sollte ein Weglassen sein, kein Hinzufügen. Weglassen ist schneller gebaut, leichter zu deuten und gewinnt öfter, weil die meisten Seiten mehr tragen, als sie brauchen.

Teilen Sie die nötigen Sitzungen durch Ihre Wochensitzungen auf dieser Seite und runden Sie auf volle Wochen auf. Auf Wochen, weil Traffic werktags anders läuft als am Wochenende, und ein Abbruch mitten in der Woche das Ergebnis in Richtung der zufällig enthaltenen Tage kippt. Und planen Sie das Ende ein, bevor Sie starten. Ein Test ohne festgelegtes Enddatum läuft, bis jemand ein Ergebnis sehen will, und das ist fast immer der Moment, in dem die Zahlen zufällig günstig aussehen.

Zwei Regeln halten laufende Tests ehrlich. Sehen Sie das Ergebnis nicht vor dem Erreichen der geplanten Stichprobe an, um vorzeitig abzubrechen, denn wiederholtes Hinschauen (Peeking) treibt Ihre Falsch-Positiv-Rate von 5% auf über 25%. Und lassen Sie nicht zwei Tests gleichzeitig auf demselben Pfad laufen, sofern Ihr Werkzeug die Wechselwirkung nicht sauber isoliert.

Die Wahl zwischen frequentistischer und bayesscher Statistik bestimmt, wie Sie unternehmerisches Risiko bewerten, während die technische Split-Architektur darüber entscheidet, ob die erhobenen Daten überhaupt belastbar sind. Frequentistische Tests mit festem Stichprobenhorizont sichern strenge Schranken für den Fehler 1. Art (alpha = 0.05) und den Fehler 2. Art (beta = 0.20) über eine vorab fixierte Besucherzahl ab und gelten deshalb als Standard für reichweitenstarke Funnels.

Bayessche Verfahren berechnen fortlaufend die A-posteriori-Wahrscheinlichkeit, mit der Variante B die Kontrolle schlägt, ergänzt um eine Metrik für den erwarteten Verlust (Expected Loss). Das macht bayessche Modelle für mittelgroße B2B-Seiten attraktiv, sofern konservative A-priori-Verteilungen genutzt und mindestens zwei volle Wochenzyklen abgewartet werden. Doch kein Statistikmodell rettet einen Test mit Sample Ratio Mismatch (SRM). Wenn ein 50/50-Split 5.250 Sitzungen in der Kontrolle und 4.710 in der Variante zählt, belegt ein Chi-Quadrat-Test mit p < 0.001, dass clientseitige Weiterleitungen, langsame Skripte oder Ad-Blocker Nutzer asymmetrisch verlieren. Schlägt der SRM-Check an, ist das Experiment sofort ungültig.

Ebenso entscheidend ist die Auslieferung der Varianten. Klassische clientseitige Test-Skripte manipulieren das DOM erst im Browser, erzeugen ein sichtbares Aufblitzen der Ursprungsseite (Flash of Original Content, FOOC), verschlechtern Interaction to Next Paint (INP) auf über 200 Millisekunden und treiben den Cumulative Layout Shift (CLS) nach oben. Moderne Teams verlagern das Traffic-Splitting über Vercel Edge Middleware oder serverseitige Feature-Flags direkt an die CDN-Kante. Das Varianten-Cookie wird beim ersten Request gesetzt und das fertige HTML ohne Flackern ausgeliefert, was Ladezeit und Conversion auf schnellen Landingpages schützt.

SEO-Split-Testing beantwortet eine andere Frage und funktioniert anders. Statt Nutzer zu teilen, teilen Sie Seiten: Die Hälfte einer Menge ähnlicher Templates bekommt die Änderung, die andere nicht, und Sie vergleichen den organischen Traffic der Gruppen über mehrere Wochen. In der Praxis heißt das auch, dass die beiden Testarten nicht gegeneinander laufen sollten: Ein Nutzer-Split und ein Seiten-Split auf demselben Template gleichzeitig machen beide Ergebnisse unbrauchbar.

Der Grund ist, dass eine Suchmaschine eine Fassung einer URL sieht und nicht zwei, weshalb eine Aufteilung auf Nutzerebene keinen Ranking-Effekt messen kann. Das entkräftet zugleich die übliche Sorge. Die Dokumentation von Google zum Website-Testing sagt ausdrücklich, dass A/B-Tests bei normaler Umsetzung keine Rankingstrafe nach sich ziehen.

SEO-Tests brauchen mehr Geduld: mindestens vier bis sechs Wochen und wenigstens zwanzig vergleichbare Seiten, bevor der Vergleich trägt.

Die Beispiele, die am hartnäckigsten kursieren, sind die fotogenen, und die Buttonfarbe ist das schlimmste davon. Sie hält sich, weil eine berühmte Fallstudie von 2009 einen großen Zuwachs zeigte und weil sie am leichtesten zu ändern ist. In unseren Audits war sie nie der größte Hebel einer Seite. Wer bei knappem Traffic trotzdem Farben testen will, testet in Wahrheit die Geduld des Teams. Nach zwei ergebnislosen Runden wird nicht die Auswahl der Tests hinterfragt, sondern das Testen selbst.

Die Regel, die am meisten Zeit spart: Testen Sie nichts, was Sie ohnehin ausliefern würden. Ist die aktuelle Fassung kaputt, unlesbar oder widerspricht sie der Anzeige, die den Besucher gebracht hat, dann reparieren Sie sie sofort. Ein Test auf einer kaputten Seite misst, welche kaputte Fassung weniger schlecht ist.

Warum scheitern Mikro-Text-Tests und Farbvarianten auf B2B-Seiten mit moderatem Traffic fast immer? Weil kosmetische Eingriffe die Conversion Rate meist nur um 1% bis 3% relativ bewegen, wofür bei 95% Konfidenz und 80% Teststärke über 40.000 Sitzungen je Variante nötig wären. Bei 6.000 bis 15.000 Sitzungen im Monat liefern nur strukturelle Eingriffe wie eine klarere Angebotsstruktur, kürzere Formulare oder Fallstudien-Belege direkt neben dem Call-to-Action die nötigen 15% bis 28% relativen Zuwachs, um innerhalb von drei bis vier Wochen Signifikanz zu erreichen.

Ein Test hat drei mögliche Ausgänge, und die meisten Teams planen nur einen davon ein. Ein klarer Gewinner ist der seltene Fall. Ein klarer Verlierer ist tatsächlich nützlich, weil er zeigt, dass die Annahme hinter der Seite falsch ist. Und ein flaches Ergebnis, der häufigste Fall, heißt, die Änderung war für Ihre Menge zu klein, nicht dass die Idee falsch war. Halten Sie außerdem fest, wer die Entscheidung trifft. Ein Ergebnis ohne benannten Entscheider bleibt liegen, und liegen gebliebene Ergebnisse sind der häufigste Grund, warum Testprogramme nach einem halben Jahr einschlafen.

Schreiben Sie die Deutungsregel vor dem Start auf: Welche Zahl gilt als Erfolg, welche als flach, und was tun Sie in jedem Fall. Prüfen Sie neben der primären Conversion Rate stets eine wirtschaftliche Kontrollmetrik wie den Umsatz pro Sitzung oder die Quote qualifizierter Vertriebskontakte im CRM, damit ein kurzfristiges Plus bei den Formular-Abschlüssen nicht durch unpassende Anfragen erkauft wird. Hinterher zu entscheiden ist der Weg, auf dem ein flaches Ergebnis im Rückblick zum kleinen Erfolg wird.

Die Arbeit der Nielsen Norman Group zu quantitativen Studien behandelt die Stichprobenfrage ausführlicher.

Die Fehler, die wir sehen, wiederholen sich, und keiner davon ist statistischer Natur. Sie betreffen den Ablauf, weshalb ein besseres Werkzeug sie selten behebt.

• An einem guten Tag früh stoppen, womit aus einem Münzwurf eine Entscheidung wird
• Etwas so Kleines testen, dass selbst ein echter Effekt bei Ihrer Menge unsichtbar bliebe
• Zwei Dinge gleichzeitig ändern und lernen, welches Paar gewonnen hat statt welche Änderung
• Das erwartete Ergebnis nie aufschreiben, sodass jeder Ausgang als Erfolg berichtet wird
• Über eine Saisonspitze testen und den Schluss auf das restliche Jahr anwenden

«Die Tests, aus denen wir etwas lernen, sind die, bei denen wir aufgeschrieben hatten, was wir erwarten, und danebenlagen.» - Conversion-Verantwortlicher bei Vezert

Das Werkzeug ist der kleinste Posten. Ein brauchbares Testwerkzeug kostet bei den Mengen, die die meisten B2B-Sites haben, €0 bis €200 im Monat, und die kostenlose Stufe mehrerer Anbieter reicht für einen Test zur Zeit. Der eigentliche Aufwand steckt im Bau und in der Auswertung.

Rechnen Sie mit drei bis acht Stunden je Test für die Umsetzung auf einer normalen Seite, plus einer Stunde, um das Ergebnis inklusive SRM-Prüfung sauber zu lesen. Zu Agentursätzen sind das €400 bis €1.200 pro Test, und ein Programm mit einem Test im Monat liegt bei etwa €1.000 bis €2.500 inklusive Werkzeug und Reporting. Wie sich laufende Testbudgets im Vergleich zu festen Seitenprojekten einordnen, sehen Sie auf unserer Seite zu den Preisen.

Ein Posten steht nie im Angebot: die Entscheidungszeit. Programme sterben deutlich häufiger an ungelesenen Ergebnissen als an schlechten Werkzeugen.

Schafft Ihre wichtigste Seite 10.000 Sitzungen im Monat, beginnen Sie mit dem Weglass-Test aus der Tabelle und schreiben Sie die erwartete MDE-Zahl zuerst auf. Schafft sie das nicht, stecken Sie dasselbe Budget in qualifizierten Traffic und nutzen Sie ein fundiertes CRO Audit, um die strukturellen Hürden zu finden, die keinen Test brauchen, um offensichtlich zu sein. Und rechnen Sie damit, dass die ersten drei Tests vor allem den Ablauf klären und nicht die Conversion Rate. Das ist kein verlorener Aufwand, sondern die Voraussetzung dafür, dass die Tests danach etwas bedeuten.

Das meiste, was ein erstes Audit findet, ist ohnehin nicht testbar. Es ist kaputt, und Kaputtes repariert man, statt es zu testen. Unsere Conversion-Optimierung trennt beides, bevor irgendetwas gebaut wird.