A/B testen: wanneer het loont, wat het kost en wat je vooraf nodig hebt

A/B testen is een methode waarbij je twee versies van een pagina tegelijk uitserveert, het verkeer ertussen verdeelt en de versie houdt die meer oplevert van het resultaat dat telt.

De mechaniek is eenvoudig en overal uitgelegd. Wat bepaalt of het werkt is niet de mechaniek maar of je genoeg verkeer hebt om het antwoord iets te laten betekenen. De meeste stukken hierover worden geschreven door de bedrijven die de tools verkopen, en die slaan de vraag over of je überhaupt zou moeten testen. Dit stuk begint daar, want voor een groot deel van de sites is het eerlijke antwoord: nog niet.

De drempel wordt bepaald door rekenwerk, niet door enthousiasme. Om een realistische verbetering te zien, zeg een vijfde meer conversies, heb je ongeveer 100 conversies per variant nodig voordat het resultaat zich van toeval losmaakt. Dat zijn 200 conversies per test, en bij een ratio van 2 % betekent het zo'n 10.000 sessies op de geteste pagina.

Daaronder mislukken tests niet luidruchtig. Ze leveren een winnaar op die ruis is, je zet hem live, en het effect duikt nooit op in de maandcijfers. Twee rondes zo en het team concludeert dat testen niet werkt, terwijl het testen op dat volume was dat niet werkte.

De steekproefcalculator van Evan Miller neemt je eigen uitgangsratio en de kleinste winst waarop je zou handelen, en geeft je het benodigde aantal bezoekers per variant.

Drie dingen, elk een kwestie van uren in plaats van weken. Ontbreekt er één, dan krijg je resultaten waar je niets mee kunt, en dat is duurder dan niet testen, omdat de conclusies daarna een jaar worden aangehaald. Het getal in de hypothese is wat voorkomt dat een vlak resultaat later als kleine winst wordt herlezen.

Conversiemeting die één keer vuurt vanaf elk pad, met de hand gecontroleerd. Een basislijn van minstens acht weken zodat je weet hoe normale variatie eruitziet. En een opgeschreven hypothese met een getal erin: niet «een korter formulier zal beter werken» maar «het formulier van negen naar vier velden brengen verhoogt de inzendingen met minstens 15 %».

Niemand heeft het verkeer om alles te testen, dus de volgorde telt zwaarder dan de lijst. De tabel hieronder laat zien waar wij per type pagina beginnen, uit audits en niet uit theorie, met het verkeer dat ruwweg nodig is voor een schoon antwoord binnen een maand. De aantallen gelden bij een ratio rond 2 %: bij 5 % reken je bijna de helft. Nog iets over de volgorde: begin bij de pagina met de meeste sessies, niet bij de pagina die je het meest stoort. Dat zijn zelden dezelfde, en de tweede kost een maand voor een uitkomst die niemand opmerkt.

Het patroon erachter: de eerste test op een pagina hoort een weglating te zijn, geen toevoeging. Weglatingen zijn sneller gebouwd, makkelijker te lezen en winnen vaker, want de meeste pagina's dragen meer dan ze nodig hebben.

Deel de benodigde sessies door je wekelijkse sessies op die pagina en rond af op hele weken. Op weken, omdat verkeer doordeweeks anders loopt dan in het weekend, en midden in de week stoppen het resultaat kantelt naar de dagen die toevallig meededen. Leg ook de einddatum vast vóór de start: een test zonder vast einde loopt tot iemand een resultaat wil zien.

Twee regels houden een lopende test eerlijk. Kijk niet vóór het geplande einde, want je stopt op een piek. En laat geen twee tests tegelijk op dezelfde flow lopen als je tool de wisselwerking niet aankan.

SEO-split testen beantwoordt een andere vraag en werkt anders. In plaats van gebruikers te splitsen splits je pagina's: de helft van een set vergelijkbare templates krijgt de wijziging en de andere helft niet, en je vergelijkt het organische verkeer tussen de groepen over meerdere weken. In de praktijk betekent dat ook dat de twee testsoorten niet tegelijk op hetzelfde template mogen lopen.

De reden is dat een zoekmachine één versie van een URL ziet en niet twee, dus splitsen op gebruikersniveau kan geen positie-effect meten. Dat ontkracht meteen de gebruikelijke zorg. De documentatie van Google over website-tests zegt expliciet dat een normaal geïmplementeerde A/B-test geen positiestraf oplevert.

SEO-tests vragen meer geduld: minimaal vier tot zes weken en ten minste twintig vergelijkbare pagina's.

De voorbeelden die het hardst rondgaan zijn de fotogenieke, en knopkleur is daarvan de ergste. Hij overleeft dankzij een beroemde casestudy uit 2009 en omdat het het makkelijkst te veranderen is. In onze audits is het nooit de grootste hefboom van een pagina geweest.

De regel die de meeste tijd bespaart: test niets wat je toch wel zou uitrollen. Is de huidige versie stuk, onleesbaar of spreekt hij de advertentie tegen die de bezoeker bracht, herstel hem dan. Een test op een kapotte pagina meet welke kapotte versie minder slecht is.

Sla ook alles over wat het getal bij jouw volume niet aannemelijk een vijfde kan bewegen. Kleuren testen bij weinig verkeer is in werkelijkheid het geduld van het team testen.

Een test heeft drie mogelijke uitkomsten en de meeste teams plannen er maar één. Een duidelijke winnaar is het zeldzame geval. Een duidelijke verliezer is echt nuttig, want die laat zien dat de aanname achter de pagina niet klopt. En een vlak resultaat, het meest voorkomende, betekent dat de wijziging te klein was voor jouw volume, niet dat het idee fout was. Plan die beslissing ook echt in. Een resultaat dat op een volle agenda wacht is in de praktijk hetzelfde als geen resultaat, en het is de meest voorkomende reden dat testprogramma's na een half jaar stilvallen.

Schrijf de interpretatieregel op vóór de start: welk getal telt als winst, welk als vlak, en wat je in elk geval doet. Noteer ook wie beslist: een resultaat zonder aangewezen beslisser blijft liggen.

Het werk van Nielsen Norman Group over kwantitatieve studies behandelt de steekproefvraag uitgebreider.

De fouten die we zien herhalen zich, en geen ervan is statistisch van aard. Ze gaan over proces, en daarom lost een betere tool ze zelden op.

• Vroeg stoppen op een goede dag, waardoor een muntworp een beslissing wordt
• Iets testen dat zo klein is dat zelfs een echt effect bij jouw volume onzichtbaar blijft
• Twee dingen tegelijk veranderen en leren welk paar won in plaats van welke wijziging werkte
• Het verwachte resultaat nooit opschrijven, waardoor elke uitkomst als succes wordt gerapporteerd
• Testen over een seizoenspiek en de conclusie op de rest van het jaar toepassen

"De tests waar we iets van leren zijn de tests waarbij we hadden opgeschreven wat we verwachtten en het mis hadden." - conversieverantwoordelijke bij Vezert

Geen van deze fouten los je op door van tool te wisselen. Je lost ze op door vóór de start drie regels op te schrijven: wat je verwacht, wanneer je stopt en wie beslist.

De tool is de kleinste post. Een bruikbare testtool kost bij de volumes die de meeste B2B-sites hebben tussen € 0 en € 200 per maand, en het gratis pakket van meerdere aanbieders volstaat voor één test tegelijk. De echte kosten zitten in de bouw en de analyse. Reken ook de gemiste kans mee: de maand die een test bezet is een maand waarin die pagina geen andere verbetering krijgt. Bij weinig verkeer overtreft die kost vaak de waarde van het antwoord.

Reken op drie tot acht uur per test voor de implementatie op een normale pagina, plus een uur om het resultaat goed te lezen. Tegen bureautarieven is dat € 400 tot € 1.200 per test, en een programma met één test per maand ligt rond € 1.000 tot € 2.500 inclusief tool en rapportage.

Eén post staat nooit in de offerte: de beslistijd. Programma's sterven veel vaker aan ongelezen resultaten dan aan slechte tools.

Haalt je belangrijkste pagina 10.000 sessies per maand, begin dan met de weglaattest uit de tabel en schrijf eerst het verwachte getal op. Zo niet, besteed hetzelfde budget aan verkeer en gebruik een CRO audit om de problemen te vinden die geen test nodig hebben om duidelijk te zijn. En houd bij wat je hebt getest, ook de vlakke uitkomsten. Zonder dat logboek test elk nieuw teamlid over twee jaar precies dezelfde dingen opnieuw, met dezelfde uitkomst en dezelfde kosten.

Het meeste wat een eerste audit vindt is toch niet testbaar. Het is stuk, en stukke dingen repareer je in plaats van ze te testen. Ons conversieoptimalisatiewerk scheidt die twee voordat er iets gebouwd wordt.