Dit artikel gaat over de uitdagingen van A/B-testen op websites met weinig bezoekers, onze favoriete tools om de omvang en betrouwbaarheid te berekenen, en testtips voor het uitvoeren van succesvolle experimenten op sites met weinig traffic.
Voor conversie-optimalisatie heb je bezoekers (traffic) nodig. Hoe meer traffic je hebt, hoe meer experimenten (zoals A/B-testen) je kunt uitvoeren waar je van kunt leren.
Veel start-ups, niche- of kleine bedrijven krijgen minder dan 100K bezoekers en 500 conversies per maand. Dit wordt gezien als weinig traffic.
Waarom is weinig traffic een probleem voor A/B testen?
Betrouwbare testresultaten zijn afhankelijk van twee factoren:
1) Steekproefgrootte (traffic levels);
2) Uplift (het verschil tussen de conversie van A en B).
Stel dat je twee calls to actions wilt testen. Je laat de test een paar weken lopen en krijgt 5000 bezoekers per variatie:
- Versie A: 100 doelen bereikt/5000 bezoekers = 2% conversie ratio
- Versie B: 250 doelen bereikt/5000 bezoekers = 5% conversie ratio
In dit voorbeeld presteert versie B beter dan versie A met 150%.
Veel traffic zorgt voor snellere resultaten. Met 100K+ bezoekers per maand is het mogelijk om binnen 1 of 2 weken resultaten te behalen. Met weinig traffic heb je meer tijd nodig om een voldoende steekproefgrootte te krijgen.
Met een groot verschil in conversieratio, is het ook mogelijk om resultaten te krijgen met een kleinere steekproef.
Als de steekproefgrootte te klein is en de uplift is laag kun je statistisch moeilijk conclusies trekken uit je tests.
Hoe kun je de significantie van een test berekenen?
Een testresultaat is significant als je statistisch kunt bepalen dat het verschil in conversieratio niet door toeval is ontstaan.
Met een testduur calculator zoals deze van Abtestguide of deze van VWO kun je uitrekenen of jouw beoogde test binnen een aantal dagen een statistisch significant testresultaat kan opleveren. Ook kan je hiermee uitrekenen hoeveel bezoekers je daarvoor nodig hebt.
Hoeveel bezoekers zijn genoeg?
Er is hier geen magisch getal, alleen wiskunde. We gebruiken tools zoals deze. Het aantal benodigde bezoekers verschilt per A/B-test. Een goede vuistregel is om ongeveer 1000 bezoekers per week te hebben op de pagina die jij wilt testen of ongeveer 50 conversies per week.
Tips voor het A/B testen op sites met weinig bezoekers
1. Test op pagina’s met het meeste traffic
Op websites met weinig bezoekers is het beter om te focussen op de meest bezochte pagina’s. Neem de top 3 pagina’s en analyseer de click through rates naar de volgende stap in de funnel.
Zoek naar sitewide aanpassingen in de navigatie. Bijvoorbeeld het markeren van menu-items om meer aandacht te trekken of het veranderen van menulabels om te zien wat een betere indruk maakt op je bezoekers.
2. Focus op microconversies
Doe het stap voor stap. Ga niet meteen na of die ene wijziging voor meer omzet zorgt, maar kijk of de aanpassing de bezoeker vaker laat doorklikken naar de pagina die jij wilt.
Het testen van microconversies die leiden tot je belangrijkste conversiedoel zal je helpen om de resultaten sneller te bereiken. Denk hierbij aan interactieve elementen op de site met een lage commitment, zoals het invullen van een formulier of het aanmaken van een account op je website.
Microconversies zijn bijvoorbeeld het doorklikken naar een productdetailpagina of het klikken op ‘toevoegen aan winkelwagen’.
3. Beperk het aantal variaties
Hoe meer variaties er getest worden, hoe meer bezoekers en tijd het kost om betrouwbare resultaten te krijgen.
Houd je aan het uitvoeren van een paar gelijktijdige A/B tests totdat je voldoende traffic hebt.
Als je SEO A/B tests doet, probeer dan het aantal wijzigingen te beperken. Als je tegelijkertijd koppen, calls to action, beschrijvingen en afbeeldingen aanpast, zul je niet in staat zijn om bij te houden welke verandering de meeste impact had op je resultaten.
4. Breid je looptijden indien nodig uit
Stop niet met je tests na een paar dagen.
Om een goed inzicht te krijgen, laat de test ten minste 1-2 weken lopen. De optimale duur van een test kan je berekenen met deze duration calculator van VWO.
5. Combineer kwantitatief en kwalitatief testen
Kwantitatieve data kan je helpen bij het beantwoorden van vragen zoals: “Hoeveel mensen gebruiken deze functie?’ of ‘Hoe vaak komt dit patroon voor?’.
Kwalitatieve data is geschikt voor sites met veel en weinig verkeer en is een geweldige aanvulling op kwantitatieve data.
Gebruikerstests, sessie-opnames en enquêtes zullen duidelijke UX-problemen in kaart brengen. Dit type analyse probeert een antwoord te geven op deze problemen: “Waarom zien we dit gedrag van onze gebruikers?”
Kijk altijd naar je doelstellingen, en zorg ervoor dat deze altijd centraal staan bij het kiezen van methoden.
Tot slot
Of je hypothese nu wel of niet bewezen is, je kan er zeker van zijn dat je iets nieuws over je klanten hebt geleerd. En dat is waardevolle informatie.
Wat zijn jouw testtips voor A/B testen met weinig bezoekers?
Heb je nog andere vragen? Wij horen het graag! Je kan ons mailen op cro@sping.nl of gewoon op bezoek komen bij ons in Delft. We wisselen altijd graag ervaringen en ideeën uit!