A/B-test: hvornår det giver mening, og hvordan I gør det rigtigt

En A/B-test viser to udgaver af samme side til hver sin halvdel af de besøgende og tracker, hvilken der giver flest henvendelser eller ordrer. Det er den eneste metode, der kan sige med sikkerhed, at en ændring virkede, og ikke bare faldt sammen med en god måned. Det er også den metode, flest taler om og færrest kan bruge, fordi den kræver mere trafik, end de fleste danske virksomheder har.

Her er, hvad en A/B-test kan, hvad den kræver, hvornår I har trafik nok, hvad I skal teste, de fem fejl, der gør resultatet værdiløst, hvad I gør i stedet, når trafikken er for lille, og hvilke værktøjer der findes, nu hvor Google Optimize er lukket. Hvad konverteringsrate er, og hvordan den trackes, er forudsætningen og står i en artikel for sig.

Hvorfor teste, når man kan bare rette?

Fordi man tager fejl oftere, end man tror. Ronny Kohavi, der stod for eksperimenter hos Microsoft og senere Airbnb, dokumenterede, at kun en tredjedel af de idéer, der blev testet hos Microsoft, forbedrede det tal, de var lavet til at forbedre. En tredjedel gjorde ingen forskel, og en tredjedel gjorde det værre. Det var idéer fra folk, der arbejdede med produktet hver dag.

Omvendt kan det, ingen tror på, være guld. Kohavi og Stefan Thomke beskriver i Harvard Business Review, hvordan en lille ændring af annonceoverskrifter på Bing lå uprioriteret i et halvt år, fordi ingen troede på den. Da en udvikler testede den, gav den 12 procent mere omsætning, over 100 millioner dollars om året. Booking.com kører ifølge samme tidsskrift omkring 25.000 tests om året af netop den grund: Det er billigere at teste end at gætte.

Det betyder ikke, at I skal teste alt. Det betyder, at når I retter uden at teste, er der en betydelig chance for, at rettelsen ikke virkede eller skadede, og at I ikke opdager det. Derfor er før- og eftermåling et minimum, og en rigtig test det bedste, når trafikken tillader det.

Har I trafik nok?

Det er det første spørgsmål, og svaret er oftere nej end ja. En test skal have nok konverteringer i hver udgave til, at forskellen mellem dem ikke bare er tilfældig. Hvor mange afhænger af jeres nuværende rate og af, hvor stor en forbedring I vil kunne se:

Tallene er fra Evan Millers stikprøveberegner med de almindelige indstillinger (95 procent signifikans, 80 procent styrke). Læs tabellen sådan: Har jeres ydelsesside 2 procent i konverteringsrate og 1.500 besøg om måneden, kan I på en måned kun se en ændring, der fordobler raten. En forbedring på 25 procent, som ville være et fremragende resultat, kræver over et års trafik. Så er en test ikke det rigtige værktøj.

Tommelfingerreglen: Har siden, I vil teste, under 1.000 konverteringer om måneden, kan I kun teste store ændringer. Har den under 100, skal I ikke teste; så skal I rette det oplagte og tracke før og efter. De fleste danske virksomheder ligger i den sidste gruppe på deres ydelsessider, og i den midterste på en webshop med et par tusinde ordrer.

Hvad I skal teste

Fordi små forskelle kræver enorm trafik, skal I teste ting, der kan flytte raten meget. Ikke knapfarver. Det, der typisk gør det:

1. Overskriften og løftet. “Tømrer i Aarhus” mod “Nyt tag på tre uger til fast pris”. Det er den enkeltstående ting, der oftest flytter mest, fordi den afgør, om folk bliver.
2. Prisen og måden, den vises på. Fast pris mod timepris, interval mod “fra”, med eller uden pris overhovedet.
3. Tilbuddet. Gratis besigtigelse mod rabat. Tre pakker mod én. Booking online mod ring til os.
4. Formularen. Tre felter mod seks. Formular mod telefonnummer som primær handling. Det, der står under kontaktformularer, er gode hypoteser.
5. Sidens opbygning. Beviser øverst mod beviser nederst. Kort side mod lang side. En rigtig landingsside mod den almindelige ydelsesside.

Nielsen Norman Group peger på det, der går forud for testen: “If A/B tests are used in lieu of research, the variations are essentially guesses.” Find først ud af, hvor folk falder fra, og hvorfor, med optagelser, heatmaps og fem brugere, der prøver siden. Test så den ændring, der retter det. En test finder kun den bedste af de udgaver, I har lavet; den finder ikke den udgave, I burde have lavet.

Fem fejl, der gør testen værdiløs

1. At kigge undervejs og stoppe, når det ser godt ud. Den mest udbredte fejl. Signifikansberegningen forudsætter, at antallet af besøg er fastlagt på forhånd. Evan Miller viser, at hvis man stopper, første gang resultatet ser signifikant ud, ender omkring 26 procent af tests uden nogen reel forskel med en “vinder”. Beslut antallet af besøg, før I starter, og kig ikke på resultatet, før det er nået. Mange værktøjer viser signifikans løbende; det er en fælde, ikke en funktion.
2. At stoppe midt i en uge. Mandag og lørdag er forskellige besøgende. Kør altid hele uger, mindst to, og ikke hen over en kampagne, en helligdag eller et udsalg, der kun rammer den ene periode.
3. At tracke det forkerte. Klik på knappen er ikke henvendelser. Henvendelser er ikke kunder. Beslut ét primært mål, så tæt på forretningen som muligt, før testen starter, og hold fast i det. Vinder en udgave på klik og taber på henvendelser, har den tabt.
4. At tro på det, der er for godt. Kohavi kalder det Twymans lov: Et tal, der ser bemærkelsesværdigt ud, er oftest en fejl. En udgave, der giver 80 procent flere henvendelser, har typisk en knækket formular i den anden udgave, en skæv fordeling af besøgende eller en bot. Tjek, at de to udgaver fik lige mange besøgende, før I tror på noget.
5. Nyhedseffekten. Stamkunder reagerer på alt nyt, positivt eller negativt, de første dage. Derfor skal testen køre længe nok til, at effekten lægger sig, og derfor er resultater fra sider med mange tilbagevendende besøgende mindre pålidelige end fra sider med ny trafik.

Når trafikken er for lille: det, I gør i stedet

De fleste ender her, og det er ikke et dårligt sted. Tre metoder, der ikke kræver tusindvis af konverteringer:

• Ret det oplagte, og mål før og efter. Samme periode, samme kilder, mindst en måned på hver side af ændringen. Det beviser ikke noget med sikkerhed, men en side, der går fra 1 til 2,5 procent efter en ny overskrift og en kortere formular, har ikke brug for et bevis. Hvordan I læser tallene, står under brugeradfærd.
• Test på mikrokonverteringer. Har I 30 henvendelser om måneden, men 600, der når formularen, kan I teste på “nåede formularen” og “begyndte at udfylde”. Det er svagere mål, men I får et svar på uger i stedet for år.
• Test én ting ad gangen, men stor. Hellere én test af en ny landingsside mod den gamle, der kan give 50 procent, end fem tests af detaljer, der kan give 5 procent hver og aldrig bliver færdige.

Og så den metode, der slår dem alle for små sider: Spørg. Fem telefonsamtaler med folk, der henvendte sig, og fem med folk, der ikke gjorde, fortæller mere om, hvad der mangler på siden, end nogen test med den trafik.

Værktøjer, nu hvor Google Optimize er lukket

Google Optimize, det gratis værktøj de fleste brugte, lukkede 30. september 2023. Google anbefaler i stedet tredjepartsværktøjer med integration til Google Analytics 4 og nævner AB Tasty, Optimizely og VWO. For danske små og mellemstore virksomheder er valget i praksis:

• VWO eller AB Tasty til visuelle tests uden udvikler. De har gratis eller billige planer op til nogle tusinde besøgende om måneden; derefter koster det fra et par tusinde kroner om måneden.
• Tests bygget i selve siden af den, der udvikler den, med fordelingen styret i koden eller via Google Tag Manager og resultatet læst i Google Analytics 4 med en egenskab pr. udgave. Det kræver en udvikler, men ingen licens og ingen ekstra script, der gør siden langsommere. Opsætningen står under tracking.
• Webshopplatformens egne tests, hvor de findes, til tema og kasseflow.

Uanset værktøj: Testscriptet skal loade først og hurtigt, ellers ser folk den gamle udgave blinke, før den nye vises, og testen tæller det blink med. Tjek siden med hastighedstesten, efter værktøjet er sat på.

Tests og SEO

Google har klare regler for tests, og de er nemme at overholde: Vis ikke én udgave til Google og en anden til folk. Bruger I to URL’er, så sæt canonical på varianten til originalen og brug en 302, ikke en 301, hvis I sender folk videre. Og fjern testen, når den er færdig; Google skriver, at en test, der kører unødigt længe, kan opfattes som et forsøg på at vildlede. Tests, der skifter indhold på samme URL, hvilket er det almindelige, påvirker ikke placeringerne, så længe de to udgaver handler om det samme.

Tjekliste: før I starter en test

1. Har siden konverteringer nok til at se den forbedring, I håber på, inden for en til to måneder?
2. Bygger ændringen på noget, I har set i data eller hørt fra brugere, ikke på en mavefornemmelse?
3. Er det én stor ændring, ikke fem små?
4. Er det primære mål besluttet og tracket rigtigt, før testen starter?
5. Er antallet af besøg eller slutdatoen fastlagt på forhånd, og kører testen hele uger?
6. Får de to udgaver lige mange besøgende, og loader testscriptet uden blink?
7. Har I besluttet, hvad I gør, hvis resultatet er uafgjort?

Er svaret nej på det første, så spring testen over og ret det oplagte. Det er ikke at give op på metoden; det er at bruge den rigtige. Hvordan vi vælger mellem test og rettelse i en gennemgang, står under konverteringsoptimering. Hele gennemgangen som tjekliste med 60 punkter står i en artikel for sig.

Kilder

• Kohavi, Deng, Frasca, Longbotham, Walker og Xu, Trustworthy Online Controlled Experiments: Five Puzzling Outcomes Explained, KDD 2012.
• Ron Kohavi og Stefan Thomke, The Surprising Power of Online Experiments, Harvard Business Review, 2017, og Stefan Thomke, Building a Culture of Experimentation, 2020.
• Evan Miller, How Not To Run an A/B Test, 2010, og Sample Size Calculator.
• Jen Cardello, A/B Testing, Usability Engineering, Radical Innovation: What Pays Best?, Nielsen Norman Group, 2014.
• Google, Google Optimize sunset, Optimize Help, og Website testing and Google Search, Search Central.