Suur A/B testimise ülevaade – mida testida, kuidas testida, kuidas planeerida

Andsin hiljuti Trinidadis üpris põhjaliku testimiskoolituse, mida soovin nüüd ka sinuga jagada. Siinsed näited on toodud e-kommertsi kontekstis, nii et kui omad veebipoodi, siis loe kindlasti edasi ja kui ei oma, siis loe ikkagi.

Lisaks koolitusele ajendas mind kirjutama ka hiljutisel e-kaubanduse aastaseminaril kuuldud fakt, et enamik Eesti veebipoode A/B teste ei tee ja oma veebi optimeerimisega ei tegele.

Optimeerimise asemel arendatakse teatud aja möödudes lihtsalt uus e-pood ja see on umbes sama, mis öelda, et remonti ma teha ei viitsi, pigem ostan endale uue maja. Remont on rahalises mõttes kindlasti odavam ja pikemas perspektiivis jätkusuutlikum. Sama kehtib ka veebilehe puhul.

Seega tasub A/B testimisest rääkida senisest rohkemgi. Aga vaatame siis lähemalt ja alustame täitsa algusest.
 

Mis on A/B testimine

A/B testimine on kvantitatiivne testimismeetod. Kui ma võrdlen omavahel kahte identset pliiatsit, mis erinevad üksnes värvi osas ja küsin inimestelt, kumb neile rohkem meeldib, siis ongi tegu A/B testiga. Üks on originaalversioon ja teine on uusversioon.
 

Läbi A/B testimise saad sa proovida kahte erinevat strateegiat või lähenemist ning uurida, kumb lahendus paremini töötab. Tegemist on vana uurimismeetodiga, mida teaduses tuntakse kontrollitud eksperiemendi nime all.

A/B testimine on kasulik töövahend kõikidele, kes turundusega kokku puutuvad. Kõige rohkem kasutavad seda digiturundajad ja kasvuhäkkerid ehk kasvule orienteeritud turundajad.

Hea testija tunneb ära sellest, et ta läheneb oma eksperimentidele süsteemselt. Uisapäisa tegutsemine ja ühelt testilt teisele hüppamine pole A/B testimise puhul mõistlik.
 

Millal A/B testimist kasutada

A/B testimist on soovitatav kasutada siis, kui soovid testida mõnda kindlat hüpoteesi. Näiteks juhtudel, kui:
 

• Veebist ei tule mingil põhjusel piisavalt müüki
• Pole kindel, milline lahendus paremini töötab või sobib
• Kasutatavuse testid on juba tehtud
   

Võimalikke tulemusi võib olla mitmeid. Näiteks võib sinu eesmärgiks olla madalam bounce rate, pikem lehel viibimise aeg, rohkem klikke ehk parem click-through rate, suurem müügikonversioon vms.
 

Millal A/B testimist vältida

Tegemist on küll väga vahva testimismeetodiga, kuid päris iga asja testimiseks see ei sobi. Ära kasuta seda, kui sa:
 

• Pole päris kindel, miks sa seda kasutad
• Kui sul puudub hüpotees
• Ei tea, mida külastajad peaksid sinu veebis tegema
• Soovid, et inimesed teeksid veebilehel mitmeid erinevaid toiminguid korraga
   

Muidugi pole erilist mõtet ka siis, kui sa tegelikult ei soovi oma veebis midagi muuta ja soovid hoopis teada, kas sinu veeb on kasutatav või mitte. Selleks sobib kasutatavuse testimine palju paremini.
 

Mida saab üldse testida

Testida saab praktiliselt kõike. Uudiskirju, maandumislehti, siseveebe, mobiilirakendusi, reklaame, infosüsteeme ja füüsilisi tooteid. Järgnevalt räägin ma natuke sellest, mida igaühe puhul kõige rohkem tavaliselt testitakse. Ehk leiad siit mõne hea idee.

Uudiskirjade puhul testitakse kõige rohkem:
 

• Pealkirja – kuidas see kõnetab sihtrühma
• Saatmisaega – millal avatakse kirju rohkem
• Kujundust – milline kujundus on veenvam
• Tonaalsust – kas sihtrühmale sobib ametlikum või sõbralikum toon
• Pikkust – kas sihtrühmale sobivad pikemad või lühemad kirjad
• Personaliseeritust – nt kas kliendid reageerivad positiivselt, kui neile saadetakse uudiskiri toodetest, mida nad varem veebilehel on uurinud
   

Reklaamide puhul testitakse kõige rohkem:
 

• Sõnumit
• Personaliseeritust
• Kujundust/pilti
• Toote hinda
   

Maandumislehtede puhul:
 

• Call-to-Action nupu sõnastust, suurust, värvi ja asetust
• Pealkirja või tootekirjeldust
• Vormide pikkust, erinevaid lahtreid jms
• Ülesehitust ja stiili
• Toote hinda ja promokampaaniaid
• Pilte
• Teksti (lühike vs. pikk)
   

Enamlevinud väärarusaamad

Kuna tegemist on võimeka testimismeetodiga, mida kasutavad paljud, siis on paratamatult tekkinud ka mitmeid müüte. Kui sa arvad, et mõne punkti puhul pole tegemist müüdiga, siis anna sellest kommentaarides teada.

A/B testimine on lihtne ja kõik saavad sellega hakkama. Jah, kõik huvilised saavad testide käimapanemisega hakkama, kuid tulemuste õige tõlgendamine ja testide optimeerimine vajab siiski kogemusi ja süsteemset lähenemist. Ka testimisvahendid võivad mõnikord alt vedada.

A/B testimine on odav. Enamik tipptasemel testimisvahendeid on siiski tasulised ning kui sul on väga suure külastatavusega veebipood, siis võivad testid minna väga kalliks.

Muidugi eksisteerib ka tasuta (nt Google Experiments) lahendusi, kuid nendel on tavaliselt vähem funktsionaalsust ja nende kasutamine pole nii mugav.

A/B testimine annab täpsed tulemused. On olemas valed, suured valed ja statistika. A/B testimine on täpne, kui seda õigesti kasutada. Paraku on paljud turundajad liiga kärsitud, testid lõpetatakse liiga varakult ära ning ka valimid pole alati õigesti koostatud.

CTA nupu värvi või suuruse muutmine võib konversiooni dramaatiliselt tõsta. Üldjuhul on siiski tegemist väikese muudatusega, mis parandab konversiooni vaid mõne üksiku protsendipunkti võrra ning seda lühiajaliselt.

Ainult üksikute juhtumite puhul on värvi muutmine toonud kaasa muljetavaldava tõusu.

Väikese liiklusega ja suure liiklusega lehti võib testida ühtemoodi. Ei, kohe kindlasti mitte. Väiksema liiklusega lehed vajavad hoopis erinevat lähenemist ning nende puhul on rohkem abi kasutatavuse testimisest. Väiksem liiklus tähendab reeglina kõrgemat veaprotsenti.
 

Testide planeerimine

Kui sa hakkad oma teste planeerima, siis mõtle läbi:
 

• Mida sa soovid testida
• Mis on su eesmärk
• Milleks sa oma tulemusi kasutad

Lisaks vali välja ka mõni kindel testimisrakendus, kuna mitmete rakenduste vahel pendeldamine pole hea. Iga lahendus on natuke erinev.
 

Mis on parimad A/B testimise töövahendid

Sobivaid vahendeid on kümneid, aga minu lemmikuteks on:
 

• Visual Website Optimizer - veebilehtede testimiseks
• Optimizely - veebilehtede testimiseks
• Unbounce - maandumislehtede testimiseks
• Google Experiments - lihtsamate testide jaoks
• Mailchimp - uudiskirjade testimiseks
• Mixpanel - mobiilirakenduste testimiseks ja analüütikaks
   

Vaata julgelt ringi ja katseta erinevaid tooteid. Ühele sobib üks, teisele teine.
 

Kuidas käib A/B testide seadistamine

Enne rakenduse kasutamist tuleb veebilehele lisada väike JavaScripti koodijupp. Täpsema juhise leiad iga teenusepakkuja veebilehelt. Kui koodijupp on lisatud, siis saad hakata teste tegema.

Testimisrakendustes on erinevate elementide vahetamine väga lihtsaks tehtud. Mõnikord läheb keerulisemate muudatuste tegemiseks vaja ka veebiarenduse põhiteadmisi, kuid üldjuhul saavad kõik testide ülesseadmisega hakkama.

Vaata, kuidas töötab Visual Website Optimizer.



Vaata, kuidas käib testide ülesseadmine Optimizely’s.
 

Kust leida testimiseks sobilikke hüpoteese?

Testimiseks on sul vaja testhüpoteesi, mis koosneb pakutavast lahendusest ja oodatud testtulemustest (tõuseb/langeb/õnnestub/ei õnnestu jne).

Hüpoteesideks vajaliku info saamiseks vaata oma:
 

• Varasemaid turundustegevusi ja uuringutulemusi
• Kasutatavuse ja A/B testide tulemusi
• Nurjunud turunduseksperimente
• Erinevate eksperimentide raames genereeritud kuumuskaarte
• Google Analyticsi statistikat
• Külastajate käitumist lehel (SessionCam, ClickTale, Mouseflow vms töövahendiga)
   

Kindlasti tasub uurida ka seda, mis sarnaste veebide puhul varasemalt on toiminud. Aegajalt võib sattuda päris hea idee otsa.

Pea siis meeles, et parema kvaliteediga andmed tähendavad tihtipeale ka paremat testhüpoteesi ja parem testhüpotees omakorda paremaid tulemusi.
 

Soovitused paremate tulemuste saamiseks

Ära ole kannatamatu. Olgem ausad, turundajatena tahame saada tulemusi nüüd ja kohe, kuid kvantitatiivsed uuringud nõuavad aega. Uus variatsioon näitab esimestel päevadel suuri võite, mis on enamasti tänu uuendatud lehele. Uudishimust tehakse ikka rohkem klikke.

On tavaline, et pärast esimest nädalat näitab uus veeb tugevaid võite ja pärast teist nädalat hakkavad tulemused kahanema. Pärast neljandat nädalat on aga tõus kadunud. Ehk siis tegelikud tulemused on enamvähem samad, mis alguses.

Seetõttu ei tasu A/B testimise esialgseid tulemusi väga tõsiselt võtta.

Ära lõpeta teste, kui 500 külastajat on käes. Testide varajane lõpetamine on väga-väga suur viga, kuna sul pole vaja üksnes head külastajate arvu, vaid pead võtma arvesse ka oma äritsüklit. Keskmiselt kestab üks äritsükkel (huvist ostuni) 3-4 nädalat.

Luksuskaupade valdkonnas kehtivad natuke teised reeglid, kuna sealne äritsükkel on keskmiselt pikem. Seega sõltub valitav periood sinu äri iseärasusest. See võib vabalt olla ka 2-3 kuud.

Testi varajane lõpetamine on halb sellepärast, et sa ei võta arvesse kõiki muutujaid. Tulemusi mõjutavad ka nii triviaalsed asjad nagu päev, kellaaeg, turunduskampaaniad, uued blogipostitused, välja saadetavad uudiskirjad jms.

Tee aegajalt ka A/A teste. A/A testi puhul võrdled originaalversiooni originaalversiooniga. Kui avastad, et üks näitab teisest erinevaid tulemusi, siis on kindel, et kusagil on midagi valesti läinud.

Kindlasti soovitan vähemalt esialgu üks A/A test ära teha, kuna see annab hea võrdlusmomendi hilisemateks A/B testideks. Seda eriti siis, kui kasutad mõnda uut testimisrakendust.

Kui A/A testideks aega ei ole, siis võid teha hoopis A/A/B teste, mis tähendab, et testid üheaegselt kolme versiooni, millest kaks on identsed.

Ära arva, et 5% tõus on väga hea tulemus. Tegelikult on see liiga väike tõus, et seda adekvaatselt hinnata. Seda eriti veebide puhul, kus päevas tehakse 1000 külastust või vähem.

5% tõus võib olla puhas statistiline illusioon, mida ei saa kuidagi tõsiselt võtta, v.a. juhtudel, kui test on olnud juba pikemalt üleval ja kõikumine on minimaalne.

Ära muuda liiga palju korraga. Kui sa muudad oma veebis korraga mitmeid erinevaid elemente, siis sa ei tea enam, miks sinu konversioon tõusis.

Pööra tähelepanu valimi suurusele. Paraku on enamike testide puhul kasutusel liiga väikesed valimid, mida on statistiliselt väga keeruline tõsiselt võtta. Mida suurem on külastajate arv, seda tõesemad tulemused sa kokkuvõttes saavutad.

Enamlevinud testimisrakendused määravad vaikimisi liiga väikese valimi. Olen päris mitme testimisrakenduse puhul näinud, kuidas vaikimisi määratud valimiks on 500 külastajat.

Ära pane oma eksperimenti 95% valiidsuse saavutamisel kinni. Jällegi on tegu levinud veaga, mida ikka ja jälle tehakse. Muuda see võimalusel 99% peale. Kõrgem valiidsus tähendab üldjuhul kindla peale minemist. See küll tähendab, et vajad rohkem külastajaid, kuid paremad tulemused on seda väärt.
 

Vali sobiv valimi suurus

Mida suurem on valim, seda kindlam võid sa olla, et tegemist on õige tulemusega. Valimi arvutamiseks saad kasutada mitmeid erinevaid kalkulaatoreid.
 

Ma ise kasutan näiteks Optimizely kalkulaatorit. Pane oma numbrid sisse ning vaata, milline peaks valim sinu projekti puhul olema. Vaata ka Even Milleri kalkulaatorit.

Üldreegel: Mida väiksem on minimaalne tajutav efekt ja mida suurem on statistiline tähtsus, seda suuremat külastajate arvu sa vajad.
 

Võtame teema kokku

A/B testimine vajab harjutamist ja teravat meelt. Alusta A/A testidest ja katseta erinevaid testimislahendusi, kuni leiad endale sobivaima.

Seejärel liigu vaikselt keerukamate testide juurde ja varsti ongi sul testimine käpas. Ära lase pead norgu, kui esialgu midagi välja ei tule. A/B testimine vajabki harjutamist. Ka profid, kes on teinud tänaseks juba tuhandeid teste, avastavad ikka ja jälle midagi uut.

Kui sa pead meeles minu nõuandeid, siis saad üldjuhul ka korralikke tulemusi.

12 asja, mida A/B testimise puhul meeles pidada
 

1. Vali üks kindel eesmärk
2. Sihi vähemalt 50% tõusu
3. Muuda ja testi ainult üht veebilehe elementi korraga
4. Külastajate arv peaks olema võimalikult suur, kasuta valimikalkulaatorit
5. Vaata inspiratsiooni saamiseks varasemate eksperimentide ja kampaaniate tulemusi
6. Kui su veebis käib vähe külastajaid, siis pööra tähelepanu ainult suurtele tõusudele, ning tee lisaks ka kasutatavuse teste,
7. Test peaks olema üleval vähemalt 3-4 nädalat
8. Külastajad võivad kasutada erinevaid veebilehitsejaid ja mõned kasutajad kustutavad aegajalt ka oma küpsised ära
9. Ära hoia teste liiga pikalt üleval ehk kui suuri kõikumisi enam ei ole, siis võid testi kinni panna
10. Veebilehe pidev testimine võib mõjuda selle püsikasutajatele kurnavalt
11. Ühegi eksperimendi tulemused ei ole kunagi 100% identsed
12. Testide tulemusi mõjutavad ka mitmed välitegurid, võta seda tulemuste tõlgendamisel arvesse