Tulemuste võrdlus: ligipääsetavuse automatiseeritud vs manuaalne testimine
28.juunist 2025 jõustuvad ligipääsetavuse nõuded sunnivad teenuseomanikke hindama oma digikeskkondade vastavust Euroopa Liidu standardile EN 301 549 V3.2.1. Hindamiseks on kaks võimalust: suhteliselt ressursimahukas manuaaltestimine või atraktiivsed tasuta automatiseeritud testimistööriistad. Selles artiklis uurime, kui suur on erinevus automatiseeritud ja manuaalse ligipääsetavuse testimise tulemuste vahel.
Automatiseeritud testimistööriistad on digikeskkondade ligipääsetavuse kontrollimisel kasulikud ja sobivad esimeseks sammuks probleemi kaardistamisel, kuid nende võimekus on piiratud. Ligipääsetavuses on oluline roll kvaliteetsel tarkvaraarendusel, sest meie audititest on näha, et ligi 75% ligipääsetavuse probleemidest tekivad just front-end koodis. Paraku kõiki neid probleeme automaattestid tuvastada ei suuda.
Automaattööriistad suudavad kontrollida küll mõningate ettemääratud tehniliste tingimuste täitmist (nt kas <input> on seotud <label> elemendiga), kuid ei näe suurt pilti ega suuda mõista koodis tegelikult leiduvaid probleeme (nt kui elemendid on grupeeritud visuaalselt, kuid mitte koodis).
Veel enam – automatiseeritud tööriistad võivad anda ka ekslikke tulemusi, tuues esile probleeme, mida tegelikult ei eksisteeri või vastupidi, jättes olulised vead tuvastamata.
Ligipääsetavus ei ole ainult tehniline nõue, vaid eelkõige inimkeskne lähenemine. Manuaalne testimine on vajalik, et mõista, kuidas veebileht või rakendus tegelikult erinevatele kasutajatele toimib. Manuaalne testimine aitab avastada keerukamaid probleeme ja valideerida automatiseeritud tööriistade leide.
Loe lähemalt ligipääsetavuse kohta meie kodulehelt. Meie spetsialistid aitavad sind meeleldi - võta ühendust ja telli ligipääsetavuse audit, konsultatsioon või koolitus.
Testimine
Meie soov oli välja selgitada, kui suur on erinevus automatiseeritud ja manuaalse ligipääsetavuse testimise tulemuste vahel. Testimiseks valisime ühe rahvusvahelise avaliku asutuse esilehe. Testisime seda nii automaatsete tööriistade abil kui ka manuaalselt. Automaatseks testimiseks kasutasime tasuta brauseri laiendusi: WAVE Evaluation Tool, AXE DevTools, ARC Toolkit ja Siteimpove Accessibility Checker.
Manuaalse testimise viisime läbi desktop-versioonil kasutades Chrome'i brauserit ja JAWS ekraanilugejat ning mobiiliversioonil iOS-seadmes VoiceOver ekraanilugejaga ning Android-seadmes TalkBack ekraanilugejaga.
Tulemused
Joonis 1. Leitud vigu kokku.
alt=”Vigu ja hoiatusi leidsid Siteimprove vastavalt 6 ja 2, ARC 5 ja 13, AXE 6 ja 13, WAVE 6 ja 10. Manuaalne testimine leidis 36 viga.”
Joonisel 1 esitatud kokkuvõtlikud tulemused näitavad, et automatiseeritud tööriistad tuvastasid oluliselt vähem ligipääsetavuse probleeme kui manuaalne testimine.
Tegelik leidude hulk on aga veelgi väiksem, kuna enamjaolt raporteerivad automaattööriistad sama viga iga koodielemendi kohta eraldi, mis tekitab korduseid. Tabelis 1, kus kuvame tulemusi leidude kaupa, koondasime korduvad leiud üheks, et muuta need võrreldavaks manuaalse testimise tulemustega.
Näiteks kui automaattööriist tõi välja neli eraldi viga – üks iga ebakorrektse listi elemendi kohta –, siis tabelis 1 on see kuvatud ühe veana „üks list loetakse ekraanilugeja poolt ette nelja eraldi listina“.
Automaattööriistad toovad esile ka valideerimisvigu (parsing errors), kuid manuaaltestimisel neid ei arvestatud, kuna WCAG viimases versioonis 2.2 on “Parsing” punkt eemaldatud ega vaja testimist.
Ka erinevate automaattööriistade tulemused ei ole omavahel täielikult võrreldavad, kuna iga tööriist raporteerib leide erineval viisil. Enamus automaattööriistasid tõid välja ka “hoiatusi ja parimaid praktikaid”.
Nende puhul võib olla ebaselge, kas tegemist on tegeliku ligipääsetavuse reegli rikkumisega või lihtsalt võimalusega kasutajakogemust parandada. Tabelis 1 märkisime „jah“ ka juhul, kui manuaaltestimises märgiti asi veana, kuid automaattööriist paigutas selle “hoiatuste ja parimate praktikate” alla.
See näitab, et kuigi automatiseeritud testid toovad esile erinevaid leide, on nende valideerimiseks siiski vaja ligipääsetavuse alaseid teadmisi ja inimlikku analüüsi. Järgnevas tabelis toome välja kõik manuaaltestimise leiud ning selle, kas automaattestid tuvastasid need või mitte.
| Kriteerium | Leiu lühikokkuvõte | Manuaal-testimine | WAVE | ARC | AXE | Site-improve |
|---|---|---|---|---|---|---|
| Contrast (Minimum) | Nupu teksti kontrastsussuhe oma taustaga on alla nõutud piiri 4,5:1. | jah | jah | jah | jah | jah |
| Bypass Blocks | Puudub ülehüppamislink, mis võimaldaks lehe algusest otse sisuni liikuda. | jah | - | jah | - | jah |
| Focus Visible | Nupul puudub nähtav fookusstiil. | jah | - | - | - | - |
| Nupu fookusstiil on olemas, kuid praktiliselt nähtamatu. | jah | - | - | - | - | |
| Focus Order | Mobiilis saab klaviatuuri fookus liikuda menüü alla, kui menüü on avatud. | jah | - | - | - | - |
| Linki fokuseeritakse klaviatuuriga kaks korda järjest, see muudab navigatsiooni aeglasemaks. | jah | - | - | - | - | |
| Headings and Labels | Kuupäevaformaat on mitmeti mõistetav ja ei ole selge. | jah | - | - | - | - |
| Info and Relationships | Tabelis olev tavaline tekst loetakse ekraanilugeja poolt ette lingina. | jah | - | - | - | - |
| Üks list loetakse ekraanilugeja poolt ette nelja eraldi listina. | jah | - | jah | jah | - | |
| Element loetakse ekraanilugeja poolt ette kui list, aga ta ei ole tegelikult list. | jah | - | jah | jah | - | |
| Kõik navigatsiooni elemendid pole ekraanilugeja jaoks navigatsiooni sees. | jah | - | - | - | - | |
| Lehel puuduvad regioonid, mis aitaksid ekraanilugejal lehte paremini mõista ja sellel navigeerida. | jah | - | osaliselt | jah | jah | |
| Koodis puudub esimese taseme pealkiri <h1>. Pealkirjad ei ole koodis hierarhiliselt järjestatud, mis tekitab ekraanilugeja kasutajale segadust. | jah | jah | jah | jah | jah | |
| Keyboard | Otsingutulemuste peale ei saa klaviatuuriga liikuda. | jah | - | - | - | - |
| Link Purpose | Välised lingid on eristatavad visuaalselt, kuid mitte ekraanilugejaga. | jah | - | - | - | - |
| Label in Name | Nupu nähtav tekst ja koodis olev tekst ei kattu, mis tekitab probleeme nii ekraanilugeja kui ka häälkäskluse kasutajatele. | jah | - | - | - | - |
| Meaningful Sequence | Ekraanilugeja fookus hüppab ootamatusse kohta. | jah | - | - | - | - |
| Sama tekst loetakse ekraanilugejaga mitu korda järjest ette. | jah | - | - | - | - | |
| Name, Role, Value | Ekraanilugeja ei ütle, kas element on avatud või suletud olekus. | jah | - | - | - | - |
| Avanev mobiilimenüü katab menüü sulgemisnupu, häälkäsklustega ei saa menüüd sulgeda. | jah | - | - | - | - | |
| Valitud menüüpunkt on eristatav visuaalselt, kuid mitte ekraanilugejaga. | jah | - | - | - | - | |
| Otsingutulemusi ei saa ekraanilugejaga ega häälkäsklustega valida. | jah | - | - | - | - | |
| Navigatsioon on märgitud koodis vigaselt kontekstimenüüna. | jah | osaliselt | osaliselt | osaliselt | - | |
| Non-Text Content | Ikooniga nupu peale minnes loetakse ekraanilugejaga ette numbrijada, mis ei kirjelda nupu eesmärki. | jah | - | - | - | - |
| Logo peale minnes loetakse ekraanilugejaga ette tekst, mis pole tegelikult logo peal. | jah | - | - | - | - | |
| Ikooni peale minnes loetakse ekraanilugejaga ette tekst, mis ei kirjelda ikooni eesmärki. | jah | - | - | - | - | |
| On Focus | Otsingukast sulgub ootamatult. | jah | - | - | - | - |
| Pointer Cancellation | Otsingukasti sulgemisnupp aktiveerub hiire allavajutuse (mitte kliki) peale. | jah | - | - | - | - |
| Pointer Gestures | Teatud tegevusi saab teha ainult sõrmega kindlat trajektoori mööda lohistades. | jah | - | - | - | - |
| Reflow | Mobiilivaates nihkuvad asjad üksteise peale ning tekib horisontaalne kerimisriba. | jah | - | - | - | - |
| Status Messages | Ekraanilugeja ei teavita, kui kuvatakse otsingutulemusi. | jah | - | - | - | - |
| Otsingu ikooni vajutamisel avaneb otsingukast, kuid ekraanilugeja ei teata, et midagi juhtus. | jah | - | - | - | - | |
| Text Resize | Brauseri suurendust kasutades nihkuvad asjad üksteise peale. | jah | - | - | - | - |
| Use of Color | Lingid on muust tekstist eristatud ainult teise värviga. | jah | - | - | jah | - |
| User preference | Tekst ei allu brauseri tekstisuuruse seadetele. | jah | - | - | - | - |
| Leht ei allu brauseri tumerežiimi (dark mode) seadetele. | jah | - | - | - | - | |
| Kokku | 36 | 3 | 7 | 7 | 4 |
Joonis 2: Leitud unikaalseid vigu.
alt=”Tööriistad leidsid unikaalseid vigu vastavalt 3, 7, 7 ja 4. Manualtestimine leidis 36 viga.”
Tabelis 1 ja Joonisel 2 on selgelt näha, et ligipääsetavuse automaattestid tuvastasid võrreldes manuaaltestimisega väga vähe ligipääsetavusega seotud probleeme.
Enamasti ei suutnud automaattööriistad avastada ekraanilugeja käitumisega seotud probleeme: näiteks olukordi, kus ekraanilugeja luges ette teksti, mis ei kirjeldanud elementi või kus olulisi teateid ei loetud automaatselt ette.
Samuti ei tuvastanud automaattööriistad fookuse nähtavuse ja järjekorraga seotud probleeme, mis mõjutavad peamiselt klaviatuuri ja lülitite abil navigeerijaid. Näiteks ei tuvastatud seda, kui klaviatuuri fookus oli nähtamatu, liikus ebaloogiliselt või hüppas ootamatusse kohta.
Kolm neljast automaattestist tõid välja ka selliseid leide, mida manuaaltestimise käigus välja ei toodud. Need leiud oleme toonud välja Tabelis 2 koos põhjendustega, miks manuaaltestimises neid välja ei toodud.
| Wave Evaluation Tool | ||
|---|---|---|
| Kriteerium | Leiu lühikokkuvõte | Meie kommentaar |
| Contrast (Minimum) | Kontrastsussuhe teksti ja teksti tausta vahel peaks olema vähemalt 4,5:1, kuid on 1:1. | Visuaalselt on tekst valge ja taust tumesinine, mille kontrastsuhe on tegelikult 14.07:1 ehk tublisti üle nõutud piiri. Koodis on taustavärv lisatud reasisese CSS-iga, mida automaattööriist “ei näe”. |
| Määratlemata | Title-atribuudi tekst on sama, mis nähtav tekst või alternatiivtekst. | Viga ei tuvastatud manuaaltestimisel, kuna antud kontekstis ei mõjutanud see ekraanilugeja tööd ega põhjustanud segadust ka nägijatele. |
| ACE Toolkit | ||
| Kriteerium | Leiu lühikokkuvõte | Meie kommentaar |
| Labels or Instructions | Mitte-interaktiivsel elemendil on title-atribuut. | Viga ei tuvastatud manuaaltestimisel, kuna antud kontekstis ei mõjutanud see ekraanilugeja tööd ega põhjustanud segadust ka nägijatele. |
| Määratlemata | Teksti vormindamisel on kasutatud CSS-is kaldkirja. | Ühe jaluses oleva tekstirea visuaalset stiili antud kontekstis veana ei käsitletud, sest kaldkirja ei kasutatud millegi rõhutamiseks. |
| Siteimprove Accessibility Checker | ||
| Kriteerium | Leiu lühikokkuvõte | Meie kommentaar |
| Target Size (WCAG tase AAA) | Interaktiivsed elemendid peaksid olema vähemalt 44 x 44 piksli suurused, kuid on väiksemad. | Manuaaltestimisel lähtuti Euroopa Liidu standardist EN 301 549, mis ei nõua WCAG AAA taseme reeglitele vastamist. Kliendi soovi korral võime testida digikeskkondi ka WCAG AAA reeglite ning soovituslike parimate praktikate vastu. |
| Info and Relationships | Tabelil on jaluse element, aga see on tühi. | Manuaaltestimisel ei toodud seda välja, kuna see ei mõjuta ekraanilugeja tööd ega sega teisi kasutajaid. |
Tabelist 2 on näha, et osa automaattööriistade tuvastatud leide ei ole tegelikult vead, mis mõjutaksid oluliselt kasutajakogemust või ligipääsetavust. See kinnitab, et automatiseeritud testide tulemuste pimesi usaldamine võib viia ressursside ebaefektiivse kasutamiseni, suunates tähelepanu probleemidele, mis ei ole tegelikult kasutajatele takistuseks.
Seetõttu on oluline, et automaattestide tulemusi täiendaks asjatundlik analüüs ja manuaalne kontroll, et ressursid kuluksid tõeliste ligipääsetavuse probleemide lahendamisele.
Kokkuvõtteks
Kõik automatiseeritud ligipääsetavuse testimise tööriistad, mida testimiseks kasutati, toimisid umbes sama efektiivselt ja suutsid tuvastada keskmiselt 15% testitava veebilehe ligipääsetavuse probleemidest, jättes enamiku olulisi vigu märkamata.
Üheks põhjuseks meie hinnangul on see, et veebilehte või rakendust kasutades, sooritab kasutaja erinevaid toiminguid nagu nuppude vajutamine, teksti sisestamine või lehe suurendamine. Need tegevused käivitavad lehel erinevaid muutusi, näiteks avanevad modaalid, akordionid või teavitused.
Automatiseeritud tööriistadel aga ei ole võimekust simuleerida kõiki neid tegevusi ega analüüsida muutusi, mis nende tõttu tekivad. Kasutajakäitumise ja konteksti arvestamata jätmisel aga jäävadki paljud ligipääsetavuse probleemid tähelepanuta.
Turul võib olla automatiseeritud tööriistu, mis suudavad tuvastada ka veidi rohkem ligipääsetavuse vigu, kui selles artiklis mainitud tööriistad. Sellest hoolimata on meie hinnangul veel pikk tee minna, enne kui automatiseeritud tööriistad suudaksid asendada manuaaltestimist – nii pea seda veel ei juhtu.
Kui tekkis soov teada saada, kui ligipääsetavad on sinu digikanalid, siis räägi meie ligipääsetavuse spetsialistiga – 30-minutiline vestlus aitab sul olukorda selgemalt näha ja mõista, kust alustada. Tasuta konsultatsiooni saad kiiresti ja mugavalt broneerida meie veebist.
