Asiantuntija-arvioninnin raportointi

Arvioinnissa on käytettyjä protoja, jotka löytyvät urlista: http://kouli.iki.fi/~hppietil/Kayli/Proto.html

1. Käytetty arviointimenetelmä:
Heuristinen arviointi

2. Löydetyt ongelmat vakavuusjärjestyksessä:

1. Löydetty ongelma:
Muissa näytöissä paitsi Päivän aterioiden suunnittelussa on Peruuta-nappi harhaanjohtava. Napin nimi pitää muuttaa Sulje -nimiseksi.
Minkä heuristiikan perusteella löydetty?
Yhteneväisyyden periaatteella.
Arvio vakavuudesta:
Kyseinen ongelma on vakava, koska se aiheuttaa käyttäjässä epä selvyyttä siitä tarkoittaako napin painaminen tehtyjen muutosten peruuttamista ja epäselvyyttä siitä miten näytöltä pääsee pois muutoksia peruuttamatta.
Korjaus ennen testiä:
Napin nimi muutetaan Sulje -nimiseksi.

2. Löydetty ongelma:
Reseptin haku -näytöllä oleva OK-nappula on harhaanjohtavasti OK-niminen, vaikka muilla näytöillä se tulee olemaan Sulje -niminen.
Minkä heuristiikan perusteella löydetty?
Yhteneväisyyden periaatteella ja selkeästi merkityn poistumistien periaatteella.
Arvio vakavuudesta:
Kyseinen nappi rikkoo yhteneväisyyden periaatetta ja saattaa aiheutta a käyttäjässä epäselvyyttä toiminnassa. Nimen korjaaminen on siis tärkeää.
Korjaus ennen testiä:
Napin nimi muutetaan Sulje -nimiseksi.

3. Löydetty ongelma:
Ruokalistan suunnittelu -näytöllä tulee epäselvyyttä siitä minkä päivän aterioita voidaan suunnitella Päivän aterioiden suunnittelu -nappia painamalla.
Minkä heuristiikan perusteella löydetty?
Virheiden estämisen periaatteella ja yksinkertaisen ja luonnollisen dialogin periaatteella.
Arvio vakavuudesta:
Napin sijoitus tuohon paikkaan aiheuttaa sen, että päiväkohtaisen ruokalistan suunnittelu vaikeutuu, joten ongelma pitää korjata.
Korjaus ennen testiä:
Muutetaan napin sijaintia siten, että sijoitetaan kullekin päivälle oma suunnittelunappi päivän otsikon kohdalle. Siis siinä missä nyt lukee 1. Päivä jne. laitetaan otsikon alle nappi jossa lukee Päivän aterioiden suunnittelu.

4. Löydetty ongelma:
Päivän aterioiden suunnittelu -näytöllä oleva Poista -nappi on liian epäselvä. Käyttäjälle ei synny kuvaa siitä mitä napista painamalla poistetaan.
Minkä heuristiikan perusteella löydetty?
Palautteen antamisen periaatteella ja yksinkertaisen ja luonnollisen dialogin periaatteella.
Arvio vakavuudesta:
Epäselvyyden syntyminen on huono asia, ongelma täytyy siis jollain tavalla korjata.
Korjaus ennen testiä:
Muutetaan napin toimintaa siten, että ennen kuin käyttäjä on valinnut yhtään mitään Ruoka, Juoma tai Muut -listoilta on napin teksti harmaa mikä viittaa siihen ettei se ole toiminnassa. Vasta sitten kun jokin listan jäsen valitaan nappi aktivoituu. Näin käyttäjälle tulee selväksi että valittu jäsen tulee poistetuksi Poista -nappia painamalla.

5. Löydetty ongelma:
Päivän aterioiden suunnittelu -näytöllä on Peruuta -nappi, joka aiheutti epäselvyyttä.
Minkä heuristiikan perusteella löydetty?
Selkeästi merkityn poistumistien periaatteella.
Arvio vakavuudesta:
Jollei tarkalleen tiedetä mitä Peruuta -nappi tekee saattaa syntyä turhaa hämmennystä. Ongelma on siis korjattava.
Korjaus ennen testiä:
Muutetaan napin nimeksi Peruuta tekemäsi muutokset.

6. Löydetty ongelma:
Resepti -näytöllä reseptin luokituksesta puuttuu kaksi eri luokitusehtoa: Ateriatyyppi ja ruoka-aineryhmä.
Minkä heuristiikan perusteella löydetty?
Ei heuristiikkaan perustuva virhe, vaan yksinkertaisesti unohdus.
Arvio vakavuudesta:
Käyttäjä haluaa lisätä reseptikokoelmaan myös omia reseptejään ja määritellä niillekin nämä luokitukset. Ongelma on siis korjattava.
Korjaus ennen testiä:
Lisätään Luokitus -laatikkoon combo-boksi, jossa on listattuna eri ruoka-aineryhmät, sekä teksti-boksi johon voi kirjoittaa useammankin siihen reseptiin sopivan ateriatyypin.

7. Löydetty ongelma:
Ruokalistan suunnittelu -näytöllä on Reseptin katselu -nappulaa painettaessa epäselväämikä resepti tulee katseltavaksi.
Minkä heuristiikan perusteella löydetty?
Yksinkertaisen ja luonnollisen dialogin periaatteella.
Arvio vakavuudesta:
Reseptiä voidaan katsella myös joko tuplaklikkaamalla ruokaa tai si tten Päivän aterioiden suunnittelu -näytöltä käsin, joten luultavasti käyttäjä saisi haluamansa reseptin jotenkin näkyviin . Kuitenkin on aivan turhaa pitää sellaista nappulaa näytöllä joka aiheuttaa epäselvyyttä, joten ongelma on korjattava.
Korjaus ennen testiä:
Muutetaan nappulaa siten, että sen teksti on harmaa ja nappula näin ollen pois käytöstä niin kauan kunnes käyttäjä on hiirellä valinnut jonkin ruuan nä ytöltä. Vasta valinnan tapahduttua nappi tulee aktiiviseksi ja tä llöin käyttäjä yhdistää napin ja ruuan toisiinsa.

8. Löydetty ongelma:
Ruokalistan suunnittelu -näytöllä ei näy viikonpäivien nimiä eikä päivämääriä.
Minkä heuristiikan perusteella löydetty?
Käyttäjän kielen käyttämisen periaate.
Arvio vakavuudesta:
Emme pidä niitä tärkeinä. Jo suunnitteluvaiheessa mietimme olisivatko ne tarpeellisia mutta tulimme siihen tulokseen että ne eivät liity mitenkään ol eellisesti ruokalistan suunnitteluun. Itseasiassa meidän mielestämm e ne vain toisivat paljon lisää turhaa tietoa jo nytkin täysille näytöille ja aiheuttaisivat uusia turhia mää rittelyjä käyttäjille.

3. Käytetty arviointimenetelmä:
Kogniitivinen arviointi

4. Löydetyt ongelmat vakavuusjärjestyksessä

1. Löydetty ongelma:
Päivän aterioiden määrän muuttamistoiminto oli hankala löytää.
Arvio vakavuudesta:
Aterioiden määrän muuttaminen on tärkeä toiminto ruokalistaa suunniteltaessa, joten ongelma on korjattava.
Korjaus ennen testiä:
Ennen aterioiden määrän muutos voitiin tehdä ylävalikon Mää rittelyt -valikosta. Korjauksessa lisätään näytön alareunaan Päivän aterioiden määrän muutos -niminen nappi, jota painamal la päästään pikkunäytölle jolla voidaan määritellä mitä aterioita kullakin päivällä on.

Käytettävyystestisuunnitelma

Ryhmän jäsenet:

Virve Leino, 45324L
Henna Pietiläinen, 45356D
Ville Laurikari, 45318D

Työnaihe:

MikroKokki, numero 6

Työn ohjaajan nimi:

Marjo Kuusela

Proton käyttötarkoitus:
Ruokalistojen suunnittelu mille tahansa määrälle päiviä, siten että erilaisten ruokien hakeminen tietokannasta on helppoa, sekä ruokien vaihtelevuutta voidaan helposti hallita.
Reseptien hakeminen tietokannasta, siten että erilaisten hakuoptioiden avulla saadaan haku helpommaksi kuin keittokirjoista.
Uusien reseptien lisääminen tietokantaan.
Ostoslistojen luominen suunnitellusta ruokalistasta tai jostain yksittäisestä reseptistä.

Pääkohderyhmä:
Kohderyhmään kuuluvat kaikki ruuanlaitosta kiinnostuneet henkilöt, jotka tarvitsevat työssään tai vapaa-aikanaan joko ruokalistan suunnittelua tai erilaisten reseptien hakemista.

Testin tarkoitus:
Testataan ohjelman koko toiminnallisuutta ja keskitytään erityisesti keskeisiin toimintoihin, kuten ruokalistojen suunnitteluun, reseptien hakemisiin ja uusien reseptien lisäämiseen.

Protolle asetetut käytettävyystavoitteet:
Ohjelman avulla pitää saada pitkänkin ajan ruokalistan suunnittelu helpoksi. Lisäksi ohjelman pitää pystyä kertomaan tarvittavien einesten määrä henkilömäärän perusteella ja laadittava einesmäärän perusteella selkeä ostoslista tarvittavista eineksistä. Lisäksi ohjelman pitää pystyä etsimään käyttäjälle tämän haluamia reseptejä tietokannasta.

Mistä tiedämme täyttyvätkö käytettävyystavoitteet?
Suunnittelemme tehtäviä, joissa juuri näitä kohtia testataan. Testitilanteessa ja testin jälkeen sitten katsomme saako testikäyttäjä tehtävän suoritetuksi, paljonko aikaa siihen kului ja oliko tehtävän suorittamisessa ongelmia.

Testikäyttäjän kuvaus:
Tyypillinen ohjelmiston käyttäjä osaa käyttää tietokoneita auttavasti ja on kiinnostunut ruuanlaitosta. Käyttäjäkuntaan kuuluu sekä miehiä että naisia.
Käyttäjäkunta on kaikenikäistä. Koulutustaustakin on eri ihmisillä hyvin erilainen.
Käyttäjä on kiinnostunut ruuanlaitosta ja haluaa suunnitella etukäteen vaihtelevia ruokalistoja pitkälle aikavälille. Käyttäjän ei tarvitse kuitenkaan hallita mitään ravintola-alan sanastoa tai vastaavasti tietokonealan sanastoa.

Mistä löydämme sopivan testikäyttäjän?
Yritämme löytää kavereiden ja tuttavien avulla sopivan henkilön, joka pitää ruuanlaitosta, ei tunne tietokoneita läpikotaisin ja joka osaa ajatella ääneen.

Testin vaiheet:

Miten proto esitellään käyttäjälle ja mitä muuta testistä kerrotaan?
Käyttäjälle kerrotaan millaiseen käyttöön ohjelma on suunniteltu. Lisäksi kerrotaan että testi videoidaan (kerrotaan jo kun pyydetään testihenkilöksi), sen lisäksi valehtelemme ettemme ole itse tehneet ohjelmaa, vaan että se on jonkun muun ryhmän tekemä. Lisäksi kerromme että ohjelma on vielä keskeneräinen ja että otamme kiitollisina vastaan kaikki testaajan löytämät puutteet ja epäselvyydet, sekä parannusehdotukset ohjelmasta. Sitten kerromme että testissä ei suinkaan testata testaajaa vaan ohjelmaa ja että testaaja saa kysellä kaikenlaista, mutta että kaikkiin kysymyksiin emme voi vastata testin aikana, mutta testin jälkeen pyrimme vastaamaan niihin. Lopuksi kehoitamme testaajaa ajattelemaan rohkeasti ääneen.

Käyttäjälle annettava alkuopastus, käyttöohjeet jne..
Emme anna käyttäjälle testin alussa alkuopastusta. Jos käyttäjälle tulee testin aikana ylitsepääsemättömiä ongelmia neuvotaan häntä käyttämään Help:ejä. Jollei ongelma ratkea niidenkään avulla siirrytään seuraavaan tehtävään. Haluamme testata ohjelmaa tällä tavoin, koska se vastaa parhaiten normaalia käyttötilannetta.

Käyttäjälle annettavat testitehtävät:

1. Haluat tehdä jotain halpaa ja helppoa lämmintä ruokaa, muttet oikein tiedä mitä. Olet allerginen herneille ja tykkäät porkkanoista. Päätät etsiä MikroKokki -ohjelmasta sopivaa reseptiä. Kun löydät sopivan reseptin haluat tulostaa sen paperille, jotta voit katsoa ohjetta ruokaa laittaessasi. Tulostamisen jälkeen palaat takaisin alkunäytölle.
Arvio tehtävän kestosta: 5 min.

2. Ajattelit tehdä äskeisessä tehtävässä löytämääsi ruokaa 10 aikuiselle ja 5 lapselle syntymäpäiväkutsujasi varten. Talleta reseptiin tarvittavien aineiden ostoslista haluammallesi nimelle ja tulosta sen jälkeen kyseinen ostoslista.
Arvio tehtävän kestosta: 5 min.

3. Haluat lisätä tämän äidiltä saamasi reseptin MikroKokki -ohjelman resepteihin. (Resepti annetaan liitteenä).
Arvio tehtävän kestosta: 5 min.

4. On perjantai ja olet lähdössä kauppaan. Haluat suunnitella viikonlopun ruokalistan ja saada tulostettua sitä vastaavan ostoslistan paperille. Olet tottunut syömään viikonloppuisin aamupalan, lounaan, päivällisen ja iltapalan. Suunnittelet ruuat vain itsellesi ja voit suunnitella ruuiksi ihan niitä ruokia joista itse pidät.
Arvio tehtävän kestosta: 5 min.

5. Italialainen ystäväsi on tulossa luoksesi vierailulle ja haluaisit tarjota hänelle jotain pastaruokaa, joka sisältää myös jauhelihaa (jääkaappistasi nimittäin löytyy paketti jauhelihaa). Jälkiruuaksi haluaisit tarjota mansikkakakkua. Etsi reseptit ja tutki ovatko ne halpoja, kalliita, helppoja vai vaikeita valmistaa.
Arvio tehtävän kestosta: 5 min.

6. Ystäväsi ovat kuulleet, että osaat käyttää hyvin MikroKokki -ohjelmaa ja nyt sinut halutaan suunnittelemaan ruokalistan leirille. Leirille osallistuu 20 lasta ja 6 aikuista ohjaajaa. Leiri kestää 4 päivää. Leirikeskus tarjoaa 3 ensimmäisenä päivänä lounaan, välipalan ja päivällisen, joten sinun suunniteltavaksi jäävät 3 päivän aamiainen ja iltapala. Voit itse valita haluamasi ruuat, mutta pyri saamaan ruokalistasta monipuolinen.
Arvio tehtävän kestosta: 10 min.

7. Jatkoa edelliseen tehtävään. Leirin 4. päiväksi sinun on suunniteltava aamiainen, lounas, välipala, päivällinen ja iltapala. Päivälliselle halutaan kynttilöitä tunnelman luomiseksi. Lisää kynttilät neljännen päivän päivällisen ruokalistaan, jotta ne siirtyisivät myös ostoslistaan. Yksi leiriläisistä on allerginen kalalle, joten et halua tehdä kalaruokia, muuten voit valita ruuat mielesi mukaan. Lopuksi haluat vielä tulostaa leirin ruokalistan.
Arvio tehtävän kestosta: 10 min.

8. Olet huomannut että MikroKokissa oleva marenkikakku on mielestäsi aivan liian makea. Haluat siis vähentää marenkikakkun reseptissä olevan 6 dl sokerimäärän 4 desilitraan.
Arvio tehtävän kestosta: 5 min.

9. Lapsesi inhoavat maksaa ja ovat kauan pyytäneet että poistaisit maksalaatikko -ohjeen pois MikroKokin reseptivalikoimasta. Tänään on poikasi syntymäpäivä ja sen kunniaksi haluat poistaa kyseisen reseptin.
Arvio tehtävän kestosta: 5 min.

10. Huomaat että olet vahingossa ostanut aivan liian paljon maitoa ja sen vuoksi innostut tekemään riisipuuroa. Riisit kuitenkin ovat loppu. Etsit siis riisipuuron reseptin ja tutkit sen ostoslistasta paljonko riisiä tarvitaan 4 ihmisen riisipuuron valmistukseen. Voit pyyhkiä maidon pois ostoslistalta, koska sitä sinulla jo on valmiiksi.
Arvio tehtävän kestosta: 5 min.

Miten testin aikana tallennetaan tietoa?
Testi videoidaan ja testin aikana tehdään myös muistiinpanoja.

Miten käyttäjän kanssa keskustellaan?
Ollaan ystävällisiä ja kannustavia, ei kuitenkaan auteta ongelmien ratkaisemisessa. Kysellään välillä jotain, jotta saadaan testihenkilö ajattelemaan ääneen.

Miten testin jälkeen kerätään tietoa käyttäjältä?
Kysytään mikä tehtävissä oli vaikeaa, millainen ohjelma oli käyttää ja olisiko käyttäjällä ollut jotain parannusehdotuksia ohjelmaan.
Testin jälkeen sovitaan aika jolloin voitaisiin katsella testivideo yhdessä, kiitetään kauniisti testiin osallistumisesta, sekä pyydetään yhteystiedot jos tarvitaan vielä myöhemmin lisätietoja testaajalta.

Mitä muuta testin jälkeen tehdään?
Analysoidaan video ryhmän kesken ja yhdessä testaajan kanssa. Tehdään muistiinpanojen ja videon perusteella tarvittavat korjausket ohjelmaan. Testataan mahdollisesti uudelleen.

Miten saatu data analysoidaan?
Tutkitaan missä tilanteissa käyttäjä paineli vääriä nappuloita tai kirjoitti vääriin kenttiin tekstiä. Lisäksi tutkitaan missä kohdin testaajalla oli vaikeuksia tehtävän ratkaisemisessa. Sitten tutkitaan mihin toiminpiteisiin kului erityisen paljon aikaa ja missä kohdin käyttäjä vaikutti yllättyneeltä, turhautuneelta tai hämmentyneeltä. Tämän jälkeen virheet luokitellaan.

Onko ennalta mietittyä virheiden luokitusta?
On. Käytämme kirjan sivuilla 159 - 160 olevaa virheiden luokittelua. Siinä virheet jaetaan seuraaviin luokkiin:

1. Käyttäjä yrittää ratkaista ongelmaa väärällä tavalla

2. Vahinko

2.1. Tottumusvirhe
2.2. Tehdään oikea toiminto väärälle jutulle
2.3. Alitajuinen virhe
2.4. Unohdusvirhe
2.5. Moodivirhe

Aiotteko käyttää tai oletteko jo käyttäneet muitakin menetelmiä protonne käytettävyyden arviointiin?
Olemme itse ryhmässä testanneet ja tutkineet protoa useita kertoja ja yrittäneet asettua tyypillisen käyttäjän rooliin. Lisäksi olemme pyytännet muutamia kavereitamme tutkimaan protoja ja hakemaan niistä epäselvyyksiä tai muuten huonoja kohtia. Tulevaisuudessa aiomme jatkaa itse protomme testaamista ja pyydämme luultavasti vielä uusia kavereita tutkimaan sitä.