Brukskvalitet

I en serie brukbarhetstester av mobile elektroniske pasientjournalsystemer ved brukbarhetslaboratoriet ved NSEP har vi funnet ut at har testpersoner har problemer med å tenke høyt, og at realismen reduseres når brukeren tenker høyt i brukbarhetstester med flere personer involvert.

Den såkalte think-aloud-protokollen er svært ofte benyttet under brukbarhetstester. Det er en teknikk der brukeren blir bedt om å tenke høyt, det vil si beskrive med egne ord hva hun gjør, hva hun forventer av systemrespons, og hvilke problemer hun opplever.

I tre ulike brukertester i har vi funnet ut at problemet med denne teknikken oppstår når brukeren må forholde seg til andre personer. Da opplever vi at testpersonene rett og slett glemmer å tenke høyt. Dessuten, i de tilfellene hvor de husker det, reduseres realismen.

Alle tre brukertestene her hentet fra en sykehussetting der helsepersonell bruker et mobilt system under en pasientvisitt. Resultatene er hentet fra en artikkel jeg og Yngve Dahl har publisert i NordiCHI 2008. Du finner mer detaljer om studiene og mer utdypende informasjon der.

Den første brukertesten testet vi et kontekstsensitivt system som automatisk fant frem pasientopplysninger når legen nærmet seg pasienten. Vi plasserte pasienter i sengene og instruerte brukeren til å tenke høyt under bruken av systemet. Under disse testene observerte vi at think-aloud ble bare delvis benyttet av deltakerne. Fokuset lå på pasientdialogen, ikke dialogen med testlederen.

I den andre brukertesten testet vi et system som lot brukeren finne røntgenbilder på en PDA og deretter vise dem på en pasientterminal som var montert på pasientens seng. Her ble think-aloud instruert, men bare unntaksvis benyttet av testdeltakerne. I denne testen var dialogen med pasienten i større fokus enn i den forrige testen.

I den tredje testen testet vi et mobilt medikasjonssystem som lot legene endre medisineringen eller legge til nye medikamenter ved pasientens seng . Basert på erfaringene fra de to foregående testene instruerte vi ikke think-aloud. I denne testen opplevde vi bedre pasientdialog og økt realisme.

Med fare for å overgeneralisere: Helsepersonellet ikke er i stand til å holde to dialoger i gang; en med brukertestleder og en med pasienten. Dessuten ble testene utført i omgivelser som i stor grad lignet deres normale arbeidsomgivelser. Det gjorde at testbrukerne var ”på jobb”, noe som gjorde at de helt glemte testlederen. Når man brukertester systemer der brukerne må forholde seg til andre personer, kan man ikke forvente at de klarer å tenke høyt i tillegg.

Men hvordan fikk vi innsikt i hva brukerne tenkte under testen? Det finner du i dette blogginnlegget.

Referanser:

• Alsos, O. A. (2005). Exploring interface metaphors for using handhelds and PCs together, NTNU.
• Alsos, O. A. and D. Svanaes (2006). Interaction techniques for using handhelds and PCs together in a clinical setting. NordiCHI.
• Dahl, Y. and D. Svanæs (2007). A comparison of location and token-based interaction techniques for point-of- care access to medical information. Personal and Ubiquitous Computing.
• Dabelow, B. (2008). Reducing Attention Theft – New interfaces for the mobile electronic patient pecord, NTNU.
• Alsos, O. A. (2008). Attention and usability issues in mobile health information systems at point-of-care. Stud Health Technol Inform 136: 877-8.