Under Yggdrasil 2009 møttes fagfolk fra næringsliv/forvaltning og representanter fra utdanningsinstitusjonene for sammen å finne ut hva som bør kreves av morgendagens interaksjonsdesignere, informasjonsarkitekter og brukervennlighetseksperter. Sammen fant vi ut hvilke egenskaper den perfekte interaksjonsdesigner bør besitte.

Bakgrunnen for workshopen

Det er i dag en rekke forskjellige utdanningsinstitusjoner i Norge som gir utdannelser innen disse områdene. Det er viktig at disse utdannelsene til enhver tid er målrettet i forhold til det konkrete behov for kompetanse som finnes i norsk næringsliv og forvaltning. For å kunne gjøre utdannelsene oppdaterte og relevante, så er det nødvendig med kontinuerlig tilbakemelding på studietilbudene fra studentenes framtidige arbeidsgivere. Dag Svanæs og Ole Andreas Alsos inviterte derfor erfarne personer fra næringsliv og forvaltning til å gi sine anbefalinger om hva norske utdanningsinstitusjoner bør undervise sine studenter i framtiden. Til å lytte ble sentrale undervisere fra norske utdanningsinstitusjoner invitert.

Et av flere viktige bidrag som kom frem i denne debatten var egenskapene til den perfekte interaksjonsdesigner, informasjonsarkitekt og brukervennlighetsekspert.

Med bidrag fra blant annet Thor Fredrik Eie og Jostein Magnussen (Netlife Research) (se bildet øverst) beskrev workshopdeltakerne den perfekte kollega slik:

• De brenner for brukervennlighet: De har et stort bankende hjerte for brukervennlighet og et høyt nivå av usabilityhormon i kroppen. Det er en egenskap som kan være vanskelig å lære, men likevel svært viktig for en interaksjonsdesigner.
• De kan tegne: Den perfekte kollega behersker kunsten å skisse på papir. De tør å bruke penn, og tør å skrible litt på arket for å utforske løsninger. De trenger ikke være noen picasso (det trenger ikke være pent) men det er viktig å være trygg med penn og papir. Interaksjonsdesign er et håndverk og en interaksjonsdesigner må ha det i fingrene.
• De kan blogge: En interaksjonsdesigner bør vite hva en publiseringsløsning er. De må ha kjennskap til det som fines av kommersielle verktøy som brukes av norske bedrifter (for eksempel WordPress, EPIserver). Det er også en fordel å ha sett baksiden av et publiseringssystem.
• De kan presentere: De har holdt presentasjoner og er komfortabel med snakke foran folk. De er flinke å få fram et budskap (som konsulent gjør du det hele dagen) og powerpoint er deres beste venn.
• De kan konseptutvikling: De forstår viktigheten av prototyping og konseptutvikling. De har laget noe som har vært testet.
• De kan brukeranalyse: Knut Rolland (Avenir) mener at de må ha en stor verktøykasse med et bredt spekter av metoder for å innhente kunnskap om brukerne og deres behov, samt foretningsprosessene i organisasjonen . Det gjelder ikke bare klassiske metoder som brukertester og intervju, men de har vært ute å gjort observasjoner og etnografiske studier. De forstår også hva de ulike metodene ikke fanger, deres styrker og svakheter.
• De kan planlegge og kjøre brukertester: De kjenner brukertestingsmetoden i detalj og har vært med å planlegge, gjennomføre og analysere brukertester.
• De kan grunnleggende programmering: De kan grunnleggende HTML, CSS og Flash. De trenger ikke være noen topprogrammerer, men må kunne se på kode som noe mer meningsfullt enn en tilfeldig samling tegn og mellomrom.
• De er kreative: De er meget kreative – innen de rammer som prosjektet, teknologien eller organisasjonen setter.
• De har erfaring fra næringslivet: De har vært ute i den virkelige verden og har blitt “skitten på fingrene” gjennom sommerjobber eller ”internships” ute i bedrifter. Masteroppgaver og tilsvarende er forankret i reelle prosjekter – ikke dype, smale og teoretiske tema.
• De kan samarbeide: Ram Yoga (Steria) mener at de må kunne samarbeide med alle i prosjektorganisasjonen, særlig med utviklere.
• De kan selge inn brukervennlighet: Interaksjonsdesignere må være flinke til å synliggjøre sitt eget behov. Bjørn Tennøe (Fast) trekker frem viktigheten av å kunne selge seg selv. Han peker på at den norske industrien i stor grad produserer råstoff og er ikke trent til å kjøpe designekspertise. Industrien trenger utdanning i hvorfor de trenger interasjonsdesignere og hvordan de kan bruke dem. Ram Yoga (Steria) mener at interaksjonsdesignere må tenne en brukervennlighetsgnist hos utviklerne – de må evangelisere fagområdet. Dessuten må interaksjonsdesign komme som en naturlig del av utviklernes utdannelse.
• De har spisskompetanse på brukervennlighet: Gautam Ghosh (Skatteetaten) peker på at interaksjonsdesignere må være “spisse”. De oppfattes ofte som generalister som kan brukes over alt. Det kan fort undergrave deres stilling og deres entusiasme når de ikke får brukt deres kompetanse annet enn når det er rom for det. Det er alltid rom i starten av et prosjekt, så fjernes behovet på grunn av ressursmangler. Det kan være frustrerende for mange og de gir opp å sloss. Gautam ønsker seg sterkere profesjonalisering og sterkere synliggjøring av kunnskapen
• De er generalister: Knut Rolland mener på en annen side at de må ikke være for smale, da graver man sin egen grav. Man må være generalister. Trude Hole (Bouvet) peker på at industrien ansetter generalister, de vil ha ”poteter” som kan brukes til alt og tør ikke ansette ”spesialverktøy” som interaksjonsdesignere.
• De er ikke redd for teknologi: Knut Rolland mener at mange er redd for å ta i teknologi. Det skaper et kunstig skille; interaksjonsdesigneren overleverer sitt arbeid til utvikleren  og sier ”vær så god, nå kan du starte kodingen”, for deretter å nekte all nærkontakt med utvikleren og teknologien.

Men sukk - å ha en slik interaksjonsdesigner med på laget vil være en drøm for de fleste organisasjoner og bedrifter. Dessverre finnes det alt for få slike personer. Høyskoler og universiteter bør derfor ta disse ønskene inn over seg når de planlegger studieløp.

Jeg benytter ofte fokusgrupper og workshops som forskningsmetode i doktorgradsarbeidet. Ved to tilfeller har jeg for en kort periode vært nødt til å forlate lokalet der intervjuene har foregått. Under den etterfølgende videoanalysen oppdaget jeg i begge tilfellene at mens jeg var borte fortsatte diskusjonen med høy intensitet og flere gode ideer til løsning dukket opp. Ideene var negative til løsningen som ble presentert. De var av slik art at de sannsynligvis aldri ville ha dukket opp hvis ikke jeg hadde forlatt møterommmet. Dette var ideer som jeg i utgangspunktet ville ha gått glipp av fordi jeg ikke var til stede – takk og pris for at jeg gjorde videoopptak av fokusgruppen!

Hvorfor skjedde dette? Det er kjent at man som intervjuer eller observatør påvirker objektet man intervjuer eller observerer. For eksempel, hvis fokusgruppen skal diskutere en nytt produkt er sjansen stor for at gruppen er positiv til produktet. Det kan være mange årsaker til det, men én kan være at gruppen sier det de tror fasilitatoren ønsker at de skal svare – den såkalte intervjuer effekten. Den sier at man som intervjuer (eller workshopleder) ubevisst påvirker intervjuobjektet. Ditt kjønn, alder, jobbtittel og dialekt er eksempler på faktorer som påvirker svarene du får. Den sosiale og fysiske situasjonen påvirker også. For eksempel hvis deltakerne  får et honorar for å delta, kan det også bidra til at meningene blir ufortjent positive. Et lignende fenomen er Hawthorne effekten – en kortvarig endring i atferd som følge av at man blir observert.

Konklusjonen er at for å redusere eller motvirke intervjuer effekten under fokusgrupper eller workshops kan det være en idé å forlate gruppen en periode og la de diskutere uten at de blir påvirket av deg som workshopleder/intervjuer.

Forsøk følgende fremgangsmåte:

1. Be deltakerne om å få gjøre video- eller lydopptak av fokusgruppen.
2. Introduser problemstillingen (som for eksempel er å diskutere et design eller produkt) og få i gang diskusjonen.
3. Forlat gruppen for en periode (<5 minutter) når du merker at kreativiteten og diskusjonen er kommet i gang.
4. “Når katten er borte danser musene på bordet”; siden workshoplederen ikke er tilstede blir ikke deltakerne blir ikke lenger påvirket til å mene det de tror lederen ønsker at de skal mene.
5. Returner til møterommet, fortsett rollen som workshopleder, hør på gruppens ideer.
6. Når workshopen er avsluttet ser du gjennom video-/lydopptaket og undersøker hva gruppen virkelig mener

Metoden er enkel:

1. La brukeren teste flere designløsninger
2. Lag kort som illustrerer designløsningene og ha dem tilgjengelig under det påfølgende intervjuet
3. La brukeren sortere kortene etter preferanse

Metoden er basert på over tre års forskning ved brukbarhetslaboratoriet ved Norsk senter for elektronisk pasientjournal og er oppsummert i denne artikkelen

La brukeren teste flere designløsninger

I dag er det vanlig å teste en løsning. Brukerene tenker høyt, men de glemmer hva de har testet og greier ikke å sette sine erfaringer i et større perspektiv. Ved å la brukeren teste flere varianter av samme designløsning oppnår du en rekke fordeler:

• Du får testbrukerne til å sammenligne designløsningene opp mot hverandre.
• “Usynlige” brukervennlighetsproblemer åpenbarer seg for testbrukerne når de får prøvd en designløsning opp mot andre løsninger.
• Du får testbrukeren til å reflektere mer over muligheter og begrensninger i designløsningene
• Du sørger for god utnyttelse av testbrukerne siden hver testbruker evaluerer flere løsninger.

Lag kort som illustrerer designløsningene og ha dem tilgjengelig under det påfølgende intervjuet

Ved å lage illustrerende kort gjør du det langt enklere for deg selv og testbrukeren. Kortene må tydeliggjøre forskjellene mellom designløsningene. Fordelene er flere:

• Det er enklere for testbrukeren å huske forskjellen på alle designløsningene hun nettopp har prøvd. “Knowledge in the world rather than knowledge in the head”
• Det er enklere for brukeren å referere til de ulike problemene for det er bare å peke på kortene mens de forklarer problemet.
• Intervjuet blir mye mer fokusert fordi du som testleder kan henvise til kortene når kommentarene deres sklir ut.
• Du slipper å legge ord i munnen på brukeren fordi du kan si “hva synes du om denne [mens du peker på et kort]“
• Det blir rett og slett enklere for testbrukeren å reflektere over designløsningene de har brukt og du får langt mer tilbakemelding enn du får i vanlige brukertester.

La brukeren sortere kortene etter preferanse

Mot slutten av intervjuet ber du brukeren sortere kortene etter preferanse. Du ber de samtidig om å begrunne rekkefølgen. Med dette oppnår du en rekke fordeler:

• Du kan få bedre innsikt i hvilke designalternativer de foretrekker og hvilke de ikke foretrekker.
• Du kan lage statistikk av rekkefølgen og begrunne designbeslutninger med tall, noe sjefer elsker.
• Ved å be brukerne begrunne rekkefølgen får du dypere innsikt i hva som er viktigere faktorer for brukervennligheten.
• De viktige faktorene for brukervennligheten kan du bruke som evalueringskriterier i videre brukertester av produktet.

Hva er ulempene?

Metoden koster mer. Du må utvikle flere designvarianter, noe som kan ta noe tid hvis de er fundamentalt forskjellige. Men hvis forskjellene er små, behøver tiden og kostnaden ikke være avskrekkende. Selve brukertestingen tar noe mer tid per bruker, men utnyttelsen er mye større og honoraret trenger ikke øke proporsjonalt med den ekstra tiden.

Presentasjonen fra Yggdrasil finner du her:

[slideshare id=665034&doc=presentasjon-yggdrasil-2008-alsos-1224249696400035-8&w=425]

Bruker du en lignende metode?

En dansk studie av Jakob Otkjær Bak m. fl. som ble presentert på NordiCHI har forsøkt å finne svar på spørsmålene. I denne studien spurte de 39 danske organisasjonene om deres forståelse av brukertesting og om de benyttet metoden.

29 av de 39 organisasjonene hevdet at de brukte brukertesting. Men det viste seg at de fleste av disse missforstod hva en brukertest virkelig var og trodde det var det samme som det vi kaller funksjonstest. Andre organisasjoner trodde brukertest var det samme som å be om å få tilbakemeldinger fra kunden på en tidlig versjon av programmet som var sendt til dem. Andre arrangerte møter med kunden der de diskuterte brukervennlighetsproblemer i systemet. Bare noen ytterst få av de 39 organisasjonene gjennomførte det vi kaller brukertester (der brukere blir observert mens de gjennomførte oppgaver på et system). Det viste seg at brukertesting er en lite utbredt metode.

Så hva er det som forhindrer brukertesting?

Dybdeintervjuet avslørte at utviklernes holdning til brukertesting og begrensede ressurser var de største hindrene. I tillegg viste det seg at mange hadde feil oppfatning om hva brukertesting virkelig var, og trodde at det var det samme som funksjonstesting.

Tidligere har andre funnet ut at…

• rigide utviklingsprosesser og -metoder lager hindrer for brukertesting,
• brukerinvolvering gjør programmering vanskeligere og forlenger utviklingsprosessen,
• brukertestingen skjer for sent i utviklingen

Det finnes også studier som kan tyde på at de som jobber med brukervennligheten…

• ikke klarer å bli integrert i utviklingsprosessen,
• ikke kjenner brukerene godt nok,
• ikke har god nok kompetanse,
• ikke blir respektert på grunn av sin unge alder.

En tredje gruppe hindringer handler om at utviklere…

• ikke har kompetanse til å selge brukervennlighet i organisasjonen
• ikke forstår kompleksiteten i design av brukervennlighet

Andre hevder at programvareleverandørene ikke vil lage første versjon av systemet brukervennlig. På denne måten kan de tjene penger på å selge en versjon 2 (eller 3) av systemet der brukervennlighetsproblemer er fikset.

Hva skal til for at organisasjoner faktisk brukertester systemene sine? Har dere noen erfaringer?

Bli med på en “virtuell” rundttur!

Men først litt bakgrunnsinformasjon: Brukbarhetlaboratoriet var ferdigstilt 2004 og er finansiert av Norges forskningsråd og NTNU. Det kostet omtrent 1,5 millioner kroner. Ansvarlig for prosjektet er Førsteamanuensis Dag Svanæs, som jobber med menneske-maskin-interaksjon ved Institutt for datateknikk og informasjonsvitenskap ved NTNU. En labtekniker, Terje Røsand, er ansatt for å holde orden på teknikken.

Brukbarhetslaboratoriet består av et 80 kvadratmeter stort rom med skinner i taket og modulbaserte vegger. det gjør at man kan lage omtrent hvilken som helst romkonfigurasjon.

Skinner i taket og modulbaserte vegger

Typisk romkonfigurasjon

For å skaffe gode lyd- og bildeopptak av brukertestene, benytter vi av forskjellig teknisk utstyr. Vi bruker håndholdte kameraer (enkle og HD), takmonterte og styrbare kameraer, trådløse minikameraer, trådløse og fastmonterte mikrofoner.

Utdrag av teknisk utrustning i labben

Det viktiste videoopptaksutstyret vi bruker er tak-kameraene. Vi har tre av disse, der alle kan styres fra kontrollrommet. Med dette kan vi følge brukerne rundt omkring i rommet og fra rom til. Vi kan zoome inn på detaljer, eller vi kan zomme ut å få oversikt. Vi kan dessuten forhåndslagre posisjoner og zoomfaktor.

Vi benytter både programvare og maskinvare for speiling av datamaskiner, PDAer og mobiltelefoner.

Alt styres fra kontrollrommet, det vi styrer lyd, bilde og opptak. Vi kan også fjernstyre datamaskinene eller mobilene som befinner inne hos brukerne. I kontrollrommet har vi avansert programvare for å analyserer det som skjer på videoene.

Kontrollrommet

Brukbarhetslaboratoriet benyttes av NTNUs vitenskapelig ansatte, stipendiater og studenter som designer, utvikler og brukbarhetstester eksperimentelle systemer for helse-Norge. De tester også
ut nytt utstyr før og etter anskaffelse. Dessuten kommer industri ofte innom å låner brukbarhetslaboratoriet til uttesting av produkter og prototyper.

I tillegg brukes laboratoriet til andre aktiviteter som for eksempel fokusgrupper, møter, og fotografering.

Laboratoriet som fotostudio

Den såkalte think-aloud-protokollen er svært ofte benyttet under brukbarhetstester. Det er en teknikk der brukeren blir bedt om å tenke høyt, det vil si beskrive med egne ord hva hun gjør, hva hun forventer av systemrespons, og hvilke problemer hun opplever.

I tre ulike brukertester i har vi funnet ut at problemet med denne teknikken oppstår når brukeren må forholde seg til andre personer. Da opplever vi at testpersonene rett og slett glemmer å tenke høyt. Dessuten, i de tilfellene hvor de husker det, reduseres realismen.

Alle tre brukertestene her hentet fra en sykehussetting der helsepersonell bruker et mobilt system under en pasientvisitt. Resultatene er hentet fra en artikkel jeg og Yngve Dahl har publisert i NordiCHI 2008. Du finner mer detaljer om studiene og mer utdypende informasjon der.

Den første brukertesten testet vi et kontekstsensitivt system som automatisk fant frem pasientopplysninger når legen nærmet seg pasienten. Vi plasserte pasienter i sengene og instruerte brukeren til å tenke høyt under bruken av systemet. Under disse testene observerte vi at think-aloud ble bare delvis benyttet av deltakerne. Fokuset lå på pasientdialogen, ikke dialogen med testlederen.

I den andre brukertesten testet vi et system som lot brukeren finne røntgenbilder på en PDA og deretter vise dem på en pasientterminal som var montert på pasientens seng. Her ble think-aloud instruert, men bare unntaksvis benyttet av testdeltakerne. I denne testen var dialogen med pasienten i større fokus enn i den forrige testen.

I den tredje testen testet vi et mobilt medikasjonssystem som lot legene endre medisineringen eller legge til nye medikamenter ved pasientens seng . Basert på erfaringene fra de to foregående testene instruerte vi ikke think-aloud. I denne testen opplevde vi bedre pasientdialog og økt realisme.

Med fare for å overgeneralisere: Helsepersonellet ikke er i stand til å holde to dialoger i gang; en med brukertestleder og en med pasienten. Dessuten ble testene utført i omgivelser som i stor grad lignet deres normale arbeidsomgivelser. Det gjorde at testbrukerne var ”på jobb”, noe som gjorde at de helt glemte testlederen. Når man brukertester systemer der brukerne må forholde seg til andre personer, kan man ikke forvente at de klarer å tenke høyt i tillegg.

Men hvordan fikk vi innsikt i hva brukerne tenkte under testen? Det finner du i dette blogginnlegget.

Referanser:

• Alsos, O. A. (2005). Exploring interface metaphors for using handhelds and PCs together, NTNU.
• Alsos, O. A. and D. Svanaes (2006). Interaction techniques for using handhelds and PCs together in a clinical setting. NordiCHI.
• Dahl, Y. and D. Svanæs (2007). A comparison of location and token-based interaction techniques for point-of- care access to medical information. Personal and Ubiquitous Computing.
• Dabelow, B. (2008). Reducing Attention Theft – New interfaces for the mobile electronic patient pecord, NTNU.
• Alsos, O. A. (2008). Attention and usability issues in mobile health information systems at point-of-care. Stud Health Technol Inform 136: 877-8.