Bra? 0  0

Håper mange kommer. Dette er interessant stoff!

Bra? 0  0

Bra? 0  0

Bra? 0  0

Vi har ikke observatørene i samme rom. Laura Arlov har vært en forkjemper for dette og vet at Laura er veldig flink til å skape stemningen “Det er brukeren som er sjefen her, dere er her for å lære, ikke for å formane”. Tror kanskje det kan funke hvis det er et ekspertsystem og testdeltakeren føler seg som eksperten. Men, er det en åpen tjeneste og vi har inne deltakere som er helt fremmede for nettstedet som skal testes så foretrekker vi å tone ned dette med at det finnes observatører. Rett og slett for at testdeltakeren skal slappe av og ikke ha et bilde i hodet av dem som sitter på bakrommet. Vi informerer selvsagt alltid om at det sitter noen og “ser det samme som vi ser på skjermen her pluss et oversiktsbilde av rommet”.

I noen tilfeller har vi prøvd å introdusere observatørene, men erfaringen med dette er mest negativ. Til tross for formaninger har det kommet både unnskyldninger for hvorfor nettsidene er som de er og “vi visste det meste av dette fra før” pluss andre innspill som 1) brukerne ikke bryr seg om 2) brukerne helst ikke vil høre noe om.

Min erfaring er at brukerne ser ut til å glemme at noen observerer veldig fort og forholder seg til moderator.

Ang. spørsmål fra observatorer. Vi har prøvd Skype/SMS o.l til moderator, men det blir som regel bare mas på bakrommet om dette hvis man åpner for at observatorene også kan gjøre det. Sender melding til moderator, bare hvis det er slik at han/hun åpenbart misforstår noe som er viktig for testen.

På bakrommet varierer det veldig hva vi gjør av aktiviteter. Det kommer an på type test, type kunde og type observatorer. Ofte er det jo viktige diskusjoner på bakrommet, men blir dette for omfattende blir det vanskelig for vår observator å konsentrere seg om å tolke resultatene. Er det en prototype i et utviklingsløp med strenge tidsrammer så hender det at vi hiver problemene opp på veggen underveis og løser de nærmest der og da. I andre tilfeller er den mer formelle dokumentasjonen (rapporten skal f.eks distribueres til mange som ikke har vært med på testen) viktig og da er det viktig å dokumentere nøyere underveis.

Vi har kjørt Morae i flere varianter opp gjennom tidene, men bruker det mest til opptak av skjerm og ikke til å logge resultater. Her har vi prøvd mye forskjellig. Div. Excel løsninger som Datalogger: http://www.userfocus.co.uk/resources/datalogger.html , egenproduserte Excelmaler, MindMap m.m. Folk hos oss foretrekker ulike verktøy. Personlig har jeg havnet tilbake på gode gamle word Vi bruker sjelden notater fra kundens observatorer. Å være en god observator handler vel så mye om å tolke det som skjer som å notere ned de kalde fakta. Dette krever erfaring og kompetanse innen brukskvalitet/interaksjonsdesign etc., noe som man ikke kan forvente at kunden innehar. Men, dette varierer selvsagt fra kunde til kunde.

Stikk gjerne innom for å kikke på labbene våre i Storgata 2 hvis dere ønsker!

Bra? 0  0

Vi har dessverre ikke egen lab men Ram vil vel snart få tilgang på én der han sitter? Jeg vil gjerne dele erfaringer om det.

@Ram
Det høres ut som en lignende situasjon som jeg nevner i blogposten. Er det uenighet rundt formålet med det systemet som er utviklet for å gjøre eller formålet med testen er uklart, eller om oppgavene er dekkende kan det oppstå uenigheter. Bare godt forarbeid vil kunne rydde opp i det.

Dersom testen faktisk viser at 3 klarte oppgaven og 3 klarte den ikke så kanman vel heller ikke konkludere. Da er vi over på mitt ord mot ditt problematikk. Jeg spurte vår felles sjef om slike problemstillinger for mange år siden (svaret regner jeg med var gjennomtenkt ettersom han tok seg betalt for det). Han sa: “Bare fortsett å argumentere. De andre vil gå tom for argumenter før deg, fordi du vet hva du snakker om og det gjør ikke dem”
Det er noe i det. Selv om du ikke har ryggdekning fra soleklare testresultater, så fortsett å argumentere – vi baserer ikke våre råd og designforslag på synsing, men på en kombinasjon av beste praksis og årelang erfaring. Be strong

Bra? 0  0

Det største problemet jeg ser ved at observatørene (kunden) spør brukerne direkte er at det skal så lite til før brukeren blir ledet i en eller annen retning.
For eksempel å unngå at man bruker triggerord i spørsmålsstilling er noe som krever litt trening – det samme med å stille nøytrale spørsmål som ikke styrer brukeren dit man “vil” (bevisst eller ubevisst).

“Synes du ikke at det var bra?” eller “hvorfor plundret du så mye med å finne knappen?” eller “så du ikke at du kan velge i dropdownmenyen?”.

Opplever også (som du også nevner) at observatører er veldig fokusert på brukerens meninger, mens vi er opptatt av selve handlingene.

Når det gjelder testscript pleier jeg å ha en felles workshop med kunden eller oversende utkast på forhånd som skal godkjennes. Dermed er vi iallfall enige om hva som skal testes. Jeg har også laget dette som et utskriftsvennlig dokument hvor det er satt av plass til å skrive (håndskrevne) notater på, men har aldri bedt om å få notatene observatørene skriver innlevert til meg etter testen.

Kanskje vi burde ta en liten runde med bedriftsbesøk for å dele erfaringer og se på laboppsett? Vi er jo alle opptatt av å få inn best mulig testresultater

Bra? 0  0

Apropos det: Jeg har opplevd at beslutningstakere ikke kjøper konklusjonen min dersom resultatene fra testen spriker. Vi designere utvikler en teft om hva som kommer til å fungere, men vi har ikke bevis for det. Hva ville du gjort i en slik situasjon?

Bra? 0  0

Men man må passe seg for at de ikke spør om for mye. Når de begynner å spørre brukeren om dennes mening om X og Y, så vil de begynne å basere sine meninger på disse uttalelsene og ikke på observasjone fra testen som er langt viktigere. (Se på hva de gjør, ikke hør på hva de sier osv.) Som testledere er vi trenet til å vite forskjell på mening og handling men man kan ikke forvente at observatørene er det.

I praksis har jeg alltid en sidekick med i testene som er “hovedobservatør”, eller datalogger om man vil. Denne personen setter jeg alltid som ansvarlig for å logge fullførelse av oppgaver, evt. tidtagning osv. Det er også denne personens observasjonsnotater jeg legger mest vekt på når saken krever at notatene gjennomgåes. Ved bruk av Morae er det hovedobservatør som logger hendelser og skriver sitater i Morae observer.

Men sett gjerne observatørene i arbeid! Personlig liker jeg godt at de får innblikk i testscriptet eller at de får egne skjema spesielt laget for dem. Jeg ber også om å få innlevert notatene etterpå og sjekker gjennom dem for å sammenligne observasjoner.

Bra? 0  0

Jeg må nok innrømme at jeg ikke er så flink til å verken disiplinere observatørene mht. snakking underveis eller til å gi de konkrete oppgaver i forhold til å registrere sine egne observasjoner.

Jeg prøver så godt det lar seg gjøre å få inn 10 minutters debrief mellom hver testdeltaker for å oppsummere hva som skjedde, men det hender at det er vanskelig å få til dersom det skjer noe som gjør at det blir tett mellom deltakerne.

Jeg har imidlertid som prinsipp at observatørene ikke kommer i kontakt med deltakerne direkte (se her for mitt synspunkt på akkurat det: http://bit.ly/8Btiv5). Det har skjedd at resepsjonisten har trodd at en deltaker er observatør og tatt vedkommende inn i observasjonsrommet. Det er i og for seg ikke noe galt med å se det, men jeg tror at det er mer stressende å tenke på at det sitter kanskje 5-6 personer og ser på enn at det sitter kun 1 person i rommet ved siden av.
Så mitt tips er å prøve å unngå å blande deltakere og observatører.

Jeg synes ofte at diskusjonen med observatørene underveis kan være fruktbar. Man har jo mulighet for å gå tilbake å se video på nytt i de delene man eventuelt går glipp av.

Jaja, kanskje jeg skal prøve å få observatørene til å gjøre et arbeidsslag mens de likevel er der

Bra? 0  0