Better websites

Success rate assessment – test of specific flows and functions on a website

Success rate assessments are a good way to identify flows that work well or badly on a website. It is also good to know why you assess the website. Do you want to know how you are progressing in a project, or are you planning on making changes if the results go down?

The purpose of the assessments

The purpose of the Success rate assessment is to see how well a workflow or function on a website is working. How many of the users could finish a task without problem and how was their experience whilst doing so? And finally, how satisfied were they with the experience?

Continue reading “Success rate assessment – test of specific flows and functions on a website”

Advertisements
Better websites

SUS – System Usability Scale, a summary

SUS stands for System Usability Scale. SUS was developed by Brooke (1996) as ”the quick and dirty” assessment tool – it was used to quickly and cheaply assess a product or a service. (1). A low cost usability test.

A SUS test is supposed to cover:

  • Effectiveness (the ability of users to complete tasks).
  • Efficiency (how difficult it was to perform the task).
  • Satisfaction (how the users felt when performing the task).

A system can be a car, a website or a product. SUS assessment has a reliability value of 0.85 (2).

A SUS assessment is constructed of 10 statements that are valued on a 5 point scale, according to how much the user agrees or disagrees with the statement. The result can vary between 0 and 100, where a higher score indicates better usability. Every other question is a positive statement and every other question is a negative statement, so both the user and the person analyzing the result have to stay focused!

Continue reading “SUS – System Usability Scale, a summary”

Better websites

Quality assessment: Measuring specific experiences of a website

Apart from a SUS (System Usability Scale) assessment – which is an established method of measuring usability – there are several other assessments that can be used for a website.

The SUS assessment is a good method for measuring the users experience of a website and how they grade the usability of a system, but it does not give any indications to what can be improved or where the users get stuck. A quality assessment can give you more values. Now, we’re still talking about experiences of a website, and not specific tasks or paths a user will take though a website, we are measuring the feeling associated with the system. Before you start you should also have a good reason for measuring and a plan for how to treat or act on the result.

Continue reading “Quality assessment: Measuring specific experiences of a website”

Metoder · Upptäcka / Discover

Snabbguide till kundinsikter – hur, när och var ska man använda vad?

Det finns 4 typer av kundanalyser – väldigt förenklat sett. Man kan göra användartester och intervjua användaren för att får reda på hur de tänker, eller använda eye tracking och se vad de ser, titta i Google analytics vad de gör eller be användarna fylla i enkäter för att se vad de säger. Alla metoder är bra och fyller sina syften, men oftast blir det bättre om man använder flera metoder i kombination med en varandra. I stora drag kan man använda:

user-thinksAnvändartester – vad användaren tänker

Användartester eller kundintervjuer funkar väldigt bra innan ett projekt för att kravställa och idégenerera, under projektets gång för att testa lösningsförslag i form av wire frames – förstår användaren hur den ska ta sig igenom ett flöde och hur upplevde de processen? Slutligen även för att verifiera den färdiga lösningen för att se att den svarar mot användarens mål.

Läs mer…

Mäta mjuka och hårda värden · Metoder

Success rate mätning – test av specifika flöden och funktioner på en hemsida

I brist på ett bättre ord på svenska (förslag mottages gärna!) kallas den här mätningen Success rate mätning.

Det är ett bra sätt att identifiera flöden som fungerar bra eller dåligt på en hemsida. Det är ju också viktigt att veta varför man mäter. Vill man bara veta hur det har gått, eller planerar man att göra förändringar om resultatet går ner?

Mätningens syfte

Syftet med en Success rate mätning är att avgöra hur väl en funktion eller ett flöde fungerar. Hur stor del av användarna lyckas utföra en uppgift utan problem och hur var upplevelsen. Vi pratar alltså om måluppfyllnad och tillfredsställelse.

Continue reading “Success rate mätning – test av specifika flöden och funktioner på en hemsida”

Mäta mjuka och hårda värden

SUS mätning – test av användbarheten av ett system som helhet

SUS mätningar och formulär har jag hittills bara hittat på engelska hemsidor, så det här är en genomgång av hur man kan göra en SUS mätning på svenska.

SUS står för System Usability Scale. SUS utvecklades av Brooke (1996) som ”the quick and dirty” undersökning för att snabbt och kostnadseffektivt utvärdera en produkt eller tjänst. (1)

Tanken är att SUS mätningen ska täcka systemets:

  • effektivitet – hur väl en användare kan utföra en uppgift
  • måluppfyllnad – hur svårt det var att utföra uppgiften
  • tillfredsställelse – hur användaren kände sig när den utförde uppgiften

(Effectiveness, efficiency and satisfaction) SUS mätningar har en tillförlitlighet på 0.85 (2).

Continue reading “SUS mätning – test av användbarheten av ett system som helhet”

Bättre hemsidor · Mäta mjuka och hårda värden

Kvalitetsmätning: Mäta specifika upplevelser av en hemsida

Förutom SUS mätningar, som är en vedertagen mätmetod så kan man använda fler verktyg. SUS mätningen är en bra mätning av användarnas upplevelse på hemsidan och hur de graderar användbarheten i ett system, men det ger inte så många indikationer på VAD som kan förbättras eller VAR de kör fast. En kvalitetsmätning kan ge fler värden i upplevelsen. Nu pratar vi fortfarande om upplevelser av en hemsida och inte specifika flöden eller uppgifter användaren ska lösa. Vi mäter känslan som associeras med hemsidan. Innan man börjar bör man även ha en bra anledning att mäta och en plan för hur man ska ta hand om resultatet.

Hur genomförs en kvalitetsmätning?

En kvalitetsmätning kan göras både i användartester och genom ett frågeformulär på webben. Fördelen med ansikte mot ansikte användartester är att man kan gräva lite djupare och diskutera problem och lösningar med användaren. Fördelen med ett frågeformulär på webben är att det går snabbare och man kan göra undersökningen kvantitativ och få ett statiskt säkerställt resultat.

När man gör den här typen av tester i ett användartest ta hänsyn till att man generellt sett får högre resultat än om man gör samma undersökning på samma hemsida med samma användartyper i ett frågeformulär. Anledningar till detta kan vara att:

  • de användare som är villiga att komma på ett användartest är mer positivt inställda till företaget eller produkten.
  • det är svårare för användaren att kritisera eller ge ett sämre betyg när man sitter ansikte mot ansikte med någon.

Jag skulle därför rekommendera att man gör en kvalitetsmätning av en hemsida i ett anonymt frågeformulär. Det viktigaste är att du gör samma sak vid varje test, och inte använder användartester vid t.ex. nollmätningen och frågeformulär vid uppföljningen. Om du gör det så kommer du att jämföra äpplen och päron.

Kvalitetsmätningens syfte

Syftet med mätningen är att mäta specifika egenskaper och innehåll som är tongivande för en hemsida. Hur väl användaren uppfattar och värderar dessa egenskaper. Mätningen kan innehålla frågor om t.ex. navigering, relevans, varumärkeskännedom och jämförelser med konkurrenter.

Frågeformuleringar

Formulera frågorna genomgående positivt. Det blir då lättare för användaren att inte behöva “tänka om” vid varje fråga. Till exempel “Jag tycker hemsidan är användbar” och inte “Jag tycker man borde göra förbättringar på hemsidan”. Försök att välja ut de mest relevanta frågeställningarna och hålla frågorna till ett begränsat antal – helst inte mer än 20.

Exempel på frågor man kan använda på olika områden

Navigering

  • Navigeringen på hemsidan är lätt att förstå.
  • Jag hittar det jag letar efter i menyerna.
  • Jag tycker att det är lätt att söka fram det jag behöver.

Lära sig mer

  • Hemsidan hjälper mig att utvecklas inom… (ämnet hemsidan berör).
  • Hemsidan hjälper mig att få koll på… (ämnet hemsidan berör).
  • Det är lätt att lära sig om produkter på hemsidan.
  • Det är lätt att… (utföra ärenden som hemsidan tillhandahåller, t.ex. handla en produkt).
  • Det är lätt att hitta något att handla på hemsidan.

Effektivitet

  • Det är lätt att hitta mina ärenden.
  • Det är lätt att se mina tidigare köp.
  • Det är lätt att hitta kundtjänst.
  • Det är lätt att få hjälp.
  • Hemsidan är snabb.

Inspiration

  • Hemsidan hjälper mig att få nya idéer.
  • Hemsidan inspirerar mig till förändringar.
  • Hemsidan väcker många nya tankar om min livsstil.

Varumärke

  • Hemsidan är… modern (eller vilka ord varumärket vill spegla).
  • Hemsidan känns trygg och säker.

Relevans

  • Innehållet på hemsidan är relevant för mig.
  • Produkterna på hemsidan är relevanta för mig.
  • Jag vill gärna rekommendera hemsidan till andra.
  • Det är lätt att personalisera hemsidan och skapa en egen profil.
  • Det är lätt att se vilket innehåll som är mitt och vilket som tillhör andra (i t.ex. ett forum).

Jämförelse med konkurrenter

  • I förhållande till andra… (modesajter, bloggar, nyhetssajter) är “Namn på hemsidan” bättre.
  • I förhållande till andra har “Namn” bättre produktutbud.
  • I förhållande till andra har “Namn” en bättre tjänst.

Poängbedömning

Poängen kan variera mellan 1 och 5. 1 betyder att användaren ger det dåligt betyg eller tycker att det är svårt. 5 är lätt. 3 är ett medelbetyg.

Svaren i enkäten ser då ut så här:

1 poäng: Håller inte med alls!

2 poäng: Tveksamt

3 poäng: Varken eller

4 poäng: Instämmer delvis

5 poäng: Håller med helt!

När ska man mäta?

Man behöver börja med en nollmätning på den befintliga hemsidan – innan några förändringar eller förbättringar ha skett. När man sedan infört en förändring på hemsidan bör första mätningen ske en tid efter förändringen, beroende på hur frekvent användaren använder hemsidan. Är det en hemsida där användaren är varje dag så kan mätningen ske några veckor efter förändringen, för att ge användaren lite tid att vänja sig vid det nya. Är det en hemsida som används mer sällan kan det vara en fördel att vänta lite längre.

Vilka användare ska man mäta på?

Har företaget olika kundgrupper, målgrupper eller personas är det ju förstås intressant att se om svaren varierar mellan de olika målgrupperna. Har man inte det så kan man dela upp användarna på t.ex. de som loggar in ofta/sällan, de som använder produkten ofta/sällan, de som handlar ofta/sällan, så att man sedan inte spenderar mest tid att utveckla funktioner för de som är minst intresserade.

kvalitetsmc3a4tning-exempel-s

Tolka resultaten

Räkna ut ett värde för varje svar. När man fått in tillräckligt många svar kan man sedan skära resultaten på många ledder. Det som kan ge bäst förbättringspotential. Det som har gjort mest skillnad. Vad man ska göra mer av? Vad man ska ta bort? Allt är ju beroende av vad syftet med mätningen är.