Arrogant iPhone users or dedicated Android users?

Mäta känslor i ett användartest – hur och varförandroid-appleA company’s apps were tested, one app for Android and one for iPhone. Both apps are very similar both in features, design and function.

When recruiting users for the UX tests 40 Android users and 50 iPhone users – who in the past two months have provided feedback in respective app – were contacted. Both groups received identical e-mails with the information that I wanted to ask a few questions about the app but needed their phone number – they had only provided the e-mail address on the feedback form.

A strange phenomenon occurred. The number of Android users that responded to the e-mail was significantly higher than the number of iPhone users. 22 (or 55%) of Android users and 6 (or 12%) of iPhone users replied and sent their phone number, willing to be interviewed.
Although it is not a high enough number to be statistically significant, there was a noticeable difference in response rate. Why are Android users more engaged, eager to participate and provide feedback? Unfortunately, I have no clear answer. I do however have a few guesses:
• It has something to do with that Android attracts more Open Source users who are more eager to share.
• The selection of apps is smaller for Android, so you are more concerned about ensuring the quality of those that do exist.
• Android is more of a newcomer on the market, so you feel more like part of a community.

Anyone else have a theory? Please share!

Advertisements

Quick guide to consumer insights – how, when and where should you use what?

There are 4 types of consumer insights – very simplified. You can do user tests and interview users to find out how they think, or use eye tracking to see what the user sees, take a look in Google analytics to see what the user does or ask users to fill in a questionnaire to see what they say. All methods are good and fill a purpose, but most of the time it is more effective to use several methods in combination. You can use:

user-thinksUser tests – what the user thinks

User tests or user interviews work very well before a project start to feed into the project brief. It can also be used to generate ideas with the user, or during the course of a project to test solutions in the shape of wire frames – does the user understand how to navigate through and how did they experience the process? It can also be used at the end of a project to verify the final solution to see if it answers to the user’s goal.

Continue reading →

Success rate assessment – test of specific flows and functions on a website

Success rate assessments are a good way to identify flows that work well or badly on a website. It is also good to know why you assess the website. Do you want to know how you are progressing in a project, or are you planning on making changes if the results go down?

The purpose of the assessments

The purpose of the Success rate assessment is to see how well a workflow or function on a website is working. How many of the users could finish a task without problem and how was their experience whilst doing so? And finally, how satisfied were they with the experience?

Continue reading →

SUS – System Usability Scale, a summary

SUS stands for System Usability Scale. SUS was developed by Brooke (1996) as ”the quick and dirty” assessment tool – it was used to quickly and cheaply assess a product or a service. (1). A low cost usability test.

A SUS test is supposed to cover:

  • Effectiveness (the ability of users to complete tasks).
  • Efficiency (how difficult it was to perform the task).
  • Satisfaction (how the users felt when performing the task).

A system can be a car, a website or a product. SUS assessment has a reliability value of 0.85 (2).

A SUS assessment is constructed of 10 statements that are valued on a 5 point scale, according to how much the user agrees or disagrees with the statement. The result can vary between 0 and 100, where a higher score indicates better usability. Every other question is a positive statement and every other question is a negative statement, so both the user and the person analyzing the result have to stay focused!

Continue reading →

Quality assessment: Measuring specific experiences of a website

Apart from a SUS (System Usability Scale) assessment – which is an established method of measuring usability – there are several other assessments that can be used for a website.

The SUS assessment is a good method for measuring the users experience of a website and how they grade the usability of a system, but it does not give any indications to what can be improved or where the users get stuck. A quality assessment can give you more values. Now, we’re still talking about experiences of a website, and not specific tasks or paths a user will take though a website, we are measuring the feeling associated with the system. Before you start you should also have a good reason for measuring and a plan for how to treat or act on the result.

Continue reading →

Snabbguide till kundinsikter – hur, när och var ska man använda vad?

Det finns 4 typer av kundanalyser – väldigt förenklat sett. Man kan göra användartester och intervjua användaren för att får reda på hur de tänker, eller använda eye tracking och se vad de ser, titta i Google analytics vad de gör eller be användarna fylla i enkäter för att se vad de säger. Alla metoder är bra och fyller sina syften, men oftast blir det bättre om man använder flera metoder i kombination med en varandra. I stora drag kan man använda:

user-thinksAnvändartester – vad användaren tänker

Användartester eller kundintervjuer funkar väldigt bra innan ett projekt för att kravställa och idégenerera, under projektets gång för att testa lösningsförslag i form av wire frames – förstår användaren hur den ska ta sig igenom ett flöde och hur upplevde de processen? Slutligen även för att verifiera den färdiga lösningen för att se att den svarar mot användarens mål.

Läs mer…

Success rate mätning – test av specifika flöden och funktioner på en hemsida

I brist på ett bättre ord på svenska (förslag mottages gärna!) kallas den här mätningen Success rate mätning.

Det är ett bra sätt att identifiera flöden som fungerar bra eller dåligt på en hemsida. Det är ju också viktigt att veta varför man mäter. Vill man bara veta hur det har gått, eller planerar man att göra förändringar om resultatet går ner?

Mätningens syfte

Syftet med en Success rate mätning är att avgöra hur väl en funktion eller ett flöde fungerar. Hur stor del av användarna lyckas utföra en uppgift utan problem och hur var upplevelsen. Vi pratar alltså om måluppfyllnad och tillfredsställelse.

Continue reading →

SUS mätning – test av användbarheten av ett system som helhet

SUS mätningar och formulär har jag hittills bara hittat på engelska hemsidor, så det här är en genomgång av hur man kan göra en SUS mätning på svenska.

SUS står för System Usability Scale. SUS utvecklades av Brooke (1996) som ”the quick and dirty” undersökning för att snabbt och kostnadseffektivt utvärdera en produkt eller tjänst. (1)

Tanken är att SUS mätningen ska täcka systemets:

  • effektivitet – hur väl en användare kan utföra en uppgift
  • måluppfyllnad – hur svårt det var att utföra uppgiften
  • tillfredsställelse – hur användaren kände sig när den utförde uppgiften

(Effectiveness, efficiency and satisfaction) SUS mätningar har en tillförlitlighet på 0.85 (2).

Continue reading →

Kvalitetsmätning: Mäta specifika upplevelser av en hemsida

Förutom SUS mätningar, som är en vedertagen mätmetod så kan man använda fler verktyg. SUS mätningen är en bra mätning av användarnas upplevelse på hemsidan och hur de graderar användbarheten i ett system, men det ger inte så många indikationer på VAD som kan förbättras eller VAR de kör fast. En kvalitetsmätning kan ge fler värden i upplevelsen. Nu pratar vi fortfarande om upplevelser av en hemsida och inte specifika flöden eller uppgifter användaren ska lösa. Vi mäter känslan som associeras med hemsidan. Innan man börjar bör man även ha en bra anledning att mäta och en plan för hur man ska ta hand om resultatet.

Hur genomförs en kvalitetsmätning?

En kvalitetsmätning kan göras både i användartester och genom ett frågeformulär på webben. Fördelen med ansikte mot ansikte användartester är att man kan gräva lite djupare och diskutera problem och lösningar med användaren. Fördelen med ett frågeformulär på webben är att det går snabbare och man kan göra undersökningen kvantitativ och få ett statiskt säkerställt resultat.

När man gör den här typen av tester i ett användartest ta hänsyn till att man generellt sett får högre resultat än om man gör samma undersökning på samma hemsida med samma användartyper i ett frågeformulär. Anledningar till detta kan vara att:

  • de användare som är villiga att komma på ett användartest är mer positivt inställda till företaget eller produkten.
  • det är svårare för användaren att kritisera eller ge ett sämre betyg när man sitter ansikte mot ansikte med någon.

Jag skulle därför rekommendera att man gör en kvalitetsmätning av en hemsida i ett anonymt frågeformulär. Det viktigaste är att du gör samma sak vid varje test, och inte använder användartester vid t.ex. nollmätningen och frågeformulär vid uppföljningen. Om du gör det så kommer du att jämföra äpplen och päron.

Kvalitetsmätningens syfte

Syftet med mätningen är att mäta specifika egenskaper och innehåll som är tongivande för en hemsida. Hur väl användaren uppfattar och värderar dessa egenskaper. Mätningen kan innehålla frågor om t.ex. navigering, relevans, varumärkeskännedom och jämförelser med konkurrenter.

Frågeformuleringar

Formulera frågorna genomgående positivt. Det blir då lättare för användaren att inte behöva “tänka om” vid varje fråga. Till exempel “Jag tycker hemsidan är användbar” och inte “Jag tycker man borde göra förbättringar på hemsidan”. Försök att välja ut de mest relevanta frågeställningarna och hålla frågorna till ett begränsat antal – helst inte mer än 20.

Exempel på frågor man kan använda på olika områden

Navigering

  • Navigeringen på hemsidan är lätt att förstå.
  • Jag hittar det jag letar efter i menyerna.
  • Jag tycker att det är lätt att söka fram det jag behöver.

Lära sig mer

  • Hemsidan hjälper mig att utvecklas inom… (ämnet hemsidan berör).
  • Hemsidan hjälper mig att få koll på… (ämnet hemsidan berör).
  • Det är lätt att lära sig om produkter på hemsidan.
  • Det är lätt att… (utföra ärenden som hemsidan tillhandahåller, t.ex. handla en produkt).
  • Det är lätt att hitta något att handla på hemsidan.

Effektivitet

  • Det är lätt att hitta mina ärenden.
  • Det är lätt att se mina tidigare köp.
  • Det är lätt att hitta kundtjänst.
  • Det är lätt att få hjälp.
  • Hemsidan är snabb.

Inspiration

  • Hemsidan hjälper mig att få nya idéer.
  • Hemsidan inspirerar mig till förändringar.
  • Hemsidan väcker många nya tankar om min livsstil.

Varumärke

  • Hemsidan är… modern (eller vilka ord varumärket vill spegla).
  • Hemsidan känns trygg och säker.

Relevans

  • Innehållet på hemsidan är relevant för mig.
  • Produkterna på hemsidan är relevanta för mig.
  • Jag vill gärna rekommendera hemsidan till andra.
  • Det är lätt att personalisera hemsidan och skapa en egen profil.
  • Det är lätt att se vilket innehåll som är mitt och vilket som tillhör andra (i t.ex. ett forum).

Jämförelse med konkurrenter

  • I förhållande till andra… (modesajter, bloggar, nyhetssajter) är “Namn på hemsidan” bättre.
  • I förhållande till andra har “Namn” bättre produktutbud.
  • I förhållande till andra har “Namn” en bättre tjänst.

Poängbedömning

Poängen kan variera mellan 1 och 5. 1 betyder att användaren ger det dåligt betyg eller tycker att det är svårt. 5 är lätt. 3 är ett medelbetyg.

Svaren i enkäten ser då ut så här:

1 poäng: Håller inte med alls!

2 poäng: Tveksamt

3 poäng: Varken eller

4 poäng: Instämmer delvis

5 poäng: Håller med helt!

När ska man mäta?

Man behöver börja med en nollmätning på den befintliga hemsidan – innan några förändringar eller förbättringar ha skett. När man sedan infört en förändring på hemsidan bör första mätningen ske en tid efter förändringen, beroende på hur frekvent användaren använder hemsidan. Är det en hemsida där användaren är varje dag så kan mätningen ske några veckor efter förändringen, för att ge användaren lite tid att vänja sig vid det nya. Är det en hemsida som används mer sällan kan det vara en fördel att vänta lite längre.

Vilka användare ska man mäta på?

Har företaget olika kundgrupper, målgrupper eller personas är det ju förstås intressant att se om svaren varierar mellan de olika målgrupperna. Har man inte det så kan man dela upp användarna på t.ex. de som loggar in ofta/sällan, de som använder produkten ofta/sällan, de som handlar ofta/sällan, så att man sedan inte spenderar mest tid att utveckla funktioner för de som är minst intresserade.

kvalitetsmc3a4tning-exempel-s

Tolka resultaten

Räkna ut ett värde för varje svar. När man fått in tillräckligt många svar kan man sedan skära resultaten på många ledder. Det som kan ge bäst förbättringspotential. Det som har gjort mest skillnad. Vad man ska göra mer av? Vad man ska ta bort? Allt är ju beroende av vad syftet med mätningen är.