Waarom we testen in plaats van aannemen
In plaats van te gokken of DataBurrow prettig werkt, hebben we een within-subject usability-test uitgevoerd met een think-aloud protocol: elke deelnemer voerde alle taken uit terwijl hij of zij hardop dacht, wat inzicht geeft in verwachtingen en misinterpretaties die je in cijfers alleen niet ziet.
Wie de deelnemers waren
Acht deelnemers namen deel: vier tussen de 18 en 24 jaar, één tussen de 45 en 54, en drie van 55 jaar of ouder. Die spreiding is bewust, want oudere en minder technische gebruikers zijn precies de doelgroep waar DataBurrow voor gebouwd is, dus die groep moest ook echt aan het testen worden gezet, niet alleen worden aangenomen.
Waarom acht deelnemers genoeg is
Een steekproef van acht klinkt klein, maar is methodologisch verantwoord: Nielsen (2000) laat zien dat vijf gebruikers ongeveer 85% van de usability-problemen al aan het licht brengen. Dit onderzoek was bedoeld als eerste iteratieve evaluatieronde om vroegtijdig inzicht te krijgen, niet als eindoordeel voor altijd.
Wat goed werkte
Alle zes geteste taken scoorden gemiddeld boven de 6 op een 7-puntsschaal: een map scannen kwam uit op 6,79, zoeken op bestandsnaam ook op 6,79, statistieken bekijken op 6,54. Alle acht deelnemers voltooiden alle taken, en zonder dat het apart werd gevraagd noemde iedereen filteren op bestandstype spontaan als een van de nuttigste functies. De eindscore op de System Usability Scale kwam uit op 88,5 van de 100, wat volgens Bangor et al. (2009) in de categorie "uitstekend" valt.
Wat we niet goed hadden
Twee deelnemers verwachtten dat klikken op een bestandsnaam of pad een voorvertoning zou openen of het bestand direct zou starten, wat niet gebeurde: een duidelijke mismatch tussen verwachting en werkelijke interactie. Eén deelnemer vond de kleuren van de taartdiagram moeilijk te onderscheiden, een ander vond de filterlabels aan de kleine kant. Op Linux bleven hover-tooltips zichtbaar nadat de cursor was weggehaald, en ontbraken mapnamen in de zoekresultaten. Een deel van deze bevindingen is direct opgepakt in een user story; de rest staat gepland.
Het eindresultaat
Een score van 88,5 is mooi, maar het eerlijke verslag van wat niet werkte is minstens zo waardevol: het scheelt niet alleen bugs oplossen, het scheelt weten wat mensen daadwerkelijk verwachten van een bestandsbeheertool. Dat is precies waarom we dit soort onderzoek blijven doen, en waarom we de resultaten, inclusief de minder mooie kanten, gewoon delen.