Open antwoorden analyseren: zo pak je het aan, met of zonder AI

Open antwoorden bevatten wat een cijfer niet zegt: het waarom. Ze zijn ook het deel dat vaak blijft liggen, omdat het veel tijd kost om er honderden te lezen en er iets zinnigs van te maken. Deze werkwijze komt uit de vakliteratuur over thematische analyse en uit hoe evaluatieverantwoordelijken het in de praktijk doen.

De acht stappen

1. Schoon op en anonimiseer. Haal namen, studentnummers en andere herleidbare details uit de tekst voor je ze deelt of analyseert. Denk ook aan indirecte details, zoals de naam van een docent of een zeldzaam vak.
2. Lees een steekproef. Lees eerst een willekeurig deel van de antwoorden, zonder te sorteren. Zo krijg je een gevoel voor de toon en wat er speelt.
3. Maak een eerste lijst van onderwerpen. Schrijf bij elk antwoord in een paar woorden waar het over gaat. Een antwoord mag meerdere onderwerpen hebben.
4. Bundel tot thema's. Voeg onderwerpen samen die hetzelfde bedoelen. Geef elk thema een naam die zegt wat er speelt, zoals "feedback komt te laat" in plaats van "feedback".
5. Tel. Hoeveel mensen noemen elk thema? Tellen is niet alles, maar het laat zien waar de meeste woorden zitten. Let op: een thema met veel mentions is niet per se het belangrijkste.
6. Kies citaten. Zet bij elk thema een of twee letterlijke citaten die het goed vangen. Citaten maken een thema herkenbaar en laten zien dat het niet verzonnen is.
7. Controleer. Neem een steekproef uit de ruwe antwoorden en kijk of ze in het thema passen waar je ze hebt gezet. Zoek ook naar antwoorden die nergens bij passen: dat zijn vaak de interessantste.
8. Schrijf het "en nu". Een thema is pas af als je erbij hebt gezet wat het zou kunnen betekenen en wat je ermee gaat doen, of waarom niet.

Waar AI helpt, en waar je hem moet controleren

AI is goed in stap 3 en 4: onderwerpen herkennen en bundelen, ook in meerdere talen. Dat scheelt veel leeswerk. Maar er zijn een paar valkuilen.

• Samenvatten is niet hetzelfde als tellen. Een AI die "studenten vinden de feedback te laat" schrijft, zegt niet hoeveel studenten dat vinden. Laat altijd het aantal en de bron zien.
• Controleer de citaten. Een citaat moet letterlijk in de data staan. Vraag erom en check het.
• Let op wat wegvalt. Een samenvatting maakt gladder wat in de ruwe data ruw is. Lees ook de uitschieters zelf.
• Weet waar je data heen gaat. Een openbare AI-tool is niet hetzelfde als een verwerking binnen de EU met een verwerkersovereenkomst. Zie de privacychecklist.

Wanneer je het beter met de hand doet

Bij vijftien antwoorden heb je geen tool nodig: lees ze allemaal en schrijf de thema's op. De moeite van een systematische aanpak loont vanaf enkele tientallen antwoorden, en zeker bij meerdere vakken of rondes tegelijk.

Een betere vraag is de beste analyse

Veel moeite in de analyse komt door oppervlakkige antwoorden als "goed" of "prima". Een vervolgvraag op het moment zelf ("wat maakt het goed voor je?") levert antwoorden op waar je iets mee kunt. Dat is het idee achter een gesprek in plaats van een formulier.

Febaso doet de stappen 3 tot en met 6 voor je: het leest elk antwoord, bundelt tot thema's met aantallen en letterlijke citaten, en laat bij elk thema zien welke antwoorden erachter zitten, zodat je stap 7 snel kunt doen.