De overhoormethode Leren in StudyGo zet dit principe al binnen één studiesessie om in de praktijk. In plaats van hetzelfde woordpaar meteen weer te tonen tijdens het woordjes leren, wisselen we items af tussen herhalingen en bouwen we de antwoordmodus op richting getypt terughalen (niet alleen herkennen). We doen dit omdat het niet ons doel is om oefencijfers kunstmatig op te krikken; we willen dat kennis blijft hangen op de momenten die ertoe doen (toetsen, proefwerken en gebruik in gesprekken).

Een leerling kiest een woordenlijst, uit de schoolmethode of een eigen samengestelde lijst. In Leren doorloopt elk item een korte ladder van vraagtypen:

Zodra een item in elk vraagtype correct is beantwoord, wordt het als afgerond gemarkeerd en verdwijnt het uit de cyclus. Om zwakke plekken te versterken, verschijnt aan het eind nog een korte ronde waarin de meest foutgevoelige items terugkomen.

Spreiding verwijst naar de tijd tussen herhalingen van een item. Stel: een leerling ziet tijdens het leren voor Frans dat ‘bioscoop’ ‘cinéma’ betekent. Dat item komt eerst als Flashcard langs; daarna volgen meerdere andere items. Vervolgens verschijnt bioscoop-cinéma opnieuw, nu als meerkeuzevraag, enzovoort. Spreiding vindt plaats binnen een blok van items: nieuwe geïntroduceerde woorden duwen eerdere woorden uit elkaar; tegen het einde van zo’n blok wordt de spreiding weer wat kleiner. Meer uitleg over Leren kun je hier vinden.

Leerlingen, ouders en leerkrachten hechten terecht waarde aan dat iets werkt in de klas en thuis, niet alleen in een lab. Daarom hebben we twee versies van Leren in StudyGo zelf vergeleken, waarbij het enige verschil was hoeveel spreiding er werd toegepast. Alles bleef verder hetzelfde: de inhoud, de stappen binnen Leren en de manier waarop we antwoorden beoordelen. Om de vergelijking eerlijk te maken wees het systeem leerlingen stilletjes en willekeurig toe aan de ene of de andere versie. Dit wordt vaak een A/B-test genoemd, maar je kunt het gewoon zien als het opgooien van een muntje dat de twee groepen in balans brengt, zodat we een eventueel later verschil kunnen toeschrijven aan de spreiding en niet aan wie toevallig welke versie gebruikte.

Vervolgens keken we wat er daarna gebeurde, zonder leerlingen te vragen hun gewoonten aan te passen. Sommige leerlingen gingen rechtstreeks van Leren door naar een latere Toets (een andere overhoormethode) op dezelfde lijst, anderen kwamen terug na een korte pauze en weer anderen wachtten langer. Die natuurlijke variatie is nuttig, omdat we zo kunnen zien of het voordeel van spreiding afhangt van de tijd tussen leren en toetsen. Het onderzoek is uitgevoerd als onderdeel van een masterscriptie door onze Data Scientist Tatiana Litvin, in samenwerking met de Vrije Universiteit Amsterdam en prof. dr. Martijn Meeter.

Onze belangrijkste uitkomst was het cijfer in Toets op dezelfde lijst, omdat dat echt iets zei over daadwerkelijk later kennisbehoud. Daarnaast keken we naar het Leren-cijfer (dus tijdens het oefenen), omdat dat vertelt hoe de leersessie in het moment voelde. Om de vergelijking eerlijk te houden, corrigeerden we voor de tijd tussen Leren en Toets, voor de duur van de Leren-sessie en voor eventuele extra oefenrondes op dezelfde lijst tussendoor. Om het even technisch te zeggen, we gebruikten een statistisch model dat elke leerling en elke lijst zijn eigen referentiepunt geeft, zodat we een moeilijke lijst niet verwarren met een makkelijke, of een gevorderde leerling met een beginner.

Zoals verwacht voelde de versie met minder (dus krappere) spreiding makkelijker. Zoals te zien is in Figuur 1, waren cijfers tijdens Leren iets hoger wanneer items sneller terugkwamen (de ‘small block’-lijn). Dat voelt de leerling ook: minder momenten van “hmm, hoe zat het ook alweer?” en meer vloeiende, bekende antwoorden. De keerzijde is dat veel van die ‘gemakkelijke’ successen komen door herkenning en zeer korte intervallen tussen herhalingen. Ze geven terecht zelfvertrouwen, maar dagen het geheugen misschien net niet genoeg uit om écht te blijven plakken.

Figuur 1.  Effect van de verandering in spreiding (‘Groups’) en overhoormethode (‘Quiz type’) op cijfers (‘Mean grade’).

In Figuur 1 zien we ook dat leerlingen die oefenden met ruimere spreiding (‘large block’) het beter deden toen zij dezelfde lijst toetsten. Gemiddeld lagen de Toets-cijfers enkele punten hoger in de groep met meer spreiding. We bekeken ook of dit voordeel pas na lange pauzes ontstaat. Dat is niet zo. Veel leerlingen maken eigenlijk al binnen een uur na Leren een Toets-oefening, en het voordeel van ruimere spreiding is zelfs dan al zichtbaar; het blijft aanwezig naarmate de tijd tussen Leren en Toets groter wordt. Dat zie je in Figuur 2: ‘large block’ (meer spreiding) presteert gemiddeld en consistent beter dan ‘small  block’ (minder spreiding).

Figuur 2. Het verschil in cijfers (‘Average Grade’) blijft consistent over tijd (‘Time Difference’).

Een antwoord uit het hoofd typen is alsof je met een iets zwaarder gewicht traint. Het hoeft niet onmogelijk te zijn, maar er moet genoeg uitdaging zijn om de gewenste aanpassing uit te lokken. Meer spreiding creëert die uitdaging door een ‘beetje vergeten’ toe te laten tussen ontmoetingen. Als een item na andere items terugkomt, moet je het heropbouwen. Precies die inspanning versterkt het geheugen. De tijdelijke dip in vloeiendheid tijdens oefenen is dus geen fout, het is juist de weg naar beter herinneren op het moment dat ertoe doet.

Als Leren soms net wat pittiger voelt, zeker vergeleken met oefeningen waarin hetzelfde item meteen terugkomt, dan is dat opzettelijk. Lagere oefencijfers betekenen geen mislukking; ze laten zien dat je het soort werk doet dat zich uitbetaalt bij een latere toets. Voor leraren is de boodschap bemoedigend: je hoeft geen extra huiswerk of nieuw materiaal in te zetten om dit voordeel te krijgen. Het algoritme verschuift de inspanning binnen de sessie, een beetje minder nadruk op nu, een beetje meer op winst straks. Voor ouders helpt het om de oefenfase te zien als training, niet als rapportcijfer. Enkele extra “hmm, even denken”-momenten vandaag betekenen vaak minder lege blikken morgen.

Op basis van deze resultaten standaardiseren we de ruimere spreiding in Leren. Achter de schermen betekent dit dat er meer items tegelijk in het spel blijven, zodat herhalingen verder uit elkaar liggen binnen een sessie. De stappen die je als leerling ziet (Flashcard, Meerkeuze, Hints, Open vraag) blijven precies hetzelfde, en de lijsten waaruit je kiest ook. Wat verandert, is het ritme tussen herhalingen.

Ruimere spreiding binnen één Leren-sessie leidt tot betere herinnering in een latere Toets, ook als oefenen in het moment net wat zwaarder voelt. Daarom maken we dit de standaard. Voor leerlingen betekent dit dat meer van de inspanning van vandaag terugkomt op de momenten die tellen; voor leraren en ouders betekent het dat StudyGo stilletjes meewerkt op de achtergrond, zodat leerlingen niet langer hoeven te studeren of hun routine hoeven aan te passen. We blijven ons hieraan houden: ontwerpen op basis van leertechniek, zorgvuldig checken in echt gebruik, en alleen datgene toepassen wat kennis versterkt.

[1] Soderstrom, N. C., & Bjork, R. A. (2015). Learning versus performance: An integrative review. Perspectives on Psychological Science, 10(2), 176-199. (link)

[2] Bjork, E. L., & Bjork, R. (2014). Making things hard on yourself, but in a good way: Creating desirable difficulties to enhance learning. In Psychology and the real world: Essays illustrating fundamental contributions to society (2nd ed., pp. 59-68). New York: Worth Publishing.

[3] Karpicke, J. D., & Roediger, H. L. (2008). The critical importance of retrieval for learning. Science, 319, 966–968. (link)

[4] Roediger, H. L., & Karpicke, J. D. (2006). Test-enhanced learning: Taking memory tests improves long-term retention. Psychological Science, 17(3), 249-255. (link)

[5] Kornell, N. (2009). Optimising learning using flashcards: Spacing is more effective than cramming. Applied Cognitive Psychology, 23(9), 1297-1317. (link)

[6] Karpicke, J. D., & Bauernschmidt, A. (2011). Spaced retrieval: Absolute spacing enhances learning regardless of relative spacing. Journal of Experimental Psychology: Learning, Memory, and Cognition, 37(5), 1250-1257. (link)

[7] Nakata, T., & Suzuki, Y. (2019). Effects of massing and spacing on the learning of semantically related and unrelated words. Studies in Second Language Acquisition, 41(2), 287-311. (link)

[8] Pyc, M. A., & Rawson, K. A. (2009). Testing the retrieval effort hypothesis: Does greater difficulty correctly recalling information lead to higher levels of memory? Journal of Memory and Language, 60(4), 437-447. (link)