Att digitalisera testerna i boken Förstå och använda tal (FoAT) är inte så lätt som man kan tro och många frågetecken måste redas ut innan de digitala testens innebörd kan liknas de som genomförs på papper. Nu några år senare har NCM inlett arbetet med att se hur en digitalisering skulle kunna genomföras. Ett första steg har tagits i samarbete med matteappen Magma.

Samarbetet har inneburit att testerna gjorts tillgängliga på Magmas plattform, där elever via touchskärm har möjlighet att skriva uträkningar för hand. Det ger lärare möjlighet att digitalt se både varje elevs uträkning samt klassens resultat, och därigenom identifiera svaga områden inom taluppfattning på både klass- och individnivå.

Ett mål med digitaliseringen har varit att göra den digitala upplevelsen så lik den pappersbaserade som möjligt, samtidigt som de fördelar som följer med att göra ett test digitalt tillvaratas. Några av dessa är:

• Minskad administration för lärare,
• Automatiska rekommendationer som kan ges till läraren gällande hur missuppfattningar ska hanteras, 
• En större möjlighet att analysera data på en samlad nivå.

I skrivande stund kan en lärare skapa ett kostnadsfritt testkonto för att använda FoAT med sina elever. Under utprovningen i höstas (aug–nov) har 6 493 unika elever genomfört åtminstone ett test på plattformen, och i skrivande stund är det fler ä 13 000 unika elever som genomfört FoAT digitalt på matteappen Magma.

Intressanta iakttagelser

Under samarbetets gång har mycket intressant data samlats in från alla tester, och i denna analys har vi valt att begränsa oss till att titta på den data som samlades in under utprovningen. Vidare har vi valt att fokusera på resultat och uppgifter relaterade till översiktstest 4. Dels har vi haft relativt många skrivanden av det testet (670 stycken) och dels innehåller testet flera intressanta uppgifter som varit spännande att analysera.

En första tanke vid analys av frågor i tester av detta slag kan vara att helt enkelt bara titta på andelen som svarat rätt på respektive uppgift, för att få någon typ av indikation på vilka områden som eleverna verkar ha missuppfattningar om. Vi har försökt ta det ett steg längre och kategoriserat varje uppgift i test 4 (och övriga tester) med en huvudkategori och en underkategori, baserat på lärarhandledningen som finns till testet i FoAT. Exempelvis har uppgiften som berör att ringa in en tredjedel av ett antal burkar (se fig 4)  kategoriserats med Kapitel 4 som huvudkategori, och Bråk som del av mängd som underkategori. Genom att göra en sådan kategorisering blir det möjligt att sammanställa data i form av det statistikhjul som visas i Figur 1.

‍

Statistiken i Figur 1 ger en indikation på vilka områden det är som elever inte behärskar eller visar förståelse för. Vi ser exempelvis att andel i decimalform, bråk som del av mängd och skriftlig subtraktion är rödfärgade för att signalera att de är områden med bristfälliga resultat. Lärare får genom statistikhjulet även en hänvisning till boken där de kan läsa om vanliga missuppfattningar och hur de kan hantera dem i undervisningen.

Vissa uppgifter på FoAT-testen innefattar flera svarsalternativ. De felaktiga alternativen är valda på sätt som gör att de fångar upp någon form av missuppfattning. Genom att göra FoAT digitalt blir det mycket lättare att göra en felsvarsanalys och få en bild över hur väl olika felsvarsalternativ diskriminerar för olika missuppfattningar. En sådan analys ger också en indikation på hur fördelningen av missuppfattningar ser ut. Vi har från utprovningen gjort en felsvarsanalys på den uppgift som visas i Figur 2 – en uppgift som återfinns både som nummer 10 på översiktstest 4, samt som nummer 14 på översiktstest 5. I Figur 3 visar vi resultatet för frågan för alla som skrivit test 4 respektive test 5 digitalt, för att underlätta jämförelse. Gällande antal som under utprovningen besvarat frågan vid skrivning av test 5, så är det strax under 1 300 elever.

‍

‍

Vi noterar till att börja med i Figur 3 att det är en betydligt större andel av de som skrivit test 5 som svarat rätt på frågan (54%), än av de som skrivit test 4 (27%). Statistiken visar också att det är 22% av de som skrivit test 4 som valt alternativet 2,5, jämfört med 13% för test 5. En missuppfattning som förklaras i lärarhandledningen och som lärare delgett oss, är att elever tror att 2,5 betyder ⅖. En annan anledning till att elever väljer alternativet 2,5 skulle kunna vara att de tror att det får plats två och en halv av den skuggade delen i hela den långa rektangeln, se Figur 4.

‍

‍

Något annat vi noterar i Figur 3 är att det är en större andel av de som skrivit test 4 som valt alternativet 0,52 (28%), än det korrekta alternativet 0,4 (27%). Utifrån detta diagram kan man även ifrågasätta om svarsalternativet 0,80 är så väl valt. Kanske finns det någon annan missuppfattning som istället borde fångas upp? 

Utmaningar med digitala tester

En grundpelare i användningen av FoAT är att resultaten på testerna ska leda till att lärare får en bättre bild av vilka missuppfattningar som finns på grupp- och individnivå. En del av dessa är möjliga att få fram genom att analysera data på det sätt vi gjort ovan, men långt ifrån alla. En risk med digitala tjänster i allmänhet är att det blir ett för stort fokus på det rätta svaret, och i fallet med FoAT, att elevers resultat endast reduceras till binära datapunkter som anger rätt eller fel. Från digitala tjänsters håll finns ofta en strävan efter att skriva uppgifter som är lätta att analysera utifrån ett dataperspektiv och som passar existerande svarsmoduler på plattformen. Drunkard’s search principle kan ge en insikt om varför – det finns ofta en bias mot att undersöka det som är lätt att analysera, vilket inte nödvändigtvis är det mest meningsfulla.

För digitalisering av FoAT-testerna finns tre särskilt stora utmaningar:

• Att det finns så många olika sätt som elever ska kunna besvara uppgifter på och alla dessa bör kunna fångas upp,
• Att handskrivna kladdanteckningar från eleven gärna ska samlas in då de avslöjar saker om eventuella missuppfattningar,
• Att en inte försumbar andel av uppgifter i dagsläget är mycket svåra att rätta automatiskt, varför manuell rättning av läraren är ytterligare en funktion som plattformen måste tillhandahålla.

Detta är några av de saker som bidragit till en digitaliserad version av testerna tagit tid att utveckla.

Vad vi kan se med digitala tester

En fördel med att genomföra FoAT digitalt är att alla elevers uträkningar/kladdanteckningar automatiskt samlas in digitalt. Detta möjliggör flera olika saker, bland annat att läraren på uppgiftsnivå kan få en snabb överblick över samtliga inlämnade uträkningar och svar. Dessa uträkningar – och kanske särskilt de som innefattar missuppfattningar – kan användas i anonymiserat läge som utgångspunkt för matematiska samtal i klassrummet, vilket kan underlätta arbetet med att få eleverna att bli hjälpresurser för varandra.

Med fler och fler elever som genomför testen digitalt kan nu en enorm datamängd analyseras på en övergripande nivå. Som ett exempel väljer vi att i Figur 5 visa upp två elevlösningar vardera från uppgift 8 på översiktstest 4 respektive 5. Eleverna ska ringa in en tredjedel av burkarna respektive stjärnorna, och vi kan för Elev 1 och 3 i Figur 5 se två olika missuppfattningar.

‍

Elev 1 har ringat in tre burkar och det hade varit intressant att se vad eleven svarat på en likartad uppgift där den ombetts ringa in en fjärdedel av objekten. Elev 3 uppvisar en helt annan nivå av kunskap men är troligtvis fast i sin förståelse av bråk som del av helhet, och har ännu inte bemästrat konceptet del av mängd. Detta syns genom att eleven ringar in en tredjedel av varje burk istället för en tredjedel av antalet burkar.

Genom att manuellt granska elevlösningar på denna uppgift kan vi också i grova drag få en bild över hur fördelningen av dessa olika missuppfattningar ser ut, och vi noterar särskilt att missuppfattningen som syns för Elev 3 är relativt vanligt förekommande. I ett slumpmässigt urval av 200 uträkningar visar den sig i 45 av dessa. Vid en liknande granskning av elevsvar på stjärnuppgiften upptäcker vi något mycket intressant – nämligen att motsvarande missuppfattning för Elev 3 inte alls visas i samma utsträckning. Endast i 5 av 200 slumpmässigt utvalda uträkningar från stjärnuppgiften syns motsvarande missuppfattning. Det finns förmodligen flera olika orsaker till detta. En orsak skulle kunna vara att stjärnorna redan är ifyllda, i motsats till burkarna som går att fylla till en tredjedel. En annan orsak skulle kunna vara att det är svårare att ringa in en tredjedel av en stjärna än en tredjedel av en burk. Utifrån dessa resultat kan man fråga sig om det är så att uppgifterna inte testar samma sak, även om det var det ursprungliga syftet. Samtidigt, det skulle också kunna vara så att den matematiska mognaden för elever som skriver test 5 i allmänhet är större, och att det är därför som motsvarande inringning av en “tredjedel” inte visas på samma sätt. Oavsett, digitaliseringen av FoAT-testerna möjliggör att sådant här kan upptäckas utan att betydande resurser måste läggas på att samla in data via faktiska skolbesök, och det ser vi som en stor fördel.

Denna och andra artiklar finns att läsa i tidsskriften Nämnaren – en jätteresurs för matematiklärare som vill fortbilda sig och få nya perspektiv på sin undervisning. En prenumeration kan beställas genom att klicka här.