Het Kohnstamm Instituut onwaardig

Vorige maand  kwam via een publicatie in Metro in het nieuws dat het Kohnstamm Instituut bij een onderzoek had geconstateerd dat het werken met tablets geen verhoging van de motivatie van leerlingen tot gevolg heeft. Omdat het onderwerp me interesseert en ik in de praktijk op onze scholen het tegendeel waarneem, heb ik het persbericht bekeken en het onderzoeksrapport bestudeerd:  “Gebruik van tablets in School”.  En ik ben zeer geschrokken van de kwaliteit van het kwantitatieve onderzoek. Enerzijds was de opzet van het onderzoek dusdanig dat je eigenlijk nooit de conclusie kon gaan trekken waarvoor het onderzoek was uitgevoerd. Anderzijds, als je dan desondanks een conclusie zou willen trekken, dan was het in ieder geval niet de conclusie die in het rapport stond.

Beide punten zal ik hieronder toelichten

1. Als je een kwantitatief onderzoek doet dan moet je wel een opzet kiezen, waarmee je de onderzoeksvraag goed kan beantwoorden. En dat is bij dit onderzoek (zoals het in hoofdstuk 4 is gerapporteerd) niet het geval.

De onderzoeksvraag was of er sprake van is dat het werken met een tablet leidt tot hogere motivatie bij de leerlingen. Het beste is dan om meerdere momenten te meten. De startsituatie zonder een tablet en daarna de situatie na een bepaalde periode, vergeleken met een controlegroep.

En als dat niet kan dan is het alternatief dat je leerlingen onderzoekt op het punt “motivatie” die met tablets werken, vergeleken met leerlingen die daar qua leeftijd en niveau op lijken zonder een tablet. Dat is gebeurd voor 4 verschillende “apps”.  Maar wel steeds met maar 1 klas  waar de app werd gebruikt. En dat houdt in dat een belangrijke variabele die ook zijn invloed op de motivatie kan hebben, namelijk de leerkracht,  de oorzaak zou kunnen zijn voor verschillen in motivatie die je vindt.  Dat had je kunnen vermijden door diverse klassen te hebben met verschillende leraren. Maar als je dat om welke reden niet beschikbaar hebt, dan is het een kwestie van “jammer, maar helaas”, want anders loop je het gevaar de factor “leerkacht”  te meten in plaats van de factor “tablet”.

En als je toch een dergelijk onderzoek toch gaat uitvoeren om er zelf van te leren dan vind ik dat ook verder prima, maar ga dan niet met een persbericht naar buiten over de bevindingen.

 

2. Maar het wordt eigenlijk nog interessanter als naar de resultaten van het kwantitatief onderzoek onder de 4 apps wordt gekeken, alsmede naar de interpretatie ervan door de onderzoekers.

Het onderzoek naar de twee apps voor de Engelse taal is via een en dezelfde vragenlijst gemaakt die in de bijlage van het rapport te zien is. Die voor de andere twee apps is via hiervan verschillende vragenlijsten gemaakt.  Ik zal inzoomen op de twee Engelse apps, die gemeten zijn.

De resultaten van de tabellen 4.3 en 4.5 uit het onderzoek laten zien dat voor de  beide apps over vrijwel de gehele linie de experimentele groep (dus met tablet) positiever  scoort dan de controle groep.

.                                            Take it Easy                Pearson E-text

.                                          Exp.   Contr.                   Exp.      Contr.

Plezier                             2.88      2.52                    2.57      2.34

Uitdaging                       2.50      2.13                    2.35      2.21

Angst                               3.08      3.04                    3.29      3.03

Bij Take it Easy wordt bij de analyse in het rapport op haast onnavolgbare wijze het wel significante verschil wegverklaard door groepseffecten. En bij Pearson E-Text wordt berekend dat bij de N van resp 24 en 31 leerlingen (in beide gevallen dus slechts een klas) de gevonden verschillen niet significant zijn.

En bij die laatste app staat vervolgens op pagina 27 van het rapport:

 “De experimentele groep scoort op alle drie de schalen hoger dan de controlegroep. De verschillen tussen de twee groepen zijn echter op geen van de schalen significant.

Er kan dus niet geconcludeerd worden dat de experimentele groep meer plezier heeft in Engels, meer uitdaging ervaart bij Engels en minder angstig is voor Engels.

Conclusie

Leerlingen die met de app Pearson werken hebben niet meer plezier in Engels, ervaren niet meer uitdaging en zijn niet minder angstig voor Engels dan leerlingen die niet met de app Pearson werken.”

Dit is de klassieke fout bij onderzoek waar kansberekening wordt gebruikt. Er wordt geen significant verschil gevonden en vervolgens wordt er gezegd dat er dus geen verschillen zijn. (The absence of evidence is not the same as the evidence of absence).

Als de N maar klein genoeg is dan is de kans dat je een significant verschil vindt klein. Net zo goed als wanneer de N heel groot is de kans veel groter wordt dat het een significant verschil is.  (Tegelijkertijd moet je je dan afvragen wat dan de relevantie is van een klein, maar significant verschil.)

Maar wat je dus niet mag zeggen is datgene wat er onder de conclusie als tekst staat weergegeven. Namelijk dat die leerlingen, zowel niet meer plezier hebben, niet meer uitdaging ervaren en niet minder angstig zijn.

In feite is er wel een verschil gevonden (resp. 0.23, 0.14 en 0.26) alleen is die niet significant. (En dat wordt nog in de hand gewerkt door een heel kleine N). Daarbij is de conclusie ook nog zodanig stevig gesteld als ware het zou gelden voor overal waar die app wordt gebruikt, terwijl het maar via onderzoek in één klas is vastgesteld.

To add injury to insult lees ik op blz. 32 bij de conclusies:

“Al met al is er dus weinig evidentie dat de onderhavige apps voor Engels in het basisonderwijs bijdragen aan een sterkere motivatie voor het vak, zoals verondersteld door een substantieel aantal respondenten in de interviewronde.”

Nu is het zo dat de twee Engelse apps getest zijn met dezelfde vragenlijst. En dat bij beide apps, zoals hierboven staat, vooral positieve verschillen worden gevonden. In dat geval zou het zeker toegestaan zijn om ook een statistische analyse te maken over de uitkomsten van de beide apps samen die onderzocht zijn.

Stel dat er niet met 2 apps met 10 apps het onderzoek gedaan was. En dat in alle gevallen er een positief verschil was geweest, maar steeds niet significant. Juist als je goed de kern van het principe van kansberekening en significantie beseft dan wordt de steekproef bekeken alsof het er een is uit een oneindig aantal steekproeven (die dan ook een normaalverdeling oplevert).  10 steekproeven die allemaal een positief verschil laten zien, ook als ze allemaal een relatief kleine N hebben, vormen een sterk bewijs dat er sprake is van een verschil in de populatie.

Ik heb de berekening niet zelf uitgevoerd, maar ik ben ervan overtuig dat als de scores van de twee apps bij elkaar worden genomen voor de drie onderdelen (gemiddeldes, standaarddeviatie en de N) er wel een overall significantie uitgekomen zou zijn. Wellicht niet voor de dimensie angst, maar wel voor plezier en uitdaging.

Een conclusie als “al met al is dus weinig evidentie…..” over de twee Engelse apps  zoals op pagina 32 is dus onjuist.  Er is juist veel evidentie.

En deze samentrekking van de twee apps is zeker relevant omdat bij de conclusies op pagina 32 ook de beide apps samen worden getrokken: “… de apps voor Engels gebruiken….”.

 

Blijkbaar vindt het Kohnstamm Instituut deze conclusie uit het rapport dusdanig belangrijk dat ze het in het persbericht vermeld (en zoals die ook is overgenomen door Metro).

Maar als je naar het onderzoek kijkt, zoals ik hierboven heb beschreven dan zien we bij 3 van de 4 apps hogere scores ten aanzien van de motivatie tussen de experimentele en controlegroepen. En ook heb ik laten zien dat bij de twee Engelse apps voor het basisonderwijs als de significantie bepaald wordt aan de hand van de twee apps er wel sprake zal zijn van significante verschillen.

 

Zoals ik al aangegeven heb, vind ik het echt niet bezwaarlijk als er een kwantitatief onderzoek wordt uitgevoerd onder verre van ideale omstandigheden. En het kan ook leerzaam zijn om de resultaten te bekijken en na te gaan welke elementen kunnen hebben geïnterfereerd. Maar dat kwantitatieve onderzoeksdeel hoort dan niet in een beleidsrapport, laat staan dat er zulke conclusies uit getrokken worden dat ze in de kop staan van de melding op de website van het Kohnstamm instituut over dit rapport en ook nog in de media terecht komen.

De enige juiste conclusie was, als men toch iets over het kwantitatieve gedeelte had willen zeggen, dat het onderzoek wel aanwijzingen geeft dat er sprake is van een hogere motivatie onder leerlingen als er met een tablet wordt gewerkt, maar dat de onderzoeksopzet helaas niet voldoende basis biedt om daarover harde conclusies te trekken.

Kortom: een onderzoek en een persbericht het Kohnstamm Instituut onwaardig.

Daphne’s Kunst

9Met grote regelmaat lees en hoor ik van “deskundigen”  dat het slecht is als jonge kinderen met iPhone of iPad werken. Het zou hen remmen in hun ontwikkeling.

Ook als ik met die personen in debat ben, vind ik dat ze enerzijds weinig echt weten van de praktijk van jonge kinderen met iPads en anderzijds heel erg vanuit stereotypen praten. (Vol met nostalgie/romantiek en ook een behoorlijke mate van een negatieve houding bij het bekijken van het gedrag van een volgende generatie. Iets wat blijkbaar van alle tijden is).

Mijn dochter (geboren in mei 2009) werkt al vanaf dat ze anderhalf was met grote regelmaat  op een iPad. En ze was ongeveer twee en half toen ze eind 2011 haar eigen iPad had.  Ik kocht met regelmaat apps die pasten bij haar leeftijd, en ook zeker de creatieve apps van Toca Boca (zoals kapper, dokter en mode-ontwerpster). Ze behoort dus tot de voorhoede van een nieuwe generatie, die je steeds meer ziet als je goed om je heen kijkt.

Dat hield niet in dat mijn dochter de hele dag met de iPad bezig was, maar bepaalde apps gebruikte ze wel met grote regelmaat.

Wat mij direct opviel Lees meer

Cursus Projectleider O4NT

Zowel in Nederland als in het buitenland (zoals Spanje, Griekenland, Zuid-Afrika en Dubai) gaan steeds meer scholen aan de slag met de O4NT-aanpak. Om het transitieproces goed te laten verlopen zijn er diverse projectleiders nodig, die scholen bij die overgang naar O4NT begeleiden.

Daarom geeft O4NT een cursus Projectleider O4NT op 3 avonden in juni  van 18 tot 22 uur in Amsterdam  (16,23 en 30 juni). De cursus is in principe gratis.

De cursus is gericht op mensen met ervaring in het onderwijs, affiniteit met ICT, en interesse voor de O4NT-aanpak, die in de toekomst op ZZP-basis projectleiders-klussen in Nederland of in het buitenland op zich willen nemen.

Maar de cursus is ook voor leerkrachten/IB-ers die de projectleiding O4NT op de eigen school op zich zullen gaan nemen.

Bij deze cursus zijn er 20 plekken beschikbaar.

Indien er meer inschrijvingen dan 20 zijn, wordt er geselecteerd op basis van de inhoud van de aanmeldingsmail, de ervaring en beschikbaarheid in de nabije toekomst.

U wordt verzocht een mail te sturen naar Hans Theeboom, O4NT Sources [email protected].  De mail moet voor 30 mei 2015 binnen zijn.

Sluit uw CV bij of als link, geef aan of u al dan niet in het buitenland wilt werken en zo ja, wat daarvan de maximale periode is. En vooral waarom u denkt dat u een goede projectleider O4NT zult zijn.

U ontvangt dan uiterlijk 3 juni de melding of u al dan niet voor deze training in aanmerking komt

AltSchool haalt 100 miljoen op, o.a. van Marc Zuckerberg

Wereldwijd hoor je de roep om onderwijs vernieuwing. Niet voor niets is de Ted Talk van Ken Robinson “Changing the Paradigm of Education” door meer dan 10 miljoen mensen bekeken.

Ook in Nederland bestaat die wens. Minister Bussemaker en Staatssecretaris Dekker zeggen het vaak en ook de voorzitters van de PO- en VO-raad geven dat aan. Sleutelwoord is daarbij een grotere mate van personalisering. Meer inspelen op de persoonlijke mogelijkheden en leerwijzen van de afzonderlijke leerlingen.

Het grote probleem daarbij is Lees meer

Onderzoek op De Ontplooiing

Logo Ontplooiing horizontaal
Er is een scriptie gemaakt over een onderzoek gehouden in januari jl. op onze O4NT school “De Ontplooiing”.

De conclusies geven een goed eerste beeld hoe het op de school toegaat en welk effect de schoolaanpak op de kinderen heeft. Iets wat de (vele) bezoekers aan de school uit binnen- en buitenland ook ervaren.

Dit zijn de belangrijkste conclusies en aanbevelingen:

Lees meer

“A snapshot of how all our young people will learn in the future”

 

A snapshot of how all our young people will learn in the futureOok de afgelopen weken hadden we weer diverse buitenlandse bezoekers in onze scholen.

Komende week komt –op haar verzoek- de Oostenrijkse minister van Jeugdzaken, onze school bezoeken.

Als ik discussies in media of op Twitter over onze schoolaanpak lees dan heb ik het gevoel dat velen maar niet kunnen of willen begrijpen wat het grote voordeel is van een goed gebruik van een tablet op school.

Lees meer

De impact van het O4NT-schoolmodel

“Mijn kind is een ander kind. Na 1 week op jullie school zag ik al een enorme verandering. Hij ging weer open, was geïnteresseerd in wat hij op school deed en vertelde me daar enthousiast over. Ik heb een totaal ander jongetje thuis. Hij is vrolijk, zeurt eigenlijk nauwelijks meer en krijgt weer een beetje zelfvertrouwen, durft zich weer te laten zien.

Hij heeft nog steeds moeite met rekenen, maar is in taal eigenlijk best goed en wat ik vooral belangrijk vindt is dat hij weer met plezier naar school gaat en interesse toont in de wereld om hem heen. Hij durft weer dingen niet te weten en dat is belangrijk om te kunnen leren. Hij zat zo op slot.

Vind het wel erg dat ik de invloed van school zo onderschat heb. Ik dacht nl dat het een combinatie, school, karakter en de situatie thuis was, maar heb nu toch sterk het vermoeden dat het schoolklimaat bij hem 90% van het probleem was.

Dus dank dat jullie met deze schoolvorm gestart zijn. Ik denk dat mijn kinds leven hierdoor een heel andere wending heeft gekregen ”

Deze reactie van een moeder, enkele maanden na de start van onze school in Amsterdam, lijkt sterk op de reacties, die ik bij herhaling krijg van ouders sinds in augustus 2013, de eerste scholen zijn gestart met de O4NT-aanpak (ook wel Steve JobsSchool of iPad-school genoemd).

Lees meer