ICT kan juist wel goed op scholen gebruikt worden

SONY DSC

Master Steve JobsSchool in Sneek

Aleid Truijens gaat, evenals trouwens de andere media in Nederland, in haar column van zaterdag “ICT heeft valse hoop gewekt” voorbij aan de belangrijkste conclusies van het deze week verschenen belangwekkende OECD rapport over de relatie tussen schoolresultaten en het gebruik van ICT. Lees meer

Het Kohnstamm Instituut onwaardig

Vorige maand  kwam via een publicatie in Metro in het nieuws dat het Kohnstamm Instituut bij een onderzoek had geconstateerd dat het werken met tablets geen verhoging van de motivatie van leerlingen tot gevolg heeft. Omdat het onderwerp me interesseert en ik in de praktijk op onze scholen het tegendeel waarneem, heb ik het persbericht bekeken en het onderzoeksrapport bestudeerd:  “Gebruik van tablets in School”.  En ik ben zeer geschrokken van de kwaliteit van het kwantitatieve onderzoek. Enerzijds was de opzet van het onderzoek dusdanig dat je eigenlijk nooit de conclusie kon gaan trekken waarvoor het onderzoek was uitgevoerd. Anderzijds, als je dan desondanks een conclusie zou willen trekken, dan was het in ieder geval niet de conclusie die in het rapport stond.

Beide punten zal ik hieronder toelichten

1. Als je een kwantitatief onderzoek doet dan moet je wel een opzet kiezen, waarmee je de onderzoeksvraag goed kan beantwoorden. En dat is bij dit onderzoek (zoals het in hoofdstuk 4 is gerapporteerd) niet het geval.

De onderzoeksvraag was of er sprake van is dat het werken met een tablet leidt tot hogere motivatie bij de leerlingen. Het beste is dan om meerdere momenten te meten. De startsituatie zonder een tablet en daarna de situatie na een bepaalde periode, vergeleken met een controlegroep.

En als dat niet kan dan is het alternatief dat je leerlingen onderzoekt op het punt “motivatie” die met tablets werken, vergeleken met leerlingen die daar qua leeftijd en niveau op lijken zonder een tablet. Dat is gebeurd voor 4 verschillende “apps”.  Maar wel steeds met maar 1 klas  waar de app werd gebruikt. En dat houdt in dat een belangrijke variabele die ook zijn invloed op de motivatie kan hebben, namelijk de leerkracht,  de oorzaak zou kunnen zijn voor verschillen in motivatie die je vindt.  Dat had je kunnen vermijden door diverse klassen te hebben met verschillende leraren. Maar als je dat om welke reden niet beschikbaar hebt, dan is het een kwestie van “jammer, maar helaas”, want anders loop je het gevaar de factor “leerkacht”  te meten in plaats van de factor “tablet”.

En als je toch een dergelijk onderzoek toch gaat uitvoeren om er zelf van te leren dan vind ik dat ook verder prima, maar ga dan niet met een persbericht naar buiten over de bevindingen.

 

2. Maar het wordt eigenlijk nog interessanter als naar de resultaten van het kwantitatief onderzoek onder de 4 apps wordt gekeken, alsmede naar de interpretatie ervan door de onderzoekers.

Het onderzoek naar de twee apps voor de Engelse taal is via een en dezelfde vragenlijst gemaakt die in de bijlage van het rapport te zien is. Die voor de andere twee apps is via hiervan verschillende vragenlijsten gemaakt.  Ik zal inzoomen op de twee Engelse apps, die gemeten zijn.

De resultaten van de tabellen 4.3 en 4.5 uit het onderzoek laten zien dat voor de  beide apps over vrijwel de gehele linie de experimentele groep (dus met tablet) positiever  scoort dan de controle groep.

.                                            Take it Easy                Pearson E-text

.                                          Exp.   Contr.                   Exp.      Contr.

Plezier                             2.88      2.52                    2.57      2.34

Uitdaging                       2.50      2.13                    2.35      2.21

Angst                               3.08      3.04                    3.29      3.03

Bij Take it Easy wordt bij de analyse in het rapport op haast onnavolgbare wijze het wel significante verschil wegverklaard door groepseffecten. En bij Pearson E-Text wordt berekend dat bij de N van resp 24 en 31 leerlingen (in beide gevallen dus slechts een klas) de gevonden verschillen niet significant zijn.

En bij die laatste app staat vervolgens op pagina 27 van het rapport:

 “De experimentele groep scoort op alle drie de schalen hoger dan de controlegroep. De verschillen tussen de twee groepen zijn echter op geen van de schalen significant.

Er kan dus niet geconcludeerd worden dat de experimentele groep meer plezier heeft in Engels, meer uitdaging ervaart bij Engels en minder angstig is voor Engels.

Conclusie

Leerlingen die met de app Pearson werken hebben niet meer plezier in Engels, ervaren niet meer uitdaging en zijn niet minder angstig voor Engels dan leerlingen die niet met de app Pearson werken.”

Dit is de klassieke fout bij onderzoek waar kansberekening wordt gebruikt. Er wordt geen significant verschil gevonden en vervolgens wordt er gezegd dat er dus geen verschillen zijn. (The absence of evidence is not the same as the evidence of absence).

Als de N maar klein genoeg is dan is de kans dat je een significant verschil vindt klein. Net zo goed als wanneer de N heel groot is de kans veel groter wordt dat het een significant verschil is.  (Tegelijkertijd moet je je dan afvragen wat dan de relevantie is van een klein, maar significant verschil.)

Maar wat je dus niet mag zeggen is datgene wat er onder de conclusie als tekst staat weergegeven. Namelijk dat die leerlingen, zowel niet meer plezier hebben, niet meer uitdaging ervaren en niet minder angstig zijn.

In feite is er wel een verschil gevonden (resp. 0.23, 0.14 en 0.26) alleen is die niet significant. (En dat wordt nog in de hand gewerkt door een heel kleine N). Daarbij is de conclusie ook nog zodanig stevig gesteld als ware het zou gelden voor overal waar die app wordt gebruikt, terwijl het maar via onderzoek in één klas is vastgesteld.

To add injury to insult lees ik op blz. 32 bij de conclusies:

“Al met al is er dus weinig evidentie dat de onderhavige apps voor Engels in het basisonderwijs bijdragen aan een sterkere motivatie voor het vak, zoals verondersteld door een substantieel aantal respondenten in de interviewronde.”

Nu is het zo dat de twee Engelse apps getest zijn met dezelfde vragenlijst. En dat bij beide apps, zoals hierboven staat, vooral positieve verschillen worden gevonden. In dat geval zou het zeker toegestaan zijn om ook een statistische analyse te maken over de uitkomsten van de beide apps samen die onderzocht zijn.

Stel dat er niet met 2 apps met 10 apps het onderzoek gedaan was. En dat in alle gevallen er een positief verschil was geweest, maar steeds niet significant. Juist als je goed de kern van het principe van kansberekening en significantie beseft dan wordt de steekproef bekeken alsof het er een is uit een oneindig aantal steekproeven (die dan ook een normaalverdeling oplevert).  10 steekproeven die allemaal een positief verschil laten zien, ook als ze allemaal een relatief kleine N hebben, vormen een sterk bewijs dat er sprake is van een verschil in de populatie.

Ik heb de berekening niet zelf uitgevoerd, maar ik ben ervan overtuig dat als de scores van de twee apps bij elkaar worden genomen voor de drie onderdelen (gemiddeldes, standaarddeviatie en de N) er wel een overall significantie uitgekomen zou zijn. Wellicht niet voor de dimensie angst, maar wel voor plezier en uitdaging.

Een conclusie als “al met al is dus weinig evidentie…..” over de twee Engelse apps  zoals op pagina 32 is dus onjuist.  Er is juist veel evidentie.

En deze samentrekking van de twee apps is zeker relevant omdat bij de conclusies op pagina 32 ook de beide apps samen worden getrokken: “… de apps voor Engels gebruiken….”.

 

Blijkbaar vindt het Kohnstamm Instituut deze conclusie uit het rapport dusdanig belangrijk dat ze het in het persbericht vermeld (en zoals die ook is overgenomen door Metro).

Maar als je naar het onderzoek kijkt, zoals ik hierboven heb beschreven dan zien we bij 3 van de 4 apps hogere scores ten aanzien van de motivatie tussen de experimentele en controlegroepen. En ook heb ik laten zien dat bij de twee Engelse apps voor het basisonderwijs als de significantie bepaald wordt aan de hand van de twee apps er wel sprake zal zijn van significante verschillen.

 

Zoals ik al aangegeven heb, vind ik het echt niet bezwaarlijk als er een kwantitatief onderzoek wordt uitgevoerd onder verre van ideale omstandigheden. En het kan ook leerzaam zijn om de resultaten te bekijken en na te gaan welke elementen kunnen hebben geïnterfereerd. Maar dat kwantitatieve onderzoeksdeel hoort dan niet in een beleidsrapport, laat staan dat er zulke conclusies uit getrokken worden dat ze in de kop staan van de melding op de website van het Kohnstamm instituut over dit rapport en ook nog in de media terecht komen.

De enige juiste conclusie was, als men toch iets over het kwantitatieve gedeelte had willen zeggen, dat het onderzoek wel aanwijzingen geeft dat er sprake is van een hogere motivatie onder leerlingen als er met een tablet wordt gewerkt, maar dat de onderzoeksopzet helaas niet voldoende basis biedt om daarover harde conclusies te trekken.

Kortom: een onderzoek en een persbericht het Kohnstamm Instituut onwaardig.

Sleuteltabel Suriname

Een maand geleden schreef ik een artikel over het opinieonderzoek dat ik begin april heb begeleid in de aanloop naar de verkiezingen in Suriname. In het hart van dat artikel stond een tabel dat heel veel zegt over de electorale situatie in Suriname. Weliswaar is dat onderzoek 7 weken voor de verkiezingen gedaan en kunnen er zeker verschuivingen zijn opgetreden, de essentie van de tabel zal ook morgen bij de verkiezingenovereind blijven. Dat de jonge kiezers veel minder langs lijnen van bevolkingsgroepen zullen stemmen dan de ouderen (ten faveure van de NDP van Bouterse).  Als ik de diverse artikelen in de Nederlandse media de afgelopen dagen lees, herken ik daar niet zoveel meer van. Dinsdagochtend zullen we het weten wat er echt gebeurd is.

Index NDP – V7 2010-2015 naar leeftijd-bevolkingsgroep combinatie
Leeftijd-bevolkingsgroep combinatie
TotaalTotaal jongJong- HindoestJong- CreoolJong- OverigTotaal oudOud- HindoestOud- CreoolOud- Overig
Welke partij heeft u in 2010 gestemd?Megacomb32%32%27%40%32%32%26%45%32%
Nieuwe Front25%21%31%16%16%29%39%31%20%
Overige partijen15%12%26%25%35%18%14%8%24%
Niet gestemd/ te jong29%35%17%20%17%21%21%17%24%
Op welke partij bent u van plan op 25 mei 2015 te stemmen?NDP38%43%37%57%43%32%27%45%33%
V720%17%25%7%15%23%32%21%17%
Overige partijen9%10%2%12%14%8%5%6%12%
Weet nog niet/stem niet33%30%36%24%28%37%37%28%38%
Index 2010                 Megacomb/Nieuw Front1,281,520,862,532,001,100,661,461,62
Index 2015 NDP/V71,862,531,488,172,871,390,842,121,94

Dit onderzoek is begin april uitgevoerd door LC Media.

De foute prognoses bij UK2015

Bij de uitslagen van de verkiezingen op 7 mei jl. in de UK bleek dat de alle prognoses t.a.v. de twee grootste partijen fors miszaten.  Er was geen nek-aan-nek strijd, de Conservatieven hebben 6% meer stemmen gekregen dan Labour (36 t.ov. 30%) in plaats van de ongeveer 33% die voor beide werd voorspeld.

Dit lijkt sterk Lees meer

Verkiezingen in Suriname

Enkele weken geleden ben ik op uitnodiging van Carlos Durham een week in Suriname geweest om o.a. een opinieonderzoek te begeleiden dat daar is uitgevoerd door LC-Media. Het was op meerdere manieren een interessant bezoek aan een bijzonder (en mooi) land.

Ik heb een artikel geschreven over dat bezoek en een belangrijke bevinding over de ingrijpende structurele veranderingen onder het electoraat in Suriname; een proces dat sterk lijkt op de ontzuiling in Nederland sinds 1960.

De ingrijpende electorale verschuivingen in Suriname

 

De PvdA verloor haar traditionele aanhang

In mijn peiling van zondag jl.  geef ik aan dat de PvdA haar traditionele achterban definitief kwijt is. Daarbij maak ik de vergelijking met het CDA waar de afgelopen 30 jaar hetzelfde is gebeurd. Zowel het CDA (althans de drie partijen KVP-ARP-CHU) en de PvdA haalden tot aan het eind van de zestiger jaren van de vorige eeuw vrijwel altijd meer dan 30%.  Het record van CDA en de PvdA sinds 1970 is ruim 35% der kiezers.

Omdat het overgrote deel van de CDA-kiezers confessioneel is, en die groep in Nederland steeds kleiner wordt (met name door de demografische ontwikkelingen, ouderen zijn namelijk veel vaker kerkelijk dan jongeren) is het “vaste” electoraat van het CDA steeds kleiner geworden. Inmiddels is de omvang van dit vaste electoraat van het CDA gedaald naar ruim 10%.  Alleen met een populaire lijsttrekker (Lubbers in 1986 en 1989 en Balkenende in 2003 en 2004) scoort het CDA ook vrij goed bij niet-confessionelen en trokken ook veel kiezers aan buiten de traditionele kern.

Het proces dat de PvdA heeft doorgemaakt lijkt daar enigszins op. Maar is in essentie toch anders. Ook de PvdA had een groep kiezers die altijd op deze partij stemde. De PvdA was de partij bij uitstek bij de (niet-confessionele) kiezers met lage inkomens en lage opleiding. Daarnaast was er een wat kleinere groep met hogere opleiding en inkomen die PvdA stemde uit solidariteit met “de zwakkeren in de samenleving”.

Aan de ene kant is de groep kiezers met lage inkomens en lage opleiding fors gedaald. In 1960 bij voorbeeld wees de volkstelling uit dat de groep kiezers met alleen Lager Onderwijs en/of nog enkele jaren Uitgebreid Lager Onderwijs bijna 80% van het electoraat was. Inmiddels heeft 40% van de 30-jarigen een Universitaire opleiding gevolgd of HBO.

Als deze groep kiezers rond 1960 niet-confessioneel was dan stemden ze voor het overgrote deel PvdA en als ze wel confessioneel waren dan stemden ze vaak hun confessionele partij.

Maar niet alleen is die groep door de jaren heen kleiner geworden, ook zie je dat de PvdA er steeds minder in slaagt die kiezers aan zich te blijven binden. Uit het onderzoek van zondag jl. blijkt dat onder de kiezers met lage opleiding en lage inkomens (dat zijn gemiddeld wat oudere kiezers) de SP en de PVV duidelijk populairder zijn dan de PvdA. En dat is dus het grote probleem voor de PvdA. Voor dat traditionele electoraat van de PvdA zijn er nu alternatieven. (Bedenk dat in de Eerste Kamer SP en PVV na mei a.s. ieder meer senatoren hebben dan de PvdA).

Toch lijkt het of noch de PvdA zelf, noch de media, zich realiseren dat dit een onherroepelijk proces is voor de PvdA. Want een uitslag van de Tweede Kamerverkiezingen als die van september 2012 (PvdA haalde 25% = 38 zetels) strooit zand in de ogen.

Drie weken voor de Tweede Kamerverkiezingen van september 2012 stond de PvdA nog op 12% en de SP op 22%. Dat de PvdA in korte tijd zo fors steeg was vooral omdat er nogal wat kiezers zich met hun stem wilde uitspreken over wie ze wel en niet als premier wilde hebben:  Roemer deed het bij het begin van de campagne slecht en Samsom, als “new kid on the block” deed het goed, waardoor er een tweestrijd Rutte – Samsom ontstond. Dat is de problematiek van ons kiesstelsel. Er is geen aparte stem voor de premier/regering en een voor de Tweede Kamer, maar de kiezer heeft maar een stem. Ruim een kwart gaf na de verkiezing aan dat ze strategisch hadden gestemd. Dus niet de partij van hun hoogste voorkeur, maar de VVD of de PvdA om te zorgen dat hetzij Rutte of Samsom premier zou worden of juist om te zorgen dat een van de twee het niet zou worden. (Met als uitkomst, omdat daardoor die twee partijen samen de meerderheid kregen interpreteerden zij het als een opdracht van de kiezer om met elkaar de regering te vormen.)

Na de vorming van het kabinet daalde de PvdA naar 18% en in maart 2013 daalde de PvdA naar het niveau dat ze vlak voor de verkiezingen hadden gestaan (12%). Een score waar ze sindsdien onder zijn gebleven, zowel in onze wekelijkste peilingen als bij de drie verkiezingen, die er sindsdien zijn gehouden.

Juist omdat de PvdA in de 20e eeuw doorgaans rond de 30% scoorde, werd de uitslag van de PvdA in 2012 beschouwd als een “normale” score voor de PvdA.  De werkelijkheid is dat die uitslag in het tweede decennium van de 21 e eeuw voor de PvdA abnormaal is.

In 2002 haalde de PvdA 15%.  In 2003 toen er sprake was van een tweestrijd Bos-Balkenende haalde Bos als “new kid on the block” 27%, maar verloor van Balkende. In 2006 was die strijd er ook en haalde Bos 21%, maar verloor van Balkende.  In 2010 was er de strijd Cohen – Rutte en haalde de PvdA 20% en verloor. En in 2012 was er de strijd Samsom – Rutte en haalde de PvdA 25% en verloor.

Het lijkt erop alsof de motivatie van kiezers om te zorgen dat de voorman van de PvdA niet de volgende premier groter is dan ervoor te zorgen dat hij wel de volgende premier wordt.

Bij alle andere verkiezingen dan de Tweede Kamer sinds 2006, met uitzondering van de Provinciale Statenverkiezingen van 2007, toen het kabinet Balkenende-Bos nog in haar wittebroodsweken was, scoorde de PvdA steeds tussen de 9 en 15%.

Het probleem van de PvdA is dus niet alleen dat -met name als ze in de regering zitten, zoals tussen 2007 en 2010 en na 2012-  een groot deel van de kiezers met de lage inkomens verliest. Maar ook dat voor die kiezers nu wel alternatieve partijen zijn van een behoorlijke omvang: de SP en PVV.

Daarom de conclusie dat de PvdA haar traditionele achterban definitief kwijt is.

Maar dat hoeft niet te betekenen dat bij een Tweede Kamerverkiezing in de toekomst wanneer de lijsttrekker een van de twee serieuze premierskandidaten zou zijn, de PvdA nooit meer boven de 15% kan scoren. Maar dan moet die lijsttrekker wel weer een “new kid on the block”  zijn en er mag geen alternatieve betere premierskandidaat zijn bij de andere partijen, die het goed doet tegenover een rechtsere premierskandidaat.

Maar bij andere dan Tweede Kamerverkiezingen in de toekomst zal een resultaat van 15% voor de PvdA een prima resultaat gaan betekenen. En daarmee staat de PvdA voor dezelfde uitdaging als het CDA. Om echt weer scores te bereiken van meer dan 20% moeten die beide partijen zich heruitvinden of zich hergroeperen met andere partijen.

Onderzoek op De Ontplooiing

Logo Ontplooiing horizontaal
Er is een scriptie gemaakt over een onderzoek gehouden in januari jl. op onze O4NT school “De Ontplooiing”.

De conclusies geven een goed eerste beeld hoe het op de school toegaat en welk effect de schoolaanpak op de kinderen heeft. Iets wat de (vele) bezoekers aan de school uit binnen- en buitenland ook ervaren.

Dit zijn de belangrijkste conclusies en aanbevelingen:

Lees meer