Handig archief voor onderwijsonderzoek: Best Evidence in Brief index

Een van mijn meer favoriete nieuwsbrieven bestaat ondertussen meer dan vijf jaar:  Best Evidence in Brief. De nieuwsbrief die door Robert Slavin aangestuurd wordt, verzameld tweewekelijks de meest interessante onderwijsonderzoeken en bespreekt deze kort. De voorbije jaren heb ik wel af en toe bedenkingen gehad of een vermeld onderzoek wel het label ‘best evidence’ verdiende, maar meestal zijn het echt de onderzoeken waar je best van op de hoogte bent.

Probleem met de nieuwsbrief was wel, dat je deze zelf moest bewaren want er was geen online archief. Was… want dit was tot nu het geval. Maar kijk:

Do you remember a BEiB article but can’t find it in your email? Did you ever delete a story that you meant to save? Best Evidence in Brief is pleased to announce the launch of its archive, the Best Evidence in Brief Index. Spanning 2012 to the present, the archives are searchable by topic and by date. From now on, each issue of BEiB will be added to the Index and over time it will increasingly serve as an easily-accessible resource on recent research and policy relating to evidence-based reform. In the coming months, all of the more than 200 Huffington Post blogs will also be put into an index. We hope you find this a useful resource in your work with evidence in education.

Eigen creativiteit verslaat uitgewerkte lesactiviteiten

Als je de titel leest van de post, verwacht je wellicht niet deze belangrijke paragraaf: “Dus concrete doelen in een concrete leerlijn, hoge intensiteit, kleuters observeren vanuit die concrete doelen, ideeën voor scaffolding (extra ondersteuning – extra uitdaging), collectief professionaliseren, en de motivatie van autonomie en creativiteit.” Daarom helemaal lezen :).

Kleutergewijs

Dat is een titel naar jullie hart, vermoed ik, creatief als jullie zijn. Lees door, want zoals dat ook bij krantenkoppen gaat, zijn de echte feiten altijd iets genuanceerder.

5.000 Deense kleuters (Bleses et al.,2018)

Ik wil het hebben over de uitkomst van een groot Deens taalonderzoek om bij 5.000 kleuters de mondelinge taalvaardigheid en de beginnende geletterdheid te verhogen. Zo’n grootschalig project, dat is wat voor ervaren mensen: bekende Amerikaanse onderzoekers en ervaren Deense onderzoekers werkten samen. Ze vroegen zich af of ze hun eerdere successen ook op grote schaal konden herhalen.

Je zou nu denken dat zulke experts perfect weten wat de belangrijkste ingrediënten van hun eerder successen zijn. Maar zelfs voor hen is het soms maar gissen. Elk taalproject bevat immers een mix van diverse ideeën waarvan we geloven dat ze de taalontwikkeling van kleuters positief beïnvloeden. Achteraf is het heel moeilijk te achterhalen welke component nu het…

View original post 685 woorden meer

Nieuw onderzoek toont positief effect van kleinere klassen in basisonderwijs (maar…)

Het is een debat dat vaak terugkomt en dat we ook in ons mytheboek hebben besproken: hebben kleinere klassen nu wel of niet een positief effect. Of beter: zelfs Hattie die vaak als bron genoemd wordt om te zeggen dat kleinere klassen geen effect hebben, zegt wel degelijk dat ze een positief effect hebben. Het is echter een dure maatregel volgens de Nieuw-Zeelandse professor en er zijn volgens hem goedkopere maatregelen die meer effect kunnen hebben.

In ons boek legden we al uit dat er in feite maar een beperkt aantal studies zijn die verder gaan dan het vaststellen van correlaties en naar causale effecten gekeken hebben op langere termijn. Deze nieuwe studie voegt hier verdere evidentie aan toe, al is het ook weer niet zo dat de redenering van Hattie – dat er goedkopere, betere maatregelen zouden zijn – niet per se weerlegd wordt.

In deze studie keek men naar de gevolgen van een besluit in Californië waarbij de klassen van peuterklas tot  de 7-8 -jarigen verkleind werden van gemiddeld 28.5 leerlingen naar gemiddeld 20 leerlingen. Wat in deze paper mij vooral opvalt, is welk effect dit alles had op de demografie van de scholen en de klassen. Het is een argument dat ik nog niet eerder tegenkwam, maar wat blijkt: kinderen die anders naar duurdere, private scholen zouden gaan, blijken nu vaker voor publieke scholen te kiezen. Dit ligt wellicht in lijn met de idee dat bij veel ouders leeft, dat kleinere klassen beter zijn en dat ze daarvoor bereid waren meer te betalen. Als de klassen kleiner werden in de publieke scholen, verdween die noodzaak.

De effectgroottes die de onderzoekers vaststellen gaan van 0.11 tot 0.4 op vier jaar tijd. Mensen die zich heel erg richten op Hattie, zouden nu kennen stellen dat 0.11 geen groot effect is. Het antwoord is hier genuanceerder en 0.4 op vier jaar tijd is een mooi cumulatief effect. Een van de redenen waarom het genuanceerder is: door de klasverkleining waren er logischerwijze meer leerkrachten nodig. Deze nieuwe leerkrachten zorgden voor een initiële daling van het leereffect omdat leerlingen bij kersverse leerkrachten sowieso vaak iets minder leren. Even een oude slide opgedoken om dit duidelijk te maken:

Anderzijds vermoeden de onderzoekers ook dat net die demografische evolutie door de aanpak een rol speelt in het leereffect. De vraag is dan in welke mate dit ook het geval kan zijn in plaatsen zoals Vlaanderen waar er veel minder privé-onderwijs is (al bestaan er dan wel ook andere verschillen tussen scholen). Los van dit alles: voor kleinere klassen heb je dus ook meer leerkrachten nodig. Het kan ook zijn dat kleinere klassen de job van leerkracht misschien terug aantrekkelijker maken, maar dan nog gaat daar een tijd over.

1 ding blijft voor mij duidelijk: het verhaal van al dan niet kleinere klassen is en blijft een zeer genuanceerd verhaal.

Abstract van het onderzoek:

This paper sheds new light on general equilibrium responses to major education reforms, focusing on a sorting mechanism likely to operate whenever a reform improves public school quality significantly. It does so in the context of California’s statewide class size reduction program of the late-1990s, and makes two main contributions. First, using a transparent differencing strategy that exploits the grade-specific roll-out of the reform, we show evidence of general equilibrium sorting effects: Improvements in public school quality caused marked reductions in local private school shares, consequent changes in public school demographics, and significant increases in local house prices — the latter indicative of the reform’s full impact. Second, using a generalization of the differencing approach, we provide credible estimates of the direct and indirect impacts of the reform on a common scale. These reveal a large pure class size effect of 0.11 SD (in terms of mathematics scores), and an even larger indirect effect of 0.16 SD via induced changes in school demographics. Further, we show that both effects persist positively, giving rise to an overall policy impact estimated to be 0.4 SD higher after four years of treatment (relative to none). The analysis draws attention, more broadly, to conditions under which the indirect sorting effects of major reforms are likely to be first order.

Pas Op de Plaats (POP) Innovatie

Blogcollectief Onderzoek Onderwijs

Deze blog, oorspronkelijk geschreven als column in DaltonVisie, beschrijft een van mijn grootste problemen met ‘onderwijsinnovatie’, namelijk het idee dat wij altijd iets nieuws moeten bedenken of ontwikken (e.g., een leeromgeving, een programma, een visie,…). Het is alsof men écht denkt dat stilstaan achteruitgang is, terwijl alleen als je stil staat bij iets kan daarover reflecteren, daar van leren, en uiteindelijk iets goed doorgronden (metacognitie dus).

Wat volgt is een pleidooi voor wat ik al jaren Pas Op de Plaats Innovatie (POP-innovatie) noem oftewel het stilstaan bij wat reeds ontwikkeld is om goed te kijken / onderzoeken hoe de mogelijkheden daarvan optimaal kan benutten.

Wij in het onderwijs lijken bevangen te zijn door een volkswijsheid (mijns inziens ooit verzonnen door een slimme reclameschrijver), namelijk dat stilstaan achteruitgang is. Het geloof hierin wordt gevoed door de overheid die steeds aankomt met nieuwe innovatie-initiatieven (denk aan het Studiehuis of Onderwijs2032), het…

View original post 595 woorden meer

Correlatie en causaal verband en smartphones

Vandaag in onder andere Humo en De Morgen staan artikels over smartphones en kinderen met de nodige waarschuwingen. De aanleiding voor deze artikels is het werk van onder andere Jean Twenge dat ik enkele maanden geleden ook al hier bracht. De Morgen brengt gelukkig ook Peter Nikken die de nodige duiding en relativering geeft, maar laten we kijken naar wat Twenge zelf stelt.

Het onderzoek waaruit blijkt dat jongeren later volwassen worden omdat ze vanalles uitstellen is interessant. Maar wat hier beschreven wordt in Humo is een correlatie, 2 of meerdere dingen die samen voorkomen:

Wat hier staat is een sterk vermoeden van Twenge eerder dan dat haar data dit bewijst als zekerheid. In haar boek en de opinie in The Atlantic haalt ze ook feller uit dan in wetenschappelijk werk. Wil dit nu zeggen dat we niet moeten nadenken over smartphone gebruik? Zeker wel, onder andere rond slaap is er echt wel de nodige evidentie dat we met problemen zitten. Maar er is ook iets anders: het is belangrijk dat we nadenken over deze evoluties die Twenge wel degelijk ziet en kijken wat deze kunnen betekenen voor onze samenleving. Als kinderen en jongeren bijvoorbeeld later volwassen worden, lees ook later verantwoordelijkheid leren nemen, wat betekent dat voor onderwijs bijvoorbeeld? Of ook: wat zin andere mogelijke oorzaken, angst van ouders bijvoorbeeld? Of nog: moeten we sommige van deze evoluties goed of slecht vinden en indien het laatste: er iets aan doen?

Vrij vertaald: het is dus een pak complexer dan enkel te kijken naar de smartphone…

Wat leer je van computerspelletjes spelen? 2 meta-analyses geven een antwoord.

Een van de vorige keren dat ik iets postte over een meta-analyse, kreeg ik een reactie op Twitter dat meta-analyses pseudo-wetenschap zijn. Dat is mijn inziens niet correct, al moet je wel beseffen dat je een abstractie krijgt van de werkelijkheid, en dat er vaak behoorlijke nuances zitten onder de algemene conclusies.

Deze twee meta-analyses keken specifiek naar wat het effect van het spelen van computergames is op

  • het boosten van aandacht,
  • ruimtelijk inzicht,
  • betere waarneming(ssnelheid),
  • cognitieve vaardigheden.

Wat blijkt uit de eerste meta-analyse?

Wel: spelen van computergames zou je helpen beter te focussen, je ruimtelijk inzicht verbeteren en het onderzoek doet ook vermoeden dat je sneller en beter kan waarnemen, maar tegelijk: nee, ze maken je wellicht niet slimmer (maar dat wisten we al).

Opgelet: de onderzoekers Bediou et aL vermoedden op basis van hun analyses ook een duidelijke publicatie-bias waarbij vooral positieve resultaten gepubliceerd zouden worden. Dit is een belangrijke waarschuwing, eerlijk gezegd en wat blijkt? De tweede meta-analyse onderzocht cognitieve vaardigheden, maar met ook aandacht voor oa ruimtelijk inzicht, beeldverwerking, enz. en wat blijkt: ze vinden geen positief oorzakelijk verband tussen het spelen van computergames en de cognitieve vaardigheden die ze onderzochten.

Abstract van het eerste onderzoek van Bediou et al.

The ubiquity of video games in today’s society has led to significant interest in their impact on the brain and behavior and in the possibility of harnessing games for good. The present meta-analyses focus on one specific game genre that has been of particular interest to the scientific community—action video games, and cover the period 2000–2015. To assess the long-lasting impact of action video game play on various domains of cognition, we first consider cross-sectional studies that inform us about the cognitive profile of habitual action video game players, and document a positive average effect of about half a standard deviation (g = 0.55). We then turn to long-term intervention studies that inform us about the possibility of causally inducing changes in cognition via playing action video games, and show a smaller average effect of a third of a standard deviation (g = 0.34). Because only intervention studies using other commercially available video game genres as controls were included, this latter result highlights the fact that not all games equally impact cognition. Moderator analyses indicated that action video game play robustly enhances the domains of top-down attention and spatial cognition, with encouraging signs for perception. Publication bias remains, however, a threat with average effects in the published literature estimated to be 30% larger than in the full literature. As a result, we encourage the field to conduct larger cohort studies and more intervention studies, especially those with more than 30 hours of training.

Abstract van het tweede onderzoek van Sala et al.:

As a result of considerable potential scientific and societal implications, the possibility of enhancing cognitive ability by training has been one of the most influential topics of cognitive psychology in the last two decades. However, substantial research into the psychology of expertise and a recent series of meta-analytic reviews have suggested that various types of cognitive training (e.g., working memory training) benefit performance only in the trained tasks. The lack of skill generalization from one domain to different ones—that is, far transfer—has been documented in various fields of research such as working memory training, music, brain training, and chess. Video game training is another activity that has been claimed by many researchers to foster a broad range of cognitive abilities such as visual processing, attention, spatial ability, and cognitive control. We tested these claims with three random-effects meta-analytic models. The first meta-analysis (k = 310) examined the correlation between video game skill and cognitive ability. The second meta-analysis (k = 315) dealt with the differences between video game players and nonplayers in cognitive ability. The third meta-analysis (k = 359) investigated the effects of video game training on participants’ cognitive ability. Small or null overall effect sizes were found in all three models. These outcomes show that overall cognitive ability and video game skill are only weakly related. Importantly, we found no evidence of a causal relationship between playing video games and enhanced cognitive ability. Video game training thus represents no exception to the general difficulty of obtaining far transfer.