Deze meta-analyse legt een kleine bom onder docentenevaluaties door studenten

Deze studie van Uttl, White en Gonzales passeerde al eerder mijn pad maar gisteren deelde Casper ze omdat het werk nu op ScienceDirect staat. Waarover gaat het? Deze nieuwe meta-analyse kijkt naar welke link er bestaat tussen hoe studenten hun docenten evalueren en hoe effectief die docenten zijn. Of nog concreter: leren studenten het meest van docenten de ze best beoordelen in docentenevaluaties? Het antwoord is overduidelijk: er is geen link:

  • Students do not learn more from professors with higher student evaluation of teaching (SET) ratings.
  • Previous meta-analyses of SET/learning correlations in multisection studies are not interprettable.
  • Re-analyses of previous meta-analyses of multisection studies indicate that SET ratings explain at most 1% of variability in measures of student learning.
  • New meta-analyses of multisection studies show that SET ratings are unrelated to student learning.

Dit wil dus niet zeggen dat je minder leert bij populaire lesgevers of vice versa, wel dat er geen verband is. In feite is dit – zoals de onderzoekers zelf aangeven in hun werk – niet helemaal onlogisch. Het is perfect in te beelden dat je een zeer fijne les krijgt, waar je weinig van oppikt. In de discussie op Twitter naar aanleiding van de tweet van Casper kwam er een mooi voorbeeld:

Waarop Casper deze relevante blogpost over Lewin en ‘pseudo-teaching’ aanbracht

Nu, zowat elke hoger onderwijs instelling bevraagt zijn studenten over hun docenten. Moet men hier nu mee stoppen? Wellicht niet, het is niet slecht om te weten hoe studenten lessen ervaren. Tegelijk pleit deze meta-analyse wel voor zeer grote voorzichtigheid met het koppelen van consequenties aan deze beoordelingen.

Disclaimer: voor wie zou denken dat ik dit onderzoek breng omdat mijn resultaten op dergelijke beoordelingen negatief zouden zijn: nope :).

Abstract van het onderzoek:

Student evaluation of teaching (SET) ratings are used to evaluate faculty’s teaching effectiveness based on a widespread belief that students learn more from highly rated professors. The key evidence cited in support of this belief are meta-analyses of multisection studies showing small-to-moderate correlations between SET ratings and student achievement (e.g., Cohen, 1980, 1981; Feldman, 1989). We re-analyzed previously published meta-analyses of the multisection studies and found that their findings were an artifact of small sample sized studies and publication bias. Whereas the small sample sized studies showed large and moderate correlation, the large sample sized studies showed no or only minimal correlation between SET ratings and learning. Our up-to-date meta-analysis of all multisection studies revealed no significant correlations between the SET ratings and learning. These findings suggest that institutions focused on student learning and career success may want to abandon SET ratings as a measure of faculty’s teaching effectiveness.

 

2 gedachten over “Deze meta-analyse legt een kleine bom onder docentenevaluaties door studenten

  1. Blijkbaar is het voor iedereen, zowel leerlingen als leerkrachten, zeer moeilijk om te beoordelen of er al dan niet geleerd wordt in een bepaalde context.
    Soderstrom en Bjork (2015) illustreerden met een hele resem voorbeelden de (verkeerde) overtuigingen leerlingen op dit vlak. Bijvoorbeeld “one study investigated undergraduates’ awareness of six empirically supported learning strategies, three of which—spacing versus massing, testing versus restudying, and generating versus reading—we have discussed in earlier sections of this review. Overwhelmingly, students endorsed as most effective those strategies known to enhance short-term performance, a pattern that was strikingly evident when students were confronted with choosing between massed or spaced study: 93.33% of surveyed students incorrectly endorsed massed study as being more effective for learning than spaced study” (p. 188).
    Nuthall (2001) documenteerde hoe leerkrachten verkeerde inschattingen maakten: “Almost every teacher knew their teaching was going well from signs of students’ engagement. It was the look in the students’ eyes, the questions they asked, the fact that they didn’t stop talking about the topic or problem when they left the classroom. In short, by the feel and sounds of interest and focused busyness. In most teachers minds, the criteria for successful learning were the same as the criteria for successful management.” (p. 15)

    Voor de docentenevaluaties kan men zich bovendien afvragen in welke mate die opgesteld zijn met als doel het leerproces zelf te evalueren…

    Nuthall, G. (2001). The cultural myths and the realities of teaching and learning. New Zealand annual review of education, 11, 5-30. http://www.nzare.org.nz/portals/306/images/Files/graham_nuthall_herbison2001.pdf
    Soderstrom, N. C. & Bjork, R. A. (2015). Learning Versus Performance An Integrative Review. Perspectives on Psychological Science, 10(2), 176-199. https://www.researchgate.net/profile/Robert_Bjork/publication/275355435_Learning_Versus_Performance_An_Integrative_Review/links/553e61880cf210c0bdaa538e.pdf

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s