Gastblog van Linda Duits: Gratis database met lessen over populaire cultuur

25 05 2013

NuSkool.com is een Amerikaanse online database met lessen over populaire cultuur. Selecteer voor welke klas je lesmateriaal zoekt, voor welk vak en over welk medium, en er rolt een les uit. Kiezen we bijvoorbeeld voor wiskunde en muziek voor 6th grade, dan krijgen we een les over de overeenkomsten tussen de muziek van Kate Perry en Justin Bieber. Kiezen we voor geschiedenis voor 11th grade aan de hand van games, dan krijgen we een les over de historische juistheid van Assassin’s Creed.

Alle lessen zijn gratis beschikbaar, je hoeft je alleen te registreren. De vakken waaruit je kunt kiezen zijn wiskunde, beta-wetenschappen, Engels, sociale wetenschap, geschiedenis, kunst en creatief schrijven. De media zijn muziek, film, tv, games, sport, sociale netwerken en popcultuur.

Brein achter de site is Abran Maldonado. Hij is een Gates Millennium Scholar en kreeg daarmee van Bill Gates de mogelijkheid zich verder te ontwikkelen. Hij komt uit de muziekindustrie, maar is momenteel bezig met een promotieonderzoek in Education.

(Deze blogpost verscheen eerder op dieponderzoek.nl)





Gastblog van Jeroen Janssen: De (nog) niet gerealiseerde potentie van onderwijstechnologie voor het rekenonderwijs?

17 05 2013

Deze blogpost van Jeroen Janssen verscheen op de zeer relevante blog die hij en Casper bijhouden op onderwijskunde.blogspot.be. Als je deze nog niet volgt, laat dit een inspiratie zijn. Overgenomen met toestemming!

Moeten we hoge verwachtingen hebben van het inzetten van onderwijstechnologie in het rekenonderwijs? Een recente meta-analyse suggereert dat misschien niet realistisch is. 

Al jaren wordt er door overheden en scholen flink geïnvesteerd in nieuwe technologie. Nieuwe technologische toepassingen zoals interactieve whiteboards, tablets, smart phones vinden hierdoor hun weg meer en meer naar het klaslokaal. Dat het inzetten van technologie in het onderwijs big business is, blijkt wel uit het feit dat de Amerikaanse overheid in 2009 besloot 650 miljoen dollar beschikbaar te stellen voor onderwijstechnologie.

Dit roept de vraag op wat deze investeringen opleveren. Er wordt geïnvesteerd in onderwijstechnologie met het doel om het onderwijs te verbeteren, om het leerproces van leerlingen beter te ondersteunen en om leraren te helpen nog beter onderwijs te verzorgen. Lukt dat ook? Dat is de vraag die de honderden, zo niet duizenden, studies die de afgelopen decennia zijn uitgevoerd naar de effecten van onderwijstechnologie proberen te beantwoorden.

Om uit die enorme hoeveelheid studies zinnige conclusies te kunnen trekken – sommige studies vinden immers een positief effect, anderen geen effect, en weer anderen een negatief effect – voeren onderzoekers regelmatig meta-analyses uit. Met een meta-analyse proberen onderzoekers het effect van een interventie, van een nieuwe toepassing, samen te vatten met één maat, deeffectgrootte. Deze effectgrootte wordt berekend door de uitkomsten van de studies die worden opgenomen in de meta-analyse te combineren. Hierbij krijgen grotere en betrouwbaardere studies meer gewicht dan kleinere en onbetrouwbaardere studies.

 
Cognitive Tutor, één van de programma’s die is opgenomen in de meta-analyse van Cheung en Slavin (2013).

Een recente meta-analyse, uitgevoerd door Cheung en Slavin (2013), probeert de vraag te beantwoorden wat het effect van onderwijstechnologische toepassingen is op de rekenprestaties van leerlingen in het basis- en voortgezet onderwijs. Dat effect blijkt niet groot te zijn. Cheung en Slavin vonden een effectgroote van +0.16. Een positief effect van onderwijstechnologie weliswaar, maar wel een zeer bescheiden effect: leerlingen die met onderwijstechnologie werken tijdens het rekenonderwijs presteren beter dan kinderen die daar niet mee werken. Dit verschil is echter relatief klein.

 
De indeling van effect groottes zoals gehanteerd door Hattie.

In de terminologie van Hattie’s Visisble Learning (2009) gaat het hier om een effectgrootte die ruim onder de door hem gehanteerde grens van +0.40 blijft. Effectgroottes boven +0.40 zijn volgens Hattie betekenisvolle effecten; effecten van daadwerkelijk effectieve interventies. Blijft een interventie onder deze grens, dan is het de vraag of implementatie van deze interventie wel zinvol is.

Deze bevinding staat veraf van de positieve verwachtingen die de evangelisten van onderwijstechnologie hebben. Hoe kan het dat – althans in het rekenonderwijs – de effecten van onderwijstechnologie zo bescheiden zijn? De effectgrootte die Cheung en Slavin vinden, is ook behoorlijk lager dan die eerder door andere auteurs werd gevonden. Zo vonden Li en Ma (2011) een effectgrootte van +0.28, Kulik en Kulik (1991) een effectgrootte van +0.39 en Khalili en Shashaani (1994) zelfs een effectgrootte van +0.52 van onderwijstechnologie op prestaties in het rekenonderwijs. Hattie (2009) vond in zijn review van alle meta-analyses naar de effecten van onderwijstechnologie een effectgroote van +0.37. Hoe is dit te verklaren?

Het moge duidelijk zijn dat Cheung and Slavin niet de eersten zijn die een meta-analyse uitvoeren naar de effecten van onderwijstechnologie in het rekenonderwijs. Ze beschrijven in hun artikel daarom ook uitgebreid op welke vlakken hun meta-analyse afwijkt van eerdere meta-analyses en waarom hun meta-analyse een betrouwbaarder resultaat oplevert. Volgens Cheun en Slavin bevatten eerdere meta-analyses duidelijke tekortkomingen; tekortkomingen die hun meta-analyse niet heeft. Deze zijn onder andere:

  1. Geen controlegroep: In eerdere meta-analyses zijn vaak studies opgenomen waarbij geen gebruik gemaakt wordt van een controlegroep; een controlegroep waarbij de leerlingen “onderwijs-zoals-gebruikelijk” kregen. Zonder zo’n controlegroep is het onmogelijk om toename in rekenprestaties met zekerheid toe te schrijven aan onderwijstechnologie. Zo’n toename kan dan ook veroorzaakt worden door andere factoren dan de onderwijstechnologie, bijvoorbeeld rijping of groei.
  2. Korte duur: Veel studies naar het gebruik van onderwijstechnologie betreffen studies waarbij slechts voor korte tijd (soms slechts één les) met de onderwijstechnologie gewerkt wordt. Door slechts voor een korte periode met onderwijstechnologie te werken, bestaat het risico dat de gevonden effect grootte slechts toe te schrijven is aan de nieuwigheid van de onderwijstechnologie. Pas wanneer voor langere tijd met onderwijstechnologie gewerkt wordt, met andere woorden als de nieuwigheid er voor leerlingen en leraren vanaf is, is volgens Cheung en Slavin écht vast te stellen wat het effect ervan is voor het onderwijs. In de meta-analyse van Cheun en Slavin zijn daarom alleen studies opgenomen die 12 weken of langer duurden.
  3. Verschillen tussen onderzoeksgroepen bij aanvang van de studie: Volgens Cheung en Slavin is het van belang dat bij aanvang van een onderzoek wordt vastgesteld of de onderzoeksgroepen vergelijkbaar zijn. Wanneer de rekenprestaties in de ene groep bij aanvang van het onderzoek al hoger zijn dan de andere groep, dan is geen eerlijke vergelijking mogelijk. Daarom namen Cheung en Slavin in hun meta-analyse alleen studies op waarbij er een zogenaamde voormeting werd gedaan, zodat was vast te stellen of de onderzoeksgroepen bij aanvang wel vergelijkbaar waren.

Het moge duidelijk zijn: Cheung en Slavin zijn streng. Alleen studies die aan strenge criteria voldoen, zijn opgenomen in deze meta-analyse. Op basis van een zoektocht in verschillende databases localiseerden Cheung en Slavin meer dan 700 studies die mogelijk in aanmerking zou komen voor opname in de meta-analyse. Uiteindelijk konden daarvan slechts 74 aan de strenge criteria van Cheung en Slavin voldoen. En op basis van deze 74 studies moeten we concluderen dat onderwijstechnologie een kleine, maar positieve bijdrage levert aan het verbeteren van de rekenprestaties van leerlingen in het basis- en het voorgezet onderwijs.

 
Zal de iPad een groter effect hebben op het onderwijs?

Moeten we dan accepteren dat tot nu toe de effecten van onderwijstechnologie in het rekenonderwijs slechts bescheiden zijn? De uitkomsten van de meta-analyse laten weinig ruimte voor een andere conclusie. Dat wil uiteraard niet zeggen dat onderwijstechnologie niet depotentie heeft om een grotere bijdrage te gaan leveren aan het verbeteren van het rekenonderwijs. Ook onderwijstechnologie ontwikkelt zich in een snel tempo; nieuwe toepassingen worden met grote regelmaat beschikbaar en met veel enthousiasme door sommige leraren ingezet in het onderwijs. Wie weet hoe het klaslokaal van 2020 eruit zal zien en op welke manier onderwijstechnologie dan – misschien beter dan toe nu toe – het onderwijs veranderd en verbeterd zal hebben?

Referenties

  • Cheung, A. C. K., & Slavin, R. E. (2013). The effectiveness of educational technology applications for enhancing mathematics achievement in K-12 classrooms: A meta-analysis. Educational Research Review9, 88-113. doi:j.edurev.2013.01.001
  • Hattie, J. (2009). Visible learning: A synthesis of over 800 meta-analyses relating to achievement. New York: Routledge.
  • Khalili, A., & Shashaani, L. (1994). The effectiveness of computer applications: A meta-analysis. Journal of Research on Computing in Education27, 48–62.
  • Kulik, C. L. C., & Kulik, J. A. (1991). Effectiveness of computer-based instruction: An updated analysis. Computers in Human Behavior7, 75–94.
  • Li, Q., & Ma, X. (2011). A meta-analysis of the effects of computer technology on school students’ mathematics learning.Educational Psychology Review22, 215–243.




Gastblog van Linda Duits: Provocatie Abercrombie & Fitch laat hypocrisie andere merken zien

15 05 2013

Deze post verscheen eerder op dieponderzoek.nl.

Een kleine hype rondom Abercrombie & Fitch. Uit een artikel in Business Insiderblijkt dat het kledingmerk geen maten boven de 40/42 meer verkoopt. Het artikel citeert uit een interview met CEO Mike Jeffries uit 2006 waarin hij uitlegt dat A&F een exclusief merk wil zijn dat zich richt op de coole kids, en die zijn nu eenmaal dun. Er ontstond een relletje. ‘Mean Girls!’ riep Forbes, verwijzend naar de film over bitchy tienermeisjes. ‘Een lelijke zoektocht’ schreef de LA Times. Een tegenreactie kon niet uitblijven en een 18-jarige jongen startte een petitie en kondigde een boycot aan, onder het motto Proud2Bme.

De uitspraken van Jeffries zijn al zeven jaar oud. Waarom nu de rel? Het is aardig om deze campagne te contrasteren met Dove. Recentelijk werd er op verschillende Amerikaanse blogs kritiek geformuleerd op Dove’s campagne voor echte schoonheid, waarin het zogenaamd te doen zou zijn om schoonheid van binnen maar waarbij Dove nog steeds een bijzonder nauw schoonheidsideaal hanteert (zie deze columnvan Asha ten Broeke). Hypocriet dus.

Wat Abercrombie doet is provocerend eerlijk zijn over wat ze doen. De mode-industrie draait om uitsluiting. Bij de H&M kun je inderdaad grote maten kopen, maar ze vertellen je niet dat een maat L van het eigen merk Logg overeenkomt met een maat M van het eigen merk Divided. De reden: Divided moet een hipper merk zijn dan Logg. Ook veel andere ‘jonge’ merken, zoals Monki en Mango, verkopen geen grotere maten dan L waarbij L staat voor maat 40-42. Je zou in die zin kunnen zeggen dat de uitspraken van Jeffries een sneer zijn naar zijn concullega’s, die diezelfde tactieken toepassen, maar dan verhuld.

Abercrombie wil duidelijk reacties uitlokken. Het lukt ze dan ook goed om hiermee gratis publiciteit te verkrijgen, niet in de minste plaats omdat media geobsedeerd zijn door het schoonheidsideaal. De tegencampagne Proud2BMe bevestigt bij Abercrombie’s doelgroep van dunne hippe tieners precies de boodschap: een exclusief merk dat niet voor iedereen toegankelijk is. Een bevestiging van het lichamelijk kapitaal.





Gastblog van Dennis Hoogervorst: Onderzoek: ’Nederlandse 17-30-jarigen hebben geen last van technostress’

8 05 2013

Dennis Hoogervorst blogt terug en dat is fantastisch nieuws. Check hier Kids en Jongeren waar deze post eerst verscheen:

Eind 2012 wees FNV op de fysieke en psychische gevolgenvan ‘technostress’ bij werknemers. Nieuw onderzoek vanStudentenWerk onder 529 jongeren tussen de 17 en 30 jaar spreekt dit nu tegen. Het blijkt dat ruim driekwart van de jongeren/jongvolwassenen niet warm of koud wordt van de continue bereikbaarheid via telefoon, e-mail en/of social media. Hoewel vrienden, familie, docenten én werkgevers hen altijd en overal kunnen bereiken, leveren de belletjes, sms’jes, ‘pokes’ en statusupdates geen extra stress op.

Het onderzoek geeft aan dat bereikbaarheid een duidelijke keuze is: de helft van de respondenten raakt er niet gestrest van, omdat zij er bewust voor kiezen om offline te gaan wanneer dat zo uitkomt. Ruim een kwart ervaart helemaal geen stress en vindt altijd online en bereikbaar zijn juist handig.

“De nieuwe generatie zit constant online, zowel privé als voor hun werk. Ze zijn flexibel en pakken ontwikkelingen op het gebied van digitale communicatie razendsnel op. Zo kun je je bereikbaarheid op allerlei manieren aanpassen aan je eigen voorkeuren, elk social medium heeft daar opties voor. Juist jongeren hebben direct door hoe je deze instellingen slim kunt toepassen. Zij snappen ook wel dat je hardware gewoon kunt uitzetten als dat nodig is.” [Hugo de Koning, StudentenWerk]

Toch zijn niet alle 17-30-jarigen technostressvrij, 16% raakt zelfs licht in paniek in geval van onbereikbaarheid. Tot deze groep behoren opvallend veel jongeren met een universitaire opleiding. En ook onder jongeren en jongvolwassenen bestaan ze: de geheelonthouders die bewust zonder smartphone of socialmediaprofiel door het leven gaan. Wel zijn zij met 7% in de minderheid; het grootste deel van deze groep (34%) zit nog op de middelbare school.

Mannen lijken beter te kunnen omgaan met alle prikkels van de moderne communicatiekanalen dan vrouwen. Uit het onderzoek blijkt namelijk dat vooral mannen het praktisch vinden om continu met hun (sociale) netwerk in contact te staan (60% man tegenover 40% vrouw). Vrouwen kiezen er daarentegen weer wat vaker bewust voor om even offline te gaan, als zij niet bereikbaar willen zijn (53% vrouw tegenover 47% man). Opmerkelijk is dat in deze online-/offline-groep niet alleen de vrouwen, maar ook de hbo’ers bovengemiddeld scoren (38%).





Linda Duits maakte een overzicht van recent onderzoek naar YouTube Automutilatie, gymles en lachen om Islam

29 04 2013

Linda Duits maakte dit handige overzicht van recente studies naar de invloed van YouTube voor dieponderzoek.nl.

Vorige week bestond YouTube acht jaar. Het platform waar video’s gedeeld heeft vanaf de start meteen in de belangstelling van onderzoekers gestaan. Het onderzoek naar YouTube is extreem divers en een categorisatie ervan zou veel tijd kosten. Er zijn onderzoekers die in YouTube – zoals ook bij andere media veel gebeurt – een bron van kwaad zien. Anderen zien het als een plek voorempowerment, waar bijvoorbeeld makkelijk geleerd kan worden. Sommige onderzoekers gebruiken YouTube-filmpjes als data zodat ze niet in de fysieke wereld hoeven te observeren. Er wordt ook gekeken naar YouTube als reclamemiddel. Google Scholar geeft maar liefst 800.000 resultaten op YouTube. Wat wordt er zoal onderzocht? Ter ere van de verjaardag een bloemlezing uit recent onderzoek (2012 en 2013).

1. YouTube, fanvids, forums, vlogs and blogs: Informal music learning in a convergent on- and offline music community
Janice Waldron, International Journal of Music Education [abstract]

Er bestaan verschillende banjo-gemeenschappen, en die bestaan ook online. Wat zijn verschillen in de manier waarop mensen banjo leren spelen?

2. The YouTube Lens: Crowdsourced Personality Impressions and Audiovisual Analysis of Vlogs
Joan-Isaac Biel en Daniel Gatica-Perez, Transactions on Multimedia [abstract]

Hoe vormen mensen zich een beeld van anderen? Vlogs vertellen het publiek veel meer over de auteur dan geschreven teksten.

3. How Funny Can Islam Controversies Be? Comedians Defending Their Faiths on YouTube
Fadi Hirzalla, Liesbet van Zoonen en Floris Müller, Television and New Media [abstract] [bespreking op Diep]

Over de Islam worden grappen gemaakt. Heeft dit ook een functie heeft als ‘burgerschapspraktijk’? Een analyse van de discussies onder twee YouTube-video’s, allebei gemaakt in reactie op Fitna van Geert Wilders.

4. PE on YouTube – investigating participation in physical education practice
Mikael Quennerstedta, Physical Education and Sport Pedagogy [abstract]

Docenten en leerlingen leggen gymlessen vast op video en plaatsen die op YouTube. Hoe verloopt de interactie en participatie?

5. The (Non)Violent World of YouTube: Content Trends in Web Video
Andrew J. Weaver, Asta Zelenkauskaite en Lelia Samson, Journal of Communication [abstract]

Televisie is vaak bekritiseerd om gewelddadige inhoud. Deze inhoudsanalyse van 2520 YouTube-videos laat zien dat de wereld van YouTube opmerkelijk geweldloos is.

6. Empowering Online Advertisements by Empowering Viewers with the Right to Choose The Relative Effectiveness of Skippable Video Advertisements on YouTube
M. Pashkevich, S. Dorai-Raj en D. Zigmond D, Journal of Advertising Research [abstract]

Op YouTube kan je na 5 seconden reclame voor een filmpje weg-‘skippen’. Hoe effectief zijn die reclames dan nog?

7. Helpful or Harmful? An Examination of Viewers’ Responses to Nonsuicidal Self-Injury Videos on YouTube
Stephen P. Lewis, Nancy L. Heath, Michael J. Sornberger en Alexis E. Arbuthnott, Journal of Adolescent Health [abstract]

Op YouTube vind je ook filmpjes waarin mensen zichzelf snijden of branden. Hoe reageren kijkers hierop? Deze analyse van comments schetst geen positief beeld.

8. YouTube and Social Movements: A Phenomenological Analysis of Participation, Events and Cyberplace
David Meek, Antipode [abstract]

Een van de grootste YouTube-hits was Kony 2012. Wat is de link tussen het creëren van bewustzijn en daadwerkelijk deelname in een sociale beweging?





Gastblog van Linda Duits: Sociale media voor jongeren manier om gelaagder met elkaar te praten

19 04 2013

Deze blogpost van Linda Duits verscheen eerder op dieponderzoek.nl.

Er is ontzettend veel onderzoek naar de rol die sociale netwerken spelen in het leven van jongeren. Het antwoord op die vraag hangt sterk samen met de onderzoeksmethode. Vraag je naar een antwoord op een schaal van 1 tot 7 in een grootschalige survey, of kijk je met iemand mee in zijn gebruik? In een recent gepubliceerde studie [abstract] lieten Fatimah Awan en David Gauntlett jongeren van 14 en 15 jaar ‘identiteitsdozen’ maken om zo hun begrip van sociale media te onderzoeken.

Bij surveys en interviews staat taal erg op de voorgrond. Bij deze methode moesten respondenten eerst nadenken en daarna iets maken. Hierdoor hadden ze de tijd te reflecteren op het onderwerp en zichzelf. De deelnemers kregen een schoenendoos en allerlei knutselmateriaal. Ze kregen ook uitgebreide uitleg over wat de bedoeling was. Ze hadden zeven dagen de tijd om de doos af te maken. Daarna konden ze in een interview uitleggen wat hun doos precies betekende. Het ging om 138 jongeren van verschillende etnische afkomst uit zes Britse steden. De data zijn verzameld in 2009. Meer over de methode en studie hierhier legt onderzoeker Gauntlett zijn eigen identiteitsdoos uit.

Gemak
Sociale media en instant messaging zijn manieren om te communiceren met vrienden. Het opdoen van nieuwe contacten komt nauwelijks voor. De jongeren vonden sociale media vooral handig voor vrienden die geografisch minder dichtbij waren. In contacten met mensen die ze dagelijks zagen, vonden ze sociale media niet essentieel. Sociale media zijn vaak onderdeel van een dagelijkse routine. Verveling speelt daarbij een belangrijke rol: de jongeren gaven aan online te gaan uit verveling. Ze konden ook makkelijk zonder:

“I could cope without it but it’s about convenience. A lot of technology today it’s just about convenience. Without Facebook I suppose I would do a bit more walking and I maybe would socialise more, like person-to-person, it is important but I could live without it” – Joe.

Controle
De deelnemers zagen online communicatie als een manier waarmee ze zich vrij konden uiten. Omdat je soms anoniem kunt zijn, kun je dingen zeggen zonder negatieve consequenties. Dit beschermt hun gevoelens. Ze waren zich er daarbij ook bewust dat daar een duistere kant aan zit, van pesten en online pedofielen. Daarnaast vonden ze dat ze online meer controle hadden over situaties:

“It’s easier to tell them [friends] through MSN or Facebook because that way I don’t have to see their reaction and it’s, it’s just easier to for me to tell people things over MSN and Facebook than it is to tell them personally … I don’t have to like look into their eyes and see them laugh at me or something. It’s easier to stop yourself from getting upset basically” – Chloe.

De deelnemers gebruikten veel smileys en emoticons om te zorgen dat hun bedoelingen goed overkwamen.

Privacy
Je Facebook-profiel is niet je echte ik. Het is een weergave van wat je leuk vindt, maar de deelnemers hielden bewust allerlei informatie achter. Bijvoorbeeld over hun familie of over hun diepere gevoelens. De deelnemers waren zich bewust dat het niet alleen goede vrienden zijn die hun profiel kunnen zien.

“I don’t really like being my full self to people that I don’t really know because I’m concerned of what they’ll think, so with the computer, like well when you see my page and stuff, like I put some pictures of myself but like that’s why I never really make videos or anything cos I don’t like exposing myself too much like to people I don’t know” – Elizabeth.

Online vriendschappen worden gezien als minder dan offline vriendschappen: pas dan leert iemand je echt kennen. Daarom gaven vrijwel alle deelnemers uiteindelijk de voorkeur aan face-to-face-communicatie: “Nothing will ever compensate for the real thing”.

Conclusie
Het internet was voor de deelnemers geen verlengstuk van hun offline levens. In plaats daarvan zorgden sociale media ervoor dat er meer lagen aangebracht konden worden in vriendschappen en communicatie. Online kunnen jongeren hun identiteit zorgvuldig vormgeven – en op die manier komen ze er ook achter wie ze eigenlijk zijn.





Gastblog van Casper Hulshof: Help, mijn kind moet naar een Steve Jobsschool!

17 04 2013

Casper Hulshof, waarmee ik ‘Jongens zijn slimmer dan meisjes‘ schreef, maakte deze uitgebreide analyse van de verschillende documenten die een beeld schetsen van wat de Steve Jobs-scholen zoal inhouden. Ik plaats hier ook deze analyse met zijn toestemming. Zelf stel ik steeds dat visie belangrijker is dan technologie en de belangrijkste vaststelling die Casper meegeeft in zijn analyse, is dat de technologie (en zeker de iPad) ondanks de naam Steve Jobs-school vooral een belangrijke bijrol speelt in plaats van de hoofdrol die je in de berichtgeving meestal merkt. Zelf deel ik de mening van Casper dat de hoge ambities misschien wel het belangrijkste knelpunt zal blijken. Maar hier zal vooral de toekomst uitsluitsel moeten geven. Oja, wie een afbrekend stuk verwacht, stop nu maar met lezen, want net als in ons boek is het vooral genuanceerd.

Uw kinderen gaan al enkele jaren met plezier naar de school in de buurt. Het schoolgebouw was al jaren aan vervanging toe en inmiddels is de bouw van een nieuwe school begonnen. Er zijn regelmatig bijeenkomsten waarin een update over de bouw wordt gegeven. Tijdens een een van deze avonden kondigt het schoolbestuur aan het vanaf september 2013 helemaal anders aan te willen pakken: de nieuwe school zal verdergaan als ‘Steve Jobsschool’. Uiteraard heeft dat consequenties, bijvoorbeeld voor het personeel waarvan een deel ‘wordt vervangen’. Zo moet het ongeveer gegaan zijn in Sneek. De directeur is trots want de school is ‘klaar voor de toekomst‘. De plannen leiden echter ook tot heftige reacties en aandacht van de media. Sommige ouders zijn zich rotgeschrokken en zeggen hun kind van school te halen. Toch zijn er ook nieuwe aanmeldingen. En u, wat gaat u doen? Wellicht heeft u kritische vragen over het schoolconcept van de Steve Jobsschool. De organisatie achter het concept, O4NT, heeft verschillende documenten op haar website gezet waarin alles uitgelegd wordt. Het is een goed idee die documenten te bekijken. Toch kan ik me indenken dat niet elke ouder gewend is om een schoolmodel door te nemen en kritisch te bekijken. Dat is jammer, want ik heb gemerkt dat kritische opmerkingen door O4NT (en ook door oprichter Maurice de Hond) steevast worden beantwoord met: “Lees ons schoolmodel, dan wordt alles duidelijk.”
Omdat ik pretendeer iets van onderwijskunde te weten dacht ik dat het wellicht nuttig zou zijn als ik commentaar geef op het onderwijsmodel van de Steve Jobsscholen. Daarom heb ik het O4NT schoolmodel in detail doorgenomen. Ik spreek steeds abstract over ‘O4NT’ als de auteurs van het model, maar uiteraard horen daar gewone personen bij. Hieronder geef ik mijn commentaar op het model, en ik zal daarbij ingaan op zaken die me aanspreken, en zaken waarvan ik denk: dat zou ik niet doen. Aan het eind geef ik ook een oordeel over het schoolmodel en ik zal zeggen of u uw kinderen in september met een gerust hart naar de Steve Jobsschool kunt laten gaan.

De documenten

O4NT biedt op haar website verschillende documenten aan. Het interessantst is het schoolmodel, maar er is bijvoorbeeld ook een document voor scholen die zich willen aansluiten bij het concept met criteria waaraan zij moeten voldoen (bijvoorbeeld een goed functionerend draadloos netwerk). Er is zelfs een wat curieus document met ‘beloften aan het kind’. Die beloften wijken overigens niet af van wat je op een normale school mag verwachten. O4NT verdient complimenten voor de stukken die ze publiceren. Het schoolmodel is in heldere taal geschreven en het bevat ook geen vreemde of obscure terminologie. Als er onderwijstermen gebruikt worden (’21st century skills’) dan worden die uitgelegd, op een aantal uitzonderingen na (‘serious gaming’). Ook wordt niet gestrooid met hippe Engelse termen, wat zeker mogelijk was geweest. En ‘gameday’ klinkt ook wel aantrekkelijker dan ‘sport- en speldag’ (wat de lading ook niet goed dekt).

Het schoolmodel

In het document staat het schoolmodel tweemaal beschreven, een keer in het kort en een keer uitgebreid. Heel veel verschillen de beschrijvingen niet van elkaar. In het document voor scholen zijn overigens her en der aanvullingen te vinden, met name over wat wel en niet verplicht is.
Bij het lezen springen twee zaken meteen in het oog: de naam ‘Steve Jobs’ en het gebruik van iPads. Dat heeft ertoe geleid dat het schoolconcept in de volksmond bekend staat als de ‘iPadschool’. Dat is jammer, want het doet echt geen recht aan het O4NT-concept. Dat concept is veel breder dan ‘alle leerlingen werken met iPads’. Sterker: ik zou durven stellen dat de iPad in zekere zin een ondergeschikte rol speelt in het schoolconcept. Hierover later meer. Over de keuze voor de iPad (uit logistieke en praktische overwegingen) en de naam Steve Jobs is al veel gezegd, daar ga ik hier niet op in. Het beestje moet een naam hebben.

Het schoolmodel van O4NT bestaat globaal uit vier verschillende punten, namelijk:

  1. Het onderscheid tussen een fysieke en een virtuele school
  2. De verschillende leerdoelen (kerndoelen en 21st century skills)
  3. Communities in en rond de school (de school als onderdeel van een groter geheel)
  4. De praktische organisatie van de school (wat uiteenvalt in acht aspecten)

De uitleg bij deze vier punten maakt duidelijk: hier is een club met ambitie aan het werk. O4NT wil veel, heel veel, en het moet allemaal tegelijk gebeuren. Daar zit wat mij betreft ook wel een knelpunt: de praktijk lijkt door tomeloze ambitie voorbij te worden gestreefd. Er wordt veel gevraagd van bestuurders, docenten, ouders en leerlingen. Ik bespreek kort de kenmerken van de vier punten zoals die in de documenten beschreven worden.

Het onderscheid tussen een fysieke en een virtuele school

U heeft wellicht in een klas met zo’n 25 anderen gezeten, een leerjaar heet dat. De Steve Jobsschool volgt een heel ander concept, namelijk SlimFit. Dat is een onderwijsinnovatie waarbij er geen klassen zijn, maar ‘units’. Een unit bestaat uit 70 tot zo’n 100 leerlingen (of minder als de school kleiner is). Een unit heeft geen leerkracht, maar een team van begeleiders en coaches. Een Steve Jobsschool heeft dus geen leerkrachten in dienst. In de school zijn grote en kleine groepsruimtes, met zaken als openslaande deuren om een ruimte van klein groot te maken. De ruimtes zijn geen klassen, maar ‘ateliers’. Er is een rekenatelier, een taalatelier, maar ook een laboratorium en een keuken (waar onder begeleiding door leerlingen gekookt wordt). In de ateliers wordt veel zelfstandig geleerd, maar er worden ook regelmatig wedstrijden gehouden. Er zijn ook ruimtes die de creativiteit (‘out of the box’-denken) stimuleren, met grote schermen en beamers. Buiten is ruimte voor het verzorgen van planten en dieren: Jan Ligthart kijkt vanaf een wolk waarschijnlijk goedkeurend toe.
SlimFit bestaat al een tijdje. Het is op zichzelf een ‘innovatief’ onderwijsexperiment. Het klinkt leuk, maar we weten dus niet of het goed werkt. Ik vind het verstandig dat O4NT aansluit bij een lopende onderwijsinnovatie, maar je moet als ouder maar geloven dat het loslaten van het fysieke klaslokaal ook positief uitpakt.
De fysieke school is lang open elke dag, maar de virtuele school is altijd open. Dit is de digitale leeromgeving (de ‘ELO’) waartoe leerlingen, begeleiders en ouders toegang toe hebben. Verder vallen mij in het bijzonder nog twee zaken op:

  1. Het doel is om aanwezigheid in de school automatisch te registereren. Een elektronische prikklok, dus.
  2. In het onderwijs wordt ‘serious gaming breed ingezet’. Meer krijgen we hierover niet te lezen helaas. In het model zie je wel regelmatig wedstrijdelementen terugkomen, iets wat een duidelijk verband heeft met ‘gaming’.

De belangrijkste implicatie is dat een leerling niet altijd aanwezig hoeft te zijn op de fysieke school tijdens reguliere schooltijden. Onder praktische organisatie hierover meer.

De verschillende leerdoelen

Er bestaan wettelijk geformuleerde leerdoelen. De onderwijsinspectie kijkt of scholen die doelen nastreven. De Steve Jobsschool hanteert die officiele leerdoelen, maar voegt er extra doelen aan toe. De nieuwe doelen passen bij O4NT (dat staat voor ‘Onderwijs voor een Nieuwe Tijd’). In de onderwijswereld staan ze bekend als ’21st century skills’. Dat zijn vaardigheden als samenwerken, leiderschap tonen en creatief zijn – vaardigheden waarvan O4NT stelt dat je die wel buiten, maar niet binnen reguliere scholen opdoet. De reden zit voor een groot deel in de toetsing. De citotoets meet geen 21st century skills, allerminst zelfs. O4NT is hier uitgesproken kritisch over en dit stuk is sterk geschreven. Minder sterk is hoe de school gaat bijhouden wat de vorderingen van leerlingen zijn. Dat gaat min of meer automatisch, door registratie van de uitgevoerde acties op de iPad. Er staat dat de ontwikkeling van het kind wordt bijgehouden ‘via zijn output’. Hoe dit in de praktijk werkt (en of het wel zo gaat werken) is nog onbekend.

De school zet zich in voor brede talentontwikkeling, waarbij kinderen veel eigen verantwoordelijkheid en vertrouwen krijgen. Er is geen sprake van totale vrijheid. Het model benadrukt dat kinderen die meer sturing of structuur nodig hebben die ook krijgen van hun begeleider. Hierin onderscheidt het onderwijsmodel zich nadrukkelijk van bijvoorbeeld Iederwijs.

Communities in en rond de school

U vervoert wel eens kinderen naar de kinderboerderij? Reken erop dat u bij de Steve Jobsschool echt aan de bak moet. Als ouder wordt u een ‘pedagogische en didactische partner’ van de school (het plan spreekt wat ongelukkig over ‘niet alleen leesouder of luizenmoeder’). Uw inzet is verplicht en daar worden schriftelijke afspraken over gemaakt. Daarnaast wordt een portfolio opgesteld waarin elke ouder zijn werk en hobby’s kan neerzetten. Het idee is dat u benaderbaar bent door leerlingen als zij daarover iets willen weten voor een project waarmee zij bezig zijn. Dat laatste vind ik een goed idee dat navolging van andere scholen zou mogen krijgen, zolang ouders kunnen aangeven hoe vaak zij benaderd willen worden. Het is duidelijk: schoolbesturen die overwegen een Steve Jobsschool te worden doen er goed aan eerst met ouders in gesprek te gaan. Zonder hen een beslissing nemen is dom, want ouders zijn allerminst een neutrale partij in het eindresultaat.
Tenslotte betekent ‘community’ ook dat de school samenwerking zoekt met bedrijven en organisaties in de buurt, en dat eigenlijk iedereen een bijdrage kan leveren (dit aspect is nog niet echt uitgewerkt).

De praktische organisatie van de school

Een Steve Jobsschool heeft een aantal interessante nieuwe kenmerken. Die vormen samen de dagelijkse gang van zaken op school. Eruit springen:

  1. De school is elke (werk)dag open van half 8 ‘s ochtends tot half 7 ‘s avonds.
  2. De school werkt met periodes van 3 maanden (tweemaal 6 weken), er zijn geen vastgelegde schoolvakanties.
  3. Voor elk kind worden apart afspraken over aanwezigheid op school gemaakt (en zo nu en dan geevalueerd). Concreet kan dat betekenen dat het ene kind 150 dagen in een jaar naar school gaat en het andere meer dan 200. Dat ene kind doet dan meer op de virtuele school (en het maakt dan dus niet uit waar hij of zij zich bevindt).
  4. Er is elke maand een ‘Steve Jobs Gameday’. Het lijkt op een combinatie van een sportdag, een tentoonstelling/presentatie van gemaakt werk en een weeksluiting. Er worden wedstrijden gehouden. Er is ook een jaarlijkse Gameday waarin alle Steve Jobs-scholen samenkomen. Dat zal een flinke manifestatie worden. Het document voor scholen zegt overigens dat deelname aan gamedays voor scholen niet verplicht is.
  5. Leerlingen werken in blokken van 6 weken aan projecten. Daarbij wordt de onderwijsmethode ‘verhalend ontwerpen‘ gehanteerd (‘storyline method‘), een methode die in Nederland redelijk voet aan de grond heeft gekregen, maar die natuurlijk ook weer een specifieke aanpak vereist.
  6. Aan begeleiders en coaches wordt als eis gesteld dat zij zelf beschikken over 21st century skills. Het is logisch dat dat consequenties heeft voor het personeel dat al op school werkzaam is, zoals het geval in Sneek illustreert.

Conclusie

U ziet het, het is een flink plan, dat schoolmodel van O4NT. Het ziet er redelijk coherent uit, maar er zijn nog wel wat hobbels te nemen. Met name de uitwerking van verschillende methodes die nu tussen neus en lippen door genoemd worden heeft nog wat voeten in de aarde. Veel aandacht gaat op dit moment uit naar de technische aspecten, de hardware (en het draadloze netwerk) en de software (welke ‘apps’ zijn het meest geschikt voor onderwijs). Misschien is u opgevallen dat ik 1 ding expliciet nauwelijks heb genoemd in de beschrijving van het schoolmodel: de iPad! Al lezende viel me op dat iPads eigenlijk maar een bijrol in het verhaal spelen. Als je in het document het woord iPad consequent zou vervangen door ‘laptop’ (of notebook) verandert het verhaal niet. Er wordt in verschillende stukken soms gedweept met de unieke mogelijkheden die tablets bieden, daarover zal ik in een ander artikel rapporteren. In het schoolmodel van O4NT zie ik daarvan niets terug1. Sterker: er wordt vermeld dat in de school her en der ook desktopcomputers zullen staan ‘voor specifieke toepassingen’. Zo heet wordt de soep niet gegeten, blijkbaar.

Kunt u uw kinderen naar de Steve Jobsschool laten gaan? Het hangt ervan af waartoe u zelf bereid bent. Uw eigen inspanning is namelijk onderdeel van het schoolmodel. Ik vermoed dat er zeker in het begin problemen zullen zijn. De plannen zijn zeer ambitieus, en gaan over veel meer dan alleen maar het opwaarderen van het gebruik van ICT in de klas. Er is namelijk geen klas, er is een open gemeenschap waarin leren plaatsvindt, fysiek of virtueel. Het uitgewerkte schoolmodel biedt veel aanknopingspunten, maar het is nog een open vraag of alle gestelde doelen in de praktijk te realiseren zijn.

1  O4NT geeft in de FAQ op haar website aan dat de keuze voor de iPad bewust is gemaakt, omdat ‘De iPad op dit moment de tablet [is] die de meeste mogelijkheden biedt voor het intuitieve leren dat wij voor het (jonge) kind zo belangrijk vinden.’





Gastblog van Linda Duits: Waarde politiek gedrag op sociale media beperkt voor offline politiek gedrag

5 04 2013

Deze blogpost verscheen eerder op dieponderzoek.nl.

Mensen gebruiken sociale media voor politieke doeleinden. In hoeverre heeft dit zijn weerslag op hun offline politieke activiteiten? In een recente studie [abstract] onderzoeken Amerikaanse communicatiewetenschappers deze relatie. Ze maken daarbij een onderscheid tussen informerend gebruik en expressief gebruik van sociale media. Informatief gebruik gaat over informatie zoeken. Bij expressief gebruik gaat het bijvoorbeeld om het delen van politieke meningen in status updates en blogs, het tekenen van petities of het plaatsen van politieke video’s.

De onderzoekers hielden een survey onder 201 studenten. Ze vroegen naar een specifieke politieke kwestie, het protest tegen de Budget Repair Bill in Wisconsin, de staat waar de studenten studeerden. De respondenten werd gevraagd naar hun mediagebruik en naar hun politieke activiteiten. Ze maken daarbij een onderscheid tussen individuele politieke acties en collectieve politieke activiteiten.

De onderzoekers vonden significante verbanden tussen politieke overtuiging, expressief gebruik van sociale media en collectieve politieke activiteiten. Informatief gebruik van sociale media hing hier niet mee samen. Ook het gebruik van traditionele nieuwsbronnen en politieke interesse hielden hier geen verband mee. Ze vonden ook een verband tussen politieke overtuiging, expressief gebruik van sociale media en individuele politieke acties. Ook hier speelden de andere variabelen geen rol (al was politieke interesse bijna significant).

De uitkomsten van het onderzoek zijn voorspelbaar. De waarde ervan ligt vooral in de scheiding tussen eenvoudig informatie zoeken online en ook echt politiek actief zijn online. Het laatste vereist meer moeite, net als offline politiek participeren. Het onderzoek is hiermee een waarschuwing voor mensen die al te makkelijk grote politieke waarde zien in ‘de kracht van sociale media’.

Beeld: megankhines





Gastblog van Casper Hulshof: Een placebo-effect bij een kennistest

29 03 2013

Deze gastblog van Casper Hulshof verscheen eerder op onderwijskunde.blogspot.nl, hij gaat dieper in op een onderzoek waar ik al eerder over schreef.

Iedereen kent het placebo-effect. Het is een fenomeen uit de geneeskunde dat je misschien nog het beste kunt typeren als ‘de kracht van geloof’. In sommige gevallen is het om je beter te voelen of om zelfs te genezen voldoende om een pil te slikken, ook al bevat die pil geen werkzame stof. Het effect is zo sterk dat huisartsen er regelmatig gebruik van maken. Ze schrijven dan bijvoorbeeld antibiotica voor als er sprake is van een eenvoudige virusinfectie (zie een recent artikel in de Daily Mail). De patiënt keert tevreden huiswaarts, want ‘de pillen zullen hun werk wel doen’.
Hoe kan het dat placebo’s werken? Er zijn twee verklaringen, die beide een redelijk gelijkwaardige rol lijken te spelen. Ten eerste creëer je met het toedienen van een placebo een verwachting. Daardoor richt degene die het placebo ontvangt zich niet meer op ziekte-symptomen maar veel meer op symptomen die met genezing te maken hebben. Met de pil verleg je dus iemands aandacht. De tweede verklaring heeft met conditioneren te maken. Uit eerdere ervaringen weet je lichaam dat het slikken van pillen geassocieerd is met lichamelijk herstel. Je lichaam heeft dus geleerd hoe het reageert op pillen, en wat voor pil je ook slikt, er volgt een herstelreactie.

Ulrich Weger

Zou het placebo-effect alleen optreden bij het slikken van pillen, of zou het ook in andere situaties kunnen optreden, bijvoorbeeld als het gaat om kennis? Die intrigerende vraag is het onderwerp van een onderzoek dat recent is gepubliceerd in The Quarterly Journal of Experimental Psychology. Het is een samenwerkingsproject van Ulrich Weger en Stephen Loughnan, verbonden aan universiteiten in Duitsland en Australië. Weger en Loughnan beschrijven een experiment dat zij uitvoerden waarin psychologiestudenten op de computer een test voor algemene kennis maakten. De test bestond uit twintig vierkeuzevragen, en de vragen waren van het niveau “Wie schilderde de Guernica?” (Picasso, Dali, Miro, of El Greco). Tweemaal twintig studenten deden mee, en zij werden willekeurig verdeeld over twee condities: een placeboconditie en een controleconditie. De crux zit natuurlijk in de experimentele procedure die studenten in beide condities ondergingen, met name de placeboconditie. Er werd een heel specifieke procedure uitgevoerd in drie stappen.

  1. Opwarmfase. Net voordat voorbeeldvragen op het scherm verschenen verscheen eerst het juiste antwoord op het scherm. Als proefpersoon hoefde je dan dus eigenlijk alleen maar een check uit te voeren.
  2. Callibratiefase. De tijd dat het juiste antwoord op het scherm verscheen werd geleidelijk ingekort, naar zo kort dat de antwoorden niet meer leesbaar waren. Tegen proefpersonen werd gezegd dat de woorden onbewust nog wel verwerkt werden (en daarvoor is ook bewijs vanuit de psychologische literatuur over ‘priming’). Zodra dit moment bereikt was begon het echte experiment.
  3. Experimentfase. Het correcte antwoord flitste voorafgaand aan elke vraag kort in beeld. Tenminste, dat dachten de goed opgewarmde en gecallibreerde proefpersonen. In werkelijkheid flitste telkens een willekeurige reeks letters in beeld voorafgaand aan elke vraag.

De controleconditie was in dit experiment vrijwel gelijk aan de experimentconditie, op 1 detail na: de studenten in deze conditie kregen niet te horen dat ze ‘onbewust geprimed’ zouden worden met het juiste antwoord, maar dat ze alleen een korte flits zouden zien voorafgaan aan een vraag om zo de vraag aan te kondigen. De verwachting van de onderzoekers was dat als er een succesvol placebo-effect zou optreden, studenten in de experimentconditie hoger zouden scoren dan studenten in de controleconditie. Net zoals een pil zonder werkzame stof invloed kan hebben op het herstelproces zou een instructie zonder werkzaam bestanddeel dan invloed op de cognitieve prestatie hebben. Dat is precies wat zij vonden. Studenten in de experimentconditie scoorden op de test gemiddeld 9,85 (standaarddeviatie 1,87) en studenten in de controleconditie gemiddeld 8,37 (standaarddeviatie1,77), een statistisch significant verschil. (overigens, de onderzoekers zeggen hier niets over, maar ik vind de behaalde scores in beide condities aan de lage kant!)
Weger en Laughnan verklaren in hun discussie dit mooie resultaat door te wijzen op het verminderen van inhibitie in de placebo-conditie. Normaal zijn mensen terughoudend als ze twijfelen over het juiste antwoord op een vraag. Als je het idee hebt ‘ik ben geprimed!’, dan zou die terughoudendheid wel eens minder kunnen worden. Het zou aardig zijn om te onderzoeken of je dit effect kunt repliceren in andere situaties waarin verwachtingen over je eigen prestaties een rol spelen, bijvoorbeeld het bekende ‘stereotype threat’.
Aantonen dat de verwachting van een proefpersoon invloed heeft op de resultaten op een kennistoets is een interessante en waardevolle bevinding. Wat  echter naar mijn idee vooral waardevol is aan het onderzoek van Weger en Loughnan is niet per se het onderzoek zelf, maar meer de vragen die het oproept. Zij openen een nieuwe weg naar onderzoek naar verwachtingseffecten met hun onderzoekstaak (bijvoorbeeld: hoe lang blijft zo’n placebo-effect ‘hangen’, en: naar welke cognitieve taken kun je dit nog uitbreiden?). De experimentele manipulatie die de onderzoekers introduceren geeft onderwijsonderzoekers een krachtig instrument in handen.

Bronnen





Gastblog van Linda Duits: Gebrek aan mediawijsheid ouderen reden tot grote zorg

28 03 2013

Deze blogpost van Linda Duits verscheen eerder op dieponderzoek.nl.

De veronderstelling achter het idee van mediawijsheid (of mediageletterdheid) is dat meer kennis over de media leidt tot beter gebruik van media. Op het internet gaat het dan bijvoorbeeld om privacy: hoe meer digitale kennis iemand zou hebben, hoe beter hij zich zou kunnen beschermen tegen ongewenste surveillance. Andersom zou gelden dat mensen met weinig kennis meer ontvankelijk zouden zijn voor manipulatie. Deze veronderstellingen staan centraal in een recente studie [abstract] van Yong Jin Park over digitale geletterdheid en privacy.

Kennis is een ingewikkeld concept. In relatie tot internet gaat het om bijvoorbeeld technische vaardigheden, kennis van verschillende surveillancetechnieken en kennis van regels en wetten op dit vlak. Ervaring speelt daarbij uiteraard een rol. Om dit te testen werden 419 volkomen willekeurige geselecteerde Amerikanen van 18 jaar en ouder ondervraagd met een online survey.

Gebrek aan kennis

De studie laat zien dat de respondenten weliswaar een basisbegrip hadden van hoe online persoonlijke informatie wordt verkregen en gebruikt, maar dat het met de kennis slecht gesteld was. Veertig procent begreep datapraktijken verkeerd. Slechts acht respondenten hadden alle beleidsgerelateerde vragen goed. De meerderheid van de respondenten was onbekend met basale technische termen.

Je privacy kun je beschermen door instellingen te wijzigen of door bepaalde dingen niet of beperkt te posten. Park noemt dit de technische en de sociale dimensie. De respondenten scoorden laag op de technische dimensie en in het midden op de sociale dimensie. Dit betekent dat ze zelden browserinstellingen aanpasten, maar wel dingen weghaalden, wijzigden en vermeden.

Leeftijd reden tot zorg

Technische vaardigheden in combinatie met internetervaring zorgen ervoor dat mensen hun informatie online beter beschermen. Bewustzijn van surveillance en beleidsbegrip hadden echter nauwelijks effect. Demografische variabelen spelen hierbij een rol. Vrouwen doen het slechter dan mannen, maar vooral leeftijd is aanleiding tot zorg. Ouderen blijven achter.

Park stelt dat de schaamte die soms gepaard gaat met niet mee kunnen komen ervoor kan zorgen dat er minder snel hulp gevraagd wordt. Dit maakt van ouderen makkelijke doelwitten voor bijvoorbeeld identiteitsroof. Hij besluit zijn artikel daarom met de aanbeveling dat digitale geletterdheid gericht moet zijn op iedereen in de samenleving, opdat iedereen goed kan deelnemen aan het maatschappelijk en economisch leven.

In Nederland zijn mediawijsheidinitiatieven hoofdzakelijk gericht op jongeren. Dit is dus een aandachtspunt voor de overheid.

Beeld: Wiertz Sébastien








Volg

Get every new post delivered to your Inbox.

Join 3.946 other followers

%d bloggers like this: