Onderzoek Commissie Cohen, sloppy science? DEEL 2

In tegenstelling tot wat het rapport van de commissie Cohen meldt, is er wel degelijk een spectaculaire stijging van het aantal mobiliserende oproepen NADAT de media Project X Haren hebben ontdekt.

Het verschil tussen relatieve en absolute aantallen.

De onderzoekers hebben de 52.277 Facebookberichten geanalyseerd op mobiliserende uitspraken zoals: “Ga mee, nodig je vrienden, uitnodigen, nodig al je, vrienden uit, teller, aanmeldingen, uitgenodigd en kom op.”

Uit het onderzoek blijkt dat het aantal threads met mobiliserende uitspraken rond de drie procent ligt per dag. Alleen in de eerste paar dagen ligt dat hoger, zo rond de zeven procent.

Zie deze grafiek (p. 29, deelrapport 2)

Met threads bedoelen de onderzoekers: “een post met eventuele comments”. Het is wel merkwaardig dat de onderzoekers nergens het absolute aantal threads noemen binnen de 52.277 berichten. Bij geen enkele grafiek staat N vermeld, de totale populatie waar de grafiek betrekking op heeft (voorgeschreven in een wetenschappelijke publicatie). Bovendien is niet duidelijk of een thread ook meerdere mobiliserende uitspraken kan bevatten en of die dan ook zwaarder wegen. In een onderzoek behoort dat te worden toegelicht.

Vervolgens concluderen de onderzoekers: “Daarna is het aantal treads met mobiliserende elementen min of meer constant: we zien geen duidelijke stijging op het moment dat de massamedia aandacht aan Haren besteden.”

In die conclusie staan op z’n minst twee fouten. 

Op de eerste plaats is er wel een toename van 2 procent op maandag naar 3,5 procent op dinsdag. 

Op de tweede plaats staat er niet dat het relatieve aandeel ongeveer gelijk is gebleven maar het “aantal threads”, dus het absolute aantal threads waarin mobiliserende uitspraken voorkomen. En dat is onjuist.

Het aantal Facebookberichten op 17 september was 615, twee procent daarvan is 12. 
Op 18 september waren 5949 berichten, en 3,5 procent daarvan is 208. 
Dat is een toename met de factor 16 in één dag. 

Hoezo vindt er volgens de onderzoekers geen toename plaats van het aantal mobiliserende oproepen NADAT de media Project X Haren hebben ontdekt?

Hetzelfde probleem doet zich voor bij het noemen van de media in de Facebookberichten. Er is een duidelijke piek in het aantal vermeldingen van de kranten en de televisie op dinsdag 18 september wanneer de mediapubliciteit begint. In ruim vijf procent van de berichten worden ze genoemd, dat zijn omgerekend dus in zo’n ruim 500 berichten. Toch niet onbelangrijk. 

Er valt dus nogal wat af te dingen op de methodologische kwaliteiten van dit deel van het rapport. Duidelijk is wel dat de onderzoekers de data zo vormgeven dat de rol van de massamedia secundair is geweest in het escalatieproces. Maar uit de cijfers blijkt voortdurend het tegendeel: zowel het aantal berichten, als het aantal aanmeldingen, als het aantal mobiliserende uitspraken stijgt spectaculair NADAT de media Project X Haren hebben ontdekt.

Voetnoot: omrekenen per thread is niet mogelijk omdat de onderzoekers geen informatie geven over hoe de percentages per thread tot stand zijn gekomen.