vrijdag 8 maart 2013

Onderzoek Commissie Cohen, sloppy science? DEEL 1


Was de ‘kritieke massa’ op Facebook al een feit vóórdat de media massaal aandacht gingen besteden aan Project X Haren?

Volgens de onderzoekers die voor het rapport van de Commissie Cohen de rol van de sociale media en de massamedia onderzochten hebben die massamedia geen doorslaggevende rol gespeeld.

Een belangrijke argument voor die stelling is volgens de onderzoekers dat er al een ‘kritieke massa’ was bereikt op Facebook vóór het moment dat de media aandacht gingen besteden aan Project X Haren, in de loop van de dag op dinsdag 18 september (zie pagina 26 van het tweede deelrapport). 
Die nieuwsgolf begint met een artikel in Trouw dat meteen door alle andere mediawebsites wordt overgenomen met als onjuiste invalshoek dat Haren al een noodverordening heeft klaarliggen.


Wie in het rapport van Cohen gaat zoeken naar een kwantitatieve onderbouwing van die zogenaamde ‘kritieke massa’, die dan kennelijk de dag ervoor op maandag 17 september heeft plaatsgevonden, komt bedrogen uit.
Op de eerste plaats geven de onderzoekers geen criteria voor het vaststellen van die kritieke massa. In een voetnoot melden ze: “Een kritieke massa wordt gevormd bij een niet exact aan te duiden omslagpunt in het aantal aanmeldingen, verbindingen of andere deelnemingen. Op dit punt vindt in elk geval een duidelijke versnelling plaats.”

Het gaat dus blijkbaar niet om het aantal aanmeldingen maar om een ‘versnelling.’ 

Maar hoe snel moet die versnelling dan zijn en bij hoeveel posts is er dan een omslagpunt? Dat blijft verder onduidelijk. Er waren op die maandag van de vermeende kritieke massa namelijk 615 berichten, dat zijn er inderdaad meer dan in de voorgaande dagen, met gemiddeld tussen de 100 en 200 berichten.
Maar op dinsdagmiddag nadat de media er aandacht aan hebben besteed verschijnen er binnen enkele uren maar liefst 5949 (!) berichten, dat zijn er dus tien keer zoveel. Zie mijn grafiek:



Ligt het dan niet voor de hand om die explosie van berichten als het grote omslagpunt te zien in plaats van de kleine toename op maandag?  

Als je de berichten op dinsdag per uur bekijkt dan blijkt dat de stroom pas eind van de middag op gang komt er soms in een uur meer dan 800 berichten worden gepost, meer dus dan op maandag gedurende de hele dag. Dat blijft onduidelijk in de grafieken in het rapport omdat die een stijgende lijn laten zien vanaf 17 naar 18 september. Zo’n lijngrafiek wekt de indruk van een directe en explosieve stijging vanaf maandag, maar die explosie vond pas plaats op dinsdagmiddag. De lijngrafiek uit het rapport:






En dit is de toename per uur op dinsdag 18 september: 





Om te bewijzen dat er op maandag een snelle mobilisering plaatsvindt citeren de onderzoekers uit de Facebook berichten:
“Bij 5.000 aanmeldingen (op 17 september):
• 5000 WooP WooP
• hahaha 5.000 : ‘t zou wel een doodzonde zijn als we niet allemaal komen. Want dat record gaan we wel ff
vasthouden gok ik zo :D
• Moet ik dit serieus nemen? 5000 man naar 1 feestje? Wie neemt de Kabouter mee?!
• lekker met 5000 man schuimbekkend de bussen in!!”

Maar die Facebook berichten zijn helemaal niet van maandag 17 september maar allemaal van dinsdag 18 september. Zoals deze:

Om hun theorie van de ‘kritieke massa op Facebook’ voorafgaande aan de media-aandacht te ‘bewijzen’ maken de onderzoekers dus gebruik onduidelijke criteria, van misleidende grafieken en van het verkeerd dateren van de Facebook berichten die pas een dag later gepost zijn.
Feit blijft dat 95 procent van de 52.277 berichten gepost zijn na het omslagpunt van de media-aandacht op dinsdagmiddag. En dat er voor dat omslagpunt 720 bezoekers waren op de Project X Haren site en dat erna 8175 nieuwe mensen posten op de site.
Hoe je het begrip kritieke massa ook definieert, alle signalen wijzen toch in de richting van een tipping point op de dinsdagmiddag nadat de media Projext X hadden ontdekt.