Gezondheidsraad reageert op WOB verzoek BAWA (Updated ivm het belang van de inhoud)

Lees het PDF bestand hier: pdf/gr_bawa_24jul08.pdf .

Mededeling van BAWA-Haaksbergen
---------------

Het verkregen materiaal is door ons kantoor doorgeleid naar mevrouw Frederique Ries (Lid van de Commissie milieubeheer en lid sub-commisie mensenrechten van het Europees Parlemen) in haar hoedanigheid van rapporteur resolutie van 17.06.2008 procedure 2007/2252(INI) met interventieverzoek.

Uit academische hoek kregen wij de eerste op-en bemerkingen welke U onderstaand aantreft.

De vraag is of het juist om tot 6.5% van de subjecten als outlier te bestempelen. Het minste wat de Zwitsers hadden kunnen doen is om de scores inclusief outliers te vermelden. Zeker in het licht van de schatting dat ~ 5-8% van de mensen veel gevoeliger zijn dan anderen. Hen er uit laten zou het hele onderzoek nog waardelozer maken dan het in zijn opzet al was. Een acceptabel alternatief zou geweest zijn om per test details te geven van het hoe en waarom bepaalde mensen niet meegnomen zijn in de statistische analyse. Bijvoorbeeld: ''subject nummer 12 werd na 7 minuten blootstelling misselijk en kon de test niet afmaken'' etc.

De opmerking ''Over all subjects the percentage of excluded outliers
ranged between 3,7 and 6,5 % rendering an influence on the final results highly unlikely'' is dubieus; het uitsluiten van een klein aantal resultaten kan heel makkelijk het verschil maken tussen wel en niet statistisch significant verschil. Dit is overigens 1 van de 2 klassieke trucs om - afhankelijk van je wens - al dan niet een significant verschil tussen twee groepen te vinden. Gewoon wat resultaten er uit halen totdat het verschil wel/niet significant meer is. De tweede truc is om als je wel een significant verschil vindt tussen twee groepen, 1 van de twee groepen te verdunnen (of te'vervuilen')totdat je geen significant verschil meer vindt. (als voornoemde truc wordt toegepast in wetenschappelijk onderzoek vindt men alsdan ook geen hoger percentage oor-tumoren.

De Zwitsers hebben kennelijk in plaats van reaction time (in milliseconde) gekozen voor het aantal correcte antwoorden per seconde. Het is in dit opzicht dus geen exacte replicatie. TNO Cofam beschouwt reaction time als een belangrijke verandering.

Vergeleken met placebo exposure vond TNO Cofam significante verschillen. Vergeleken met blootstelling aan 900 MHz bij groep A (with complaints) en aan 2100 MHz bij groep B (without complaints) vond men een significante toename van de reaction time, maar niet bij 1800 MHz en 2100 MHz bij groep A en evenmin bij 900 MHz en 1800 MHz bij groep B.

Antwoord van de Zwitsers op de vraag van Van Rongen: een normale verdeling is nodig, anders kun je de variantie niet analyseren. De reaction time moet om die reden getransformeerd worden, stellen de Zwitsers, volgens hen is dat een standaardprocedure. Een exacte replicatie van het TNO Cofam onderzoek is het in ieder geval niet.

TNO Cofam heeft een extreme uitslag (subject 21) verwijderd om de analyse niet te verstoren.

Het is zeer de vraag of je in het geval van gevolgen van effecten van elektromagnetische velden uit kunt gaan van een eenvoudige normale verdeling. Waarschijnlijk is de verdeling zeer breed, is het dus niet correct om extreme uitslagen te verwijderen en moet de groep groot zijn.

Mogelijk hebben de Zwitsers foute antwoorden verwijderd niet omdat ze incorrect waren, maar omdat ze gepaard gingen met significante of extreme uitslagen. Dat zou uit de originele aantekeningen moeten blijken. De parameter ''aantal correcte antwoorden'' is niet ongewoon, maar ik zie niet in waarom de reaction time moet worden gecorrigeerd voor incorrecte antwoorden. Als het geven van incorrecte antwoorden na een relatief lange reaction time significant zou toenemen bij blootstelling, dan moet dat wel gemeld worden. Het zou ook goed zijn om te melden hoeveel correcte en hoeveel incorrecte antwoorden er waren. Er is geen reden om niet zowel de reaction times van correcte antwoorden als de reaction times van incorrecte antwoorden te publiceren.

Naar mijn mening is het antwoord ''het is een standaardprocedure'' niet bevredigend.

Onderscheid maken tussen correct en incorrect kan wel een normale procedure zijn, maar weglaten van reaction times niet. Juist niet in een onderzoek waarin een incorrect antwoord met lange reaction time zou kunnen samenhangen met de blootstelling.

Het geven van een incorrect antwoord zou kunnen samenhangen met een verminderde cognitieve prestatie als gevolg van blootstelling. Je kunt dat niet gewoon weglaten. Ik kan me wel voorstellen dat je reaction times op drie manieren bekijkt: totaal, correct en incorrect. Wel alle drie vermelden, lijkt me. Of tenminste meedelen of uit reaction times totaal of incorrect wel of niet significante resultaten kwamen.

Dat is de vraag: kwamen er significante resultaten uit het onderzoek voor wat betreft reaction times (correct and incorrect) en reaction times (incorrect)?

De Zwitsers hebben per onderdeel van de test 3,7 tot 6,5 procent van de resultaten buiten de statistische analyse gehouden vanwege een grote numerieke afstand tot de andere resultaten. Als ik het goed heb is dat percentage bij TNO Cofam aanzienlijk lager, want te lezen valt dat er twee proefpersonen van analyse zijn uitgesloten, een vanwege technische problemen en de ander vanwege extreme resultaten bij de geheugentest, groep A.

Als het zo is dat de extreme resultaten die de Zwitsers hebben uitgesloten wel degelijk gewone resultaten door gevolgen van effecten van blootstelling zijn, dan is het onderzoek waardeloos.

De SAR van de helft van de mensen is meer dan tweemaal hoger of lager dan de gemiddelde SAR (RIVM, 861020007, blz. 30 van 127). Waarschijnlijk komt een SAR van viermaal of zesmaal zo hoog als het gemiddelde dus ook regelmatig voor.

Naar mijn mening is het niet juist om outliers uit te sluiten c.q. niet expliciet te vermelden in een onderzoek waarin extremen deel uitmaken van de normale verdeling. Ik kan me voorstellen dat outliers uitgesloten worden omdat zij bij de statistische analyse teveel invloed hebben binnen een te kleine groep, maar dan moet dat expliciet vermeld worden met de aanbeveling om een veel grotere groep te onderzoeken. T.a.v. geneesmiddelen lazen wij onderstaande mededeling.

Verkregen resultaten stroken niet altijd met de inzichten of de verwachtingen van de onderzoeker. Zulke resultaten kunnen worden genegeerd om het onderzoek te con­centreren op de onderdelen die wèl overeenkomen met de verwachtingen. Hoewel die neiging begrijpelijk is, doet zij, als men er aan toegeeft, afbreuk aan de kwaliteit en de betekenis van het onderzoek.In beginsel moeten alle uitkomsten en resultaten in de verwerking en de analyse worden betrokken. Het moet duidelijk zijn wat de frequentie is van de gevonden verschijnselen, of de resultaten significant zijn en wat de reikwijdte is van de conclu­sies. Voor de toetsing moeten de juiste statistische technieken worden gebruikt. Ook in de verslaglegging van onderzoek is het streven naar volledigheid geboden, hoewel selectie onvermijdelijk blijft. Een wetenschappelijke publicatie is een reconstructie van een onderzoeksproces, maar onderzoeksresultaten moeten kunnen worden gecontroleerd en gereproduceerd. Details die tijdens uitvoering van het onderzoek onbelangrijk lijken, kunnen relevant zijn voor de controle of replicatie van een expe­riment of observatie. Nauwkeurige en zo volledig mogelijke informatie over de gang van zaken bij het oorspronkelijke onderzoek is dan essentieel.

Het streven naar volledigheid staat echter niet op zichzelf. Het is gerelateerd aan de probleemstelling van het onderzoek en die behoort juist selectief te zijn. Aan bevin­dingen die geen betrekking hebben op de gekozen vraagstelling wordt in de rapporta­ge gewoonlijk voorbij gegaan. Die noodzakelijke selectiviteit mag echter niet worden gebruikt om de resultaten mooier voor te stellen dan ze zijn. Opvallende of uitzonderlijke uitkomsten verdienen speciale aandacht. Het zonder meer weglaten van deze ''uitbijters'' is niet alleen ongeoorloofd, het is ook onverstan­dig. Uitbijters kunnen aanleiding zijn voor nieuwe inzichten. Sterk afwijkende bevin­dingen verdienen daarom aparte aandacht, zowel gedurende het onderzoeksproces als in de rapportage.

Ik raad studenten en onderzoekers aan juist die uitbijters kritisch te be­kijken. Daar zit vaak de vernieuwing. De ontdekking dat mensen op grond van genetische aanleg verschillend reageren op geneesmiddelen, is tot stand gekomen doordat een onderzoeker ontdekte dat hijzelf als proefper­soon een ''uitbijter'' was en dat verschijnsel verder ging uitzoeken, aldus een farmacoloog)

De centrale vraag is of het Zwitserse onderzoek überhaupt wel hout snijdt.

Bekijk het PDF bestand


Lees verder in de categorie Reacties | Terug naar homepage | Lees de introductie