Det statistiske problem.
I 2011 tog man for første gang 3 aktivstoffer og 3 metabolitter med i moniteringsrapporten for at vise den tidslige udvikling af disse stoffer i grundvandet.
Man afbildede koncentration mod tid. MEN man beregnede gennemsnit/median kun på basis af de prøver, hvor der var fund (koncentrationer over detektionsgrænsen) og ikke medtog de såkaldte nondetects (prøver med indhold under detektionsgrænsen). Man skrev godt nok dette i teksten i tilknytning til figuren men i indledningen til moniteringsrapporten skrev man det, som om man fulgte udviklingen i grundvandet. Og de fleste forstår nok heller ikke pointen med, at man har udeladt prøver uden fund.
Dette er imidlertid en klassisk og alvorlig statistisk fejl – det er fusk og det leder til vildledning af de fleste, som læser rapporten.
Da jeg læste dette i rapportudkastet, sagde jeg den 28.11.2011 fra over for det interne system og krævede, at denne dissens blev lagt op i systemet, så de rette kunne bære ansvaret for vildledningen og løgnen (Dissens 2011 ).
Jeg ved ikke om det blev lagt videre og kunne konstatere, at man ikke ændrede noget i rapporten og heller ikke foretog sig noget aktivt i hverken Naturstyrelsen eller Miljøstyrelsen (se dog kommentarerne til moniteringsrapporterne de følgende år nedenfor).
I flere år op til denne dissens havde jeg prøvet at fortælle om den korrekte databehandling, når det handlede om data som moniteringsresultaterne, dvs. at der blev begået den klassiske fejl i moniteringen, nemlig at man smed målinger (op til 95% af hele datamaterialet) under detektionsgrænsen væk: “The worst practice when dealing with censored observations is to exclude or delete them.” (Dennis Helsel, Statistics for Censored Environmental Data Using Minitab and R, p. 1, Wiley, 2012)
Det er min opfattelse, at i hvert fald Miljøstyrelsen (på baggrund af mine input i tidens løb) også mente, at fremgangsmåden i rapporten var forkert – også selv om Miljøstyrelsen udtrykte sig alt for slapt. Men det fremgår også af de følgende kommentarer fra de to styrelser, at man ikke var klar over, hvad der rent faktisk lå til grund for de afrapporterede figurer.
Miljøministeriet: vi forstår ikke hvad GEUS laver.
I 2011 skriver Miljøministeriet således til rapportens forfattere:
”I opgørelsen til Rigsrevisionens effektdel er middelværdierne alene beregnet på analyser med fund. Dette giver principielt et misvisende billede af den generelle tilstand, såfremt det er denne, man ønsker at beskrive. Ønsker man omvendt alene at beskrive en udvikling i koncentrationerne, er det vigtigt at anføre, at der er tale om ”relative værdier” i forhold til grundvandets tilstand.”
”Hvis der præsenteres en figur baseret på årlige middelværdier af koncentrationerne i de prøver, hvor der er gjort fund, opnås der koncentrationer, der kun dækker de ”mest belastede” boringer og dette kan hurtigt fejlfortolkes som grundvandets ”sande tilstand”.
”Såfremt analyser uden fund ikke indgår i opgørelsen er det vigtigt, at det fremgår meget klart af præsentationen af data, at opgørelsen alene er baseret på positive prøver og derfor ikke er et udtryk for grundvandets tilstand, men alene et relativt udtryk for den tidsmæssige udvikling.”
Hvorfor har GEUS ikke gjort rede for alt dette i 2011-rapporten som reaktion på kommentarerne til moniteringsrapporten?
I 2012 har styrelserne ikke nogen kommentarer til den uændrede fremgangsmåde i moniteringsrapporten. Jeg har via aktindsigt fået oplyst af Miljøstyrelsen:
” Der er ikke foretaget ændringer i konceptet for ovennævnte opgørelser over udviklingen i gennemsnits- og mediankoncentrationer for udvalgte stoffer fra 2011 til 2012, hvorfor Miljøstyrelsen ikke har givet kommentarer til konceptet i forbindelse med kommentering af rapporten i 2012.”
Dette er en klar forvaltningsmæssig fejl i og med, at der ikke var sket nogen rettelser eller forklaring på den statistiske fejlbehandling.
I 2013 skriver Miljøministeriet til moniteringsrapportens forfattere:
”Miljøministeriet har bemærket, at databehandlingen er foretaget på baggrund af fund og ikke alle resultater i flere kapitler, bl.a. Kap. 4 Hovedbestanddele og Kap 7 Pesticider. Dette viser ikke et retvisende billede af grundvandskvalitet i grundvandsmagasinerne. Man skal være meget varsom med udtalelser på baggrund af en sådan databehandling.
Side 99 nederst, bemærkning til figur 40 – 42: Den tidsmæssige udvikling baseres på analyser med fund i stedet for det samlede antal analyser. Dette bevirker, at der præsenteres ret høje koncentrationer, som ikke er repræsentative for grundvandet. Dette bør bemærkes i brødtekst og tabeltekster, så misforståelser undgås.”
Altså nøjagtig samme kommentarer som 2 år før. Ministeriet har øjensynlig stadig ikke fået forklaringen på, at nondetects ikke medtages i beregning af gennemsnit. Igen, hvorfor fremkom GEUS ikke med en forklaring på dette tidspunkt eks. i moniteringsrapporten eller i et brev til Ministeriet.
Nu senest har Miljøstyrelsen den 28. november 2014 (efter samrådet) skrevet:
”….. Der er særligt behov for at redegøre for de ting, der blev behandlet på ovennævnte samråd, herunder hvor, hvordan og hvorfor der beregnes gennemsnit samt hvilket grundvand, der prøvetages og hvorfor netop dette er valgt. Dette leder til en grundigere beskrivelse af kravene i vandrammedirektivet samt konsekvenserne af ændringerne i prøvetagningsstrategien. En diskussion af anvendt statistik og faglige vurderinger/skøn er på sin plads.”
Over en periode på 4 år har Miljøstyrelsen for 3. gang spurgt om hvor, hvordan og hvorfor ligesom en nøjere beskrivelse af plan for prøvetagning efterlyses. Det er således klart, at hverken Naturstyrelsen eller Miljøstyrelsen lige siden den pågældende opgørelse er medtaget i moniteringsrapporterne ikke ved, hvad det er, der foregår og at der øjensynlig ikke findes en klar plan og en metodik for beregningerne.
GEUS: løgn og bortforklaring
Miljøministeren blev indkaldt til åbent samråd den 27.11.2014. På samrådet forsøgte Hans Christian Schmidt flere gange at få oplyst, hvorfor man smed de målinger væk, hvor indholdet lå under detektionsgrænsen. Dette kunne ministeren ikke svare på, så ikke engang til et samråd kunne styrelserne præstere et svar og ej heller GEUS.
GEUS (der ikke plejer at deltage i offentlig debat – det er de for magtfuldkomne til) udsendte (nødtvungent?) sent i 2014 en pressemeddelelse, hvor det med løgn og vildledning forsøges bortforklaret, hvorfor man ikke medtager nondetects. Pressemeddelelsen indeholdt følgende:
”I følge EU´s Grundvandsdirektiv fra 2006 skal medlemslandene følge udviklingen i den del af grundvandsmagasinerne, som er påvirket af uønskede kemiske stoffer. Da dette alene skal foretages i den påvirkede del af grundvandsressourcen, skal data fra den upåvirkede del altså ikke medtages. GEUS har derfor de seneste år i GRUMO rapporterne beregnet median- og gennemsnitskoncentrationer pr. år for seks pesticider eller nedbrydningsprodukter, hvor der alene er medtaget analyser med fund over detektionsværdien.”
Det er fejl, løgn og opspind fra ende til anden.
Det er fejlagtigt anført, at det er Grundvandsdirektivet, der er baggrund. Dette er ikke rigtigt – det er derimod Vandrammedirektivet, der er hjemmel. Dette har Naturstyrelsen bekræftet i den aktindsigt, jeg har fået i korrespondancen omkring udsendelsen af pressemeddelelsen. Det har GEUS ikke fundet belejligt at korrigere.
Det må endvidere undre, at hvis det er et direktiv fra 2006, der udstikker disse retningslinjer, hvorfor er der så ingen, der er bekendt hermed i og med, at de krævede beregninger først kommer i 2011.
I direkte forlængelse heraf anfører GEUS, at direktivet pålægger landene at ”følge udviklingen i den del af grundvandsmagasinerne, som er påvirket af uønskede kemiske stoffer.”
Dette er rent løgn. Naturstyrelsen har oplyst om formuleringerne i GEUS’s pressemeddelelse:
”følge udviklingen i den del af grundvandsmagasinerne, som er påvirket af uønskede kemiske stoffer. Da dette alene skal foretages i den påvirkede del af grundvandsressourcen, skal data fra den upåvirkede del altså ikke medtages”
ikke findes i hverken Grundvandsdirektivet eller Vandrammedirektivet!
GEUS skriver videre men henvisning til den opdigtede og løgnagtige tekst: ” GEUS har derfor de seneste år”. GEUS giver altså (”derfor”) et direktiv som begrundelse for, at man følger visse stoffer tidsligt. Dette er så også en løgn. At det ikke er direktivet, der bestemmer disse beregninger fremgår allerede af ovenstående kommentarer til moniteringsrapporterne men også af et svar fra Miljøstyrelsen, hvor der skrives:
”Beregningerne af gennemsnitskoncentrationer for de seks stoffer fra boringer med fund af pesticider blev indført i 2011 efter Rigsrevisionens undersøgelse af statens sikring af grundvandet for at illustrere, om der sker en udvikling i koncentrationen for udvalgte stoffer (primært forbudte/ regulerede stoffer)”.
Så GEUS’s inkompetente og fejlagtige statistiske behandling af data er således et faktum og alle de løgne og vildledende forklaringer, man har forsøgt at bortforklare dette med, kan dokumenteres som værende netop løgn og vildledning.
Det forekommer så i øvrigt uforståeligt, at Naturstyrelsen ikke overhovedet reagerer offentligt på denne pressemeddelelse – det er trods alt Naturstyrelsens ressort. Dermed deltager Naturstyrelsen i GEUS’s løgn.
Fejlagtig prøvetagning
At prøvetagningen så i øvrigt er så uklar og fejlagtig, hvis man vil undersøge trends, at det helt ødelægger mulighederne for at følge koncentrationen tidsligt er så en helt anden sag. Det har endnu ikke været muligt at få indsigt i, hvordan moniteringsplanen rent konkret er tilrettelagt – men det er vel bare et spørgsmål om tid.