Op zich heb je gelijk, maar als je maar vaak genoeg studies uitvoert zal er, ook als er absoluut geen enkel effect feitelijk effect bestaat, alijd een keer een studie een positief resultaat geven. Simpele kansberekening. En hoe kleiner de studie, hoe groter de kans op een vals-positief resultaat.
Quote: “The median study size was 65 participants (range ten to 1573)”

Nogal wat kleine studies, dus er zijn er altijd wel een paar positief. Dat komt doordat we een verschil doorgaans statistisch significant noemen als de kans dat dit verschil door zuiver toeval optreedt kleiner is dan 5%.

Neem het volgende voorbeeld:
Stel je hebt een dobbelsteen met 20 vlakken, dan is de kans om met 1 worp 20 te gooien 5%, wat overeenkomt met de kans op een statistisch significant resultaat door louter toeval. Maar als je nu 110 keer gooit, dan zul je ongetwijfeld wel een paar keer 20 gooien. Sterker nog, de kans dat je nul keer 20 gooit is kleiner, dan dat je 1 keer 20 gooit.
Bij grote studies treedt dit fenomeen minder sterk op, al zijn er ongetwijfeld ook dan vals positieve studies. Maar de kans is kleiner. Ook dat is uit te leggen.
Als je 20 keer dezelfde dobbelsteen gooit, is de kans dat je alle cijfers 1 keer gooit bijzonder klein, terwijl de kans voor alle cijfers toch 1 op 20 is. Maar als je 10.000 keer werpt zal je ruwweg alle cijfers in 5 procent van de gevallen werpen. Die getallen zijn dus robuuster.

Statistisch minder onderlegd als ik ben vraag ik me af of de homeopathie-trial aan het begin van de range, met een odds ratio van 0.65, niet toch een effectieve behandeling beschrijft. Sla ik de plank daarmee erg mis?

Eenmalig leek er iets te gebeuren met de zopektocht naar het geheugen van water (waarop homeopatheoi zich onder anderen baseert). Een dude kwam met cijfers die aan zouden tonen dat water inderdaad moleculen zou kunnen “onthouden”. De cijfers leken te kloppen, er was sprake van lichte paniek, zou het dan toch? etc.

Maar het onderzoek kon niet worden geherproduceerd: toen bleek telkens dat het niet aantoonbaar was dat het water niet vervuild zou zijn wat een reden voor de “onthouden” samenstelling van dat water zou kunnen zijn. Voor een geldig onderzoek zou uitgesloten moeten kunnen worden dat het water vervuild zou kunnen raken.

Bij nadere beschwouwing bleken de bewijscijfers van het geheugenwater precies overeen te komen met licht vervuild water. Onderzoek waardeloos.

Verder onderzoek is zinloos, het staat nu wel zo vast als een huis dat homeopathische medicijnen geen enkel groter effect hebben dan placebo (ook water), om over het riante verschil tussen echte medicijnen (werken) en hoemeopathische medicijnen (doen niks) nog maar te zwijgen.

Iedereen die zich nu nog laat “genezen” door homeopathie doet dus aan zelfgenezing door de kracht van placebo. Niks mis mee natuurlijk, alleen wel jammer dat je er doorgaans krom voor moet liggen. Zelf een glaasje water tappen en jezelf wijsmaken dat het een medicijn is, is een stuk goedkoper.

Lancet. 2005 Aug 27-Sep 2;366(9487):726-32.

Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy.

Eds: Shang A et al

BACKGROUND: Homoeopathy is widely used, but specific effects of homoeopathic remedies seem implausible. Bias in the conduct and reporting of trials is a possible explanation for positive findings of trials of both homoeopathy and conventional medicine. We analysed trials of homoeopathy and conventional medicine and estimated treatment effects in trials least likely to be affected by bias. METHODS: Placebo-controlled trials of homoeopathy were identified by a comprehensive literature search, which covered 19 electronic databases, reference lists of relevant papers, and contacts with experts. Trials in conventional medicine matched to homoeopathy trials for disorder and type of outcome were randomly selected from the Cochrane Controlled Trials Register (issue 1, 2003). Data were extracted in duplicate and outcomes coded so that odds ratios below 1 indicated benefit. Trials described as double-blind, with adequate randomisation, were assumed to be of higher methodological quality. Bias effects were examined in funnel plots and meta-regression models. FINDINGS: 110 homoeopathy trials and 110 matched conventional-medicine trials were analysed. The median study size was 65 participants (range ten to 1573). 21 homoeopathy trials (19%) and nine (8%) conventional-medicine trials were of higher quality. In both groups, smaller trials and those of lower quality showed more beneficial treatment effects than larger and higher-quality trials. When the analysis was restricted to large trials of higher quality, the odds ratio was 0.88 (95% CI 0.65-1.19) for homoeopathy (eight trials) and 0.58 (0.39-0.85) for conventional medicine (six trials). INTERPRETATION: Biases are present in placebo-controlled trials of both homoeopathy and conventional medicine. When account was taken for these biases in the analysis, there was weak evidence for a specific effect of homoeopathic remedies, but strong evidence for specific effects of conventional interventions. This finding is compatible with the notion that the clinical effects of homoeopathy are placebo effects.

Dan is ze inderdaad goed ziek, ja. Van die gedachte word ik zelfs ziek. Of het GGz hier iets mee kan is nog maar zeer de vraag, die zijn toch ook meer van het pappen en nathouden.

Preventief ruimen dan maar?

Ook leuk is het volgende onderzoek: mensen met een gebroken arm verdelen in een groep die gewoon gips krijgt en een groep die zich laat behandelen door een Reikimaster. Zes weken later kijken we wiens armen er het best aan toe zijn.

Samen met een homeopaath of jomanda-achtige verdelen we middels loting alle spoedpatiënten die binnenkomen in mijn nachtdienst. Zij behandelen de ene helft en ik de andere helft. En dan achteraf kijken in welke groet de meesten blijven leven.