Meta-analys kritiseras för ovetenskaplighet

Av 110 studier valdes enbart åtta studier ut

Shang et al valde att jämföra effekterna av homeopatisk behandling i åtta studier, med konventionell medicinsk behandling i sex studier, i stället för att jämföra 110 möjliga studier ur respektive grupp med varandra. Detta utan att tala om vilka studier som valdes ut, och på vilka grunder urvalet gjordes. Ovetenskapligt, säger kritikerna! 

År 2005 publicerade medicintidskriften The Lancet en meta-analys som jämförde placebokontrollerade studier gjorda på homeopatisk behandling, med placebokontrollerade studier på konventionell medicinsk behandling. Meta-analysen ”Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy.” hade gjorts av Shang et al.

Meta-analysen har blivit skarpt kritiserad för att inte vara vetenskapligt korrekt utförd och för att den drar för långt gående slutsatser på ett tunt och icke redovisat underlag.

Bakgrunden till meta-analysen enligt forskargruppen Shang et al var att homeopati är utbrett, men att specifika effekter av homeopatiska läkemedel inte verkar plausibla, det vill säga rimliga eller sannolika. Shang et al menar att det kan handla om bias – metodfel och snedvridning – och närmare bestämt om systematiska fel i genomförandet och rapporterandet från både homeopatiska och konventionella behandlingar. Därför analyserade och bedömde Shang et al de olika ingående studierna och vilka behandlingseffekter i dem som var minst sannolika att vara präglade av bias.

Inom vetenskaplig metodik har man utvecklat olika metoder för att minska risken för bias. Ett exempel är att använda sig av en placebokontroll, där man ger ett aktivt läkemedel till hälften av patienterna i en studie och verkningslösa sockerpiller till den andra hälften av patienterna. Samtidigt föredras dubbelblinda studier, där patienterna väljs slumpmässigt till den ena eller andra gruppen, utan att de själva, behandlaren eller forskaren, vet vem som får ett aktivt läkemedel och vem som får verkningslösa sockerpiller.

Andra former av bias i vetenskapliga sammanhang är publikationsbias som innebär att en artikel med positivt resultat anses ha större värde än en artikel med negativt resultat och därmed troligen större chans att bli publicerad i en vetenskaplig tidskrift. Forskare kan också mer eller mindre medvetet vara mindre intresserad av att publicera en negativ artikel än en positiv artikel. Eller så kan själva urvalet av patienter som ingår i en studie ha ett samband med de variabler man mäter. Det kallas för selektionsbias. Observationsbias eller informationsbias innebär systematiska fel i hur två eller flera grupper studeras, som att forskaren bedömer och bemöter de olika grupperna olika vid intervjuer, eller underskattar biverkningar hos patienter som hoppar av en studie.

Shang et al fann 110 dubbelblinda adekvat randomiserade högkvalitativa homeopatiska studier, samt 110 matchande studier med konventionell behandling. I medeltal ingick 65 patienter i varje studie.

21 av studierna gjorda på homeopatisk behandling uppskattades hålla mycket hög kvalitet, jämfört med nio av de konventionellt utförda behandlingsstudierna. I båda grupperna visade studier med färre antal deltagare och lägre kvalitet på utförandet bättre effekter av behandlingarna, jämfört med större och högkvalitativa studier.

Så långt är allt väl med Shang et als meta-analys, men det är nu det blir knepigt. Shang et al jämför inte de 110 studierna ur respektive behandling med varandra. Inte heller jämför Shang et al de 21 högkvalitativa studierna på homeopatisk behandling med 21 studier som är gjorda på konventionell behandling.

I stället väljer Shang et al ut åtta (8) studier av de 110 studier som är gjorde på homeopatisk behandling. Dessa åtta studier jämför man med sex (6) studier som är gjorda på konventionell behandling.

Shang et al redovisar inte vilka kriterier man hade som grund för att göra urvalet. Inte heller redovisar man vilka åtta studier som ingår i den slutliga jämförelsen. Lika lite redovisar forskargruppen vilka sex studier som används från konventionell behandling. Det framgår inte hur många patienter som ingick i de åtta, respektive sex, utvalda studierna, effekter av behandlingen, och så vidare.

Det som är vetenskaplig praxis; att redovisa kriterier för urval, ”hoppar” Shang et al över. Forskargruppen går direkt in på att redovisa effekterna av homeopatisk behandling jämfört med konventionell behandling baserat på åtta, respektive sex, studier.

Shang et als tolkning av meta-analysen är att det förekommer bias i placebokontrollerade studier både när det gäller studier av homeopatisk och konventionell behandling. När forskargruppen korrigerade för biaser i meta-analysen fann de att det finns svaga bevis för effekter av homeopatiska läkemedel och starka bevis för specifika effekter vid konventionell behandling. Utifrån detta drar Shang et al slutsatsen att deras meta-analys visar att kliniska effekter vid homeopatisk behandling är placebo effekter.

Shang et als meta-analys har kritiserats kraftigt. Tidskriften The Lancet, som publicerade meta-analysen, har även med tre inlägg som problematiserar Shang et als meta-analys.

Shang et als meta-analys kritiseras för att inte följa accepterade och publicerade guidelines, bland annat Cochrane Collaborations riktlinjer, för hur man rapporterar en meta-analys. Meta-analyser bör redovisa deskriptiva (beskrivande) data för ingående studier. Shang et al rapporterade inte vilka studier man uteslöt, på vilka grunder de uteslöts, eller odds ratio för de studier som inkluderades, eller vilka åtta studier som inkluderades.

Att Shang et al inte redovisar hur de gått till väga gör det helt omöjligt för andra forskare att upprepa och pröva meta-analysen. En grundbult i vetenskapliga sammanhang är att en studie ska kunna upprepas, och därigenom prövas för att se att slutsatserna håller. Denna vetenskapliga praxis följer inte Shang et al.

Dessutom kritiseras Shang et al för att ha använt tvivelaktiga metoder för exkluderingen av studier, så kallade funnel plots för att identifiera bias i studierna.

Våra reflektioner:

I debatter om homeopatins effektivitet används Shang et als studie ofta som ”bevis” för att homeopatisk behandling inte fungerar. När man sätter sig in i hur studien gjorts, och det så tydligt framgår att den inte är vetenskapligt korrekt utförd, utan närmast verkar vara upplagd för att misskreditera den homeopatiska läkekonsten, är detta enbart beklagligt. Det må finnas olika synpunkter på den homeopatiska läkekonsten, men att använda undermålig forskning som stöd, som i detta fall från de som är skeptiska, och som anser sig försvara vetenskap, är som att bita sig själv i svansen. Ingen, vare sig förespråkare, motståndare, behandlare eller patienter är förtjänt av att den forskning som utförs inte görs vetenskapligt korrekt.

För att se mer ingående vetenskaplig analys, och kritik, av Shang et als studie: Se läkaren Robert Hahns analyserande artiklar på

Roberthahn2010.wordpress.com
och
Roberthahn.nu; Sanningen om homeopati

På  HYPERLINK ”http://roberthahn.nu/2011/10/01/sanningen-om-homeopati/” under mellanrubriken Hundratals läkemedelsprövningar förbises konstaterar Robert Hahn att i rättegången mot den svenska allmänläkaren Anders Pettersson så citerar Socialstyrelsen en enda meta-analys, nämligen meta-analysen av Shang et al, som bevis för att homeopati inte fungerar.

På en konferens för integrativ medicin i Stockholm i april 2012 framhöll den norska experten på alternativmedicin, professor Vinjar Fönnebö, att den svenska Socialstyrelsen saknar kompetens eftersom de använder Shang et als studie som referensmaterial, när den är behäftad med så uppenbara fel.

Mot bakgrund Shang et als tvivelaktiga vetenskapliga förfarande är det märkligt att Socialstyrelsen baserar sin inställning till homeopati enbart på Shang et als meta-analys. En myndighet som har till uppgift att kontrollera effekten av medicinska behandlingar har naturligtvis kunnig expertis, som kan värdera skillnaden mellan en bra och en dålig studie. Frågan är varför Socialstyrelsen i det här fallet väljer att inte göra en seriös och objektiv värdering?

Artikeln Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy av Shang et al kan köpas här.

Länk:

HYPERLINK : ”http://www.thelancet.com/journals/lancet/article/PIIS0140-6736%2805%2967177-2/abstract#”

Källa: Shang Aijing, Huwiler-Müntener Karin, Nartey Linda, Jüni Peter, Dörig Stephan, Sterne Jonathan A C, Pewsner Daniel och Egger Matthias. Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy. The Lancet: 2005; 366: 726-32

Textförfattare: Margot Granvik och Chris Jörgenfelt