Om forskningen inte ger de önskade resultaten

Kommer du ihåg Studie 329? Trodde väl inte det. De flesta gör inte det. Men den är ett utmärkt exempel på något som kallas ”outcome switching”.

Tänk dig att du är chef på ett större läkemedelsföretag. Det nya läkemedlet som ska lanseras om några år ska testas, dess plats i terapin identifieras. Läkemedlet är viktigt för företaget, ja näst intill livsviktigt, för företagets existens, och för hur nöjda aktieägarna ska bli. Och för cheferna med höga löner och bonusar. Och lite grand för patienterna också.

Tillsammans med marknadsavdelningen tar forskningsavdelningen fram en studie som ska undersöka åtta variabler. Men det visar sig efter studiens slut att ingen av dem visar någon positiv effekt. Inte en enda. Det är katastrof.

Författarna till studierapporten fattar då beslut att i efterhand, på befintliga data, testa 19 nya parametrar, som inte var definierade i förväg. Den analysen visar sig inte heller vara till fördel för det nya läkemedlet, förutom på fyra parametrar. Och i den finala rapporten presenteras dessa fyra som om de var primära endpoints hela tiden. Voilá!

Troligen utan att känna till begreppet, men lika troligt fullt medvetna om vad de gjorde, hittade författarna och företaget på begreppet outcome switching.

Detta är ett utmärkt exempel på när vetenskapen och forskningen inte alltid beter sig så som man vill att den ska. Men så är ju naturen. Nyckfull. Ibland förutsägbar. Men alltid med ett äss i rockärmen att dra fram vid behov.

Enligt en artikel i The Economist den 26 mars 2016 är outcome switching ett hett ämne just nu. Många fält inom medicinsk forskning, bland annat psykologi och cancer, genomgår vad de kallar en ”replication crisis”, när tidigare resultat inte går att upprepa i nya studier.

Både amerikanska och europeiska myndigheter har lyckligtvis uppmärksammat detta och skärpt kraven att studier ska registreras i förväg, med information om vad som ska undersökas och hur. Men efterlevnaden är inte så bra, två metaanalyser visar att 18-31 procent av studierna trots det ändrade sina primära endpoints under studiens gång.

För att verkligen göra något åt detta har några forskare vid Centre for Evidence-Based Medicine, vid Oxford University i Storbritannien, startat ett projekt som kallas COMPare.

De analyserade alla kliniska prövningar som publicerades mellan oktober 2015 och januari 2016 i fem av de mest prestigefyllda medicinska tidskrifterna som finns: New England Journal of Medicine, Journal of American Medical Association, The Lancet, Annals of Internal Medicine och BMJ, och letade efter bevis på outcome switching.

Av totalt 67 publicerade studier var 9 perfekta, medan de 58 övriga hade brister. Forskarna, med läkaren och kritikern Ben Goldacre i spetsen, skrev då brev till redaktörerna för respektive tidskrift. Av 58 utskickade brev har 7 publicerats i tidskriften, 16 refuserades medan 35 överhuvudtaget inte har besvarats.

Trots att tidskrifterna har antagit riktlinjer att de ska vara uppmärksamma på outcome switching och inte publicera studier där det skett, struntar de uppenbarligen i sina egna riktlinjer.

Det visar verkligen hur viktigt det är med en extern granskare som ligger på tidskrifterna, som i varje fall jag har trott att det går att lita på.

Nä, det får bli Bamse och Kamratposten till helgen.

Förresten, ta gärna 15 minuter och titta på detta TED-föredrag av Ben Goldacre där han i ett rasande tempo visar på mängden av dålig vetenskap och hur evidens kan påverkas.