Onderzoek naar 'spin' in wetenschappelijke tijdschriften
Een recente studie onderzocht "spin" in psychiatrische en psychologische onderzoeksartikelen. De auteurs van het onderzoek vonden spin in meer dan de helft van de abstracts die ze analyseerden.Welke invloed kan dit hebben op de beslissingen van artsen?
Terwijl nieuws- en mediakanalen strijden om meningen, kunnen ze soms koppen en inhoud overdrijven om de lezer naar binnen te lokken.
Hoewel velen geloven dat wetenschappelijke tijdschriften tot de meest betrouwbare informatiebronnen behoren, zijn ze niet immuun voor de wens om gelezen en gedeeld te worden.
In een recente studie werd onderzocht hoeveel 'spin'-auteurs gebruikten in de samenvattingen van onderzoeksdocumenten die in psychologische en psychiatrische tijdschriften zijn gepubliceerd.
Ze kozen ervoor om naar samenvattingen te kijken omdat ze het hele artikel samenvatten, en artsen gebruiken ze vaak om medische beslissingen te informeren.
Wat is spin?
In deze studie schetsen de auteurs hun definitie van spin als volgt:
"[T] hij gebruikt specifieke rapportagestrategieën, ongeacht het motief, om te benadrukken dat de experimentele behandeling gunstig is, ondanks een statistisch niet-significant verschil voor de primaire uitkomst, of om de lezer af te leiden van statistisch niet-significante resultaten."
De auteurs publiceerden hun bevindingen in het tijdschrift BMJ Evidence Based MedicineZe keken naar artikelen uit de zes beste tijdschriften over psychiatrie en psychologie van 2012–2017.
De tijdschriften inbegrepen JAMA Psychiatrie, de American Journal of Psychiatry, en de British Journal of Psychiatry.
De onderzoekers concentreerden zich specifiek op gerandomiseerde gecontroleerde onderzoeken met "niet-significante primaire eindpunten". Het primaire eindpunt van een onderzoek is het belangrijkste resultaat van het onderzoek, en "niet significant" in deze context betekent dat het team statistisch gezien niet genoeg bewijs vond om hun theorie te ondersteunen.
Spin is er in vele vormen, waaronder:
- het selectief rapporteren van uitkomsten, waarbij de auteurs alleen bepaalde resultaten noemen
- P-hacking, waarbij onderzoekers een reeks statistische tests uitvoeren, maar alleen de cijfers publiceren van tests die significante resultaten opleveren
- ongepast of misleidend gebruik van statistische maatregelen
Hoe vaak komt spin voor?
In totaal analyseerden ze de abstracts van 116 papers. Hiervan vertoonde 56% tekenen van spin. Dit omvatte spin in 2% van de titels, 21% van de resultatensecties van de samenvatting en 49% in de slotsecties van de samenvatting. In 15% van de papers was spin aanwezig in zowel de resultaten als de conclusie van de abstracts.
De onderzoekers onderzochten ook of financiering door de industrie verband hield met spin. Misschien verrassend genoeg vonden ze geen bewijs dat financiële steun van de industrie de kans op spin vergroot.
De bevindingen zijn zorgwekkend. Hoewel de spin in nieuwsmedia in het algemeen op zichzelf al zorgwekkend is, gebruiken artsen onderzoeksdocumenten om klinische beslissingen te sturen. Zoals de auteurs schrijven:
"Onderzoekers hebben een ethische plicht om eerlijk en duidelijk de resultaten van hun onderzoek te rapporteren." In het abstracte gedeelte kunnen auteurs echter de details kiezen die ze opnemen. De auteurs van de huidige studie maken zich zorgen over wat dit voor artsen zou kunnen betekenen:
“Het toevoegen van een draai aan de samenvatting van een artikel kan artsen misleiden die proberen conclusies te trekken over een behandeling voor patiënten. De meeste artsen lezen het grootste deel van de tijd alleen het artikel abstract. "
De implicaties
Hoewel onderzoekers de effecten van spin niet diepgaand hebben onderzocht, wijzen de auteurs op een studie die hun punt vasthoudt.
Daarin verzamelden wetenschappers abstracts uit het veld van kankeronderzoek. Het waren allemaal gerandomiseerde gecontroleerde onderzoeken met een statistisch niet-significante primaire uitkomst. Alle abstracts waren inclusief spin.
De onderzoekers creëerden tweede versies van deze abstracts waarin ze de spin verwijderden. Ze rekruteerden 300 oncologen als deelnemers. De onderzoekers gaven de helft een origineel abstract met spin, en de andere helft het abstract zonder spin.
Het is zorgwekkend dat de artsen die de samenvattingen met draaiingen lazen, de interventie die in de paper aan bod kwam, als gunstiger beoordeelden.
Zoals de auteurs van het recente studiepaper schrijven: “Degenen die manuscripten voor klinische onderzoeken schrijven, weten dat ze een beperkte hoeveelheid tijd en ruimte hebben om de aandacht van de lezer te trekken. Het is waarschijnlijker dat positieve resultaten worden gepubliceerd, en veel schrijvers van manuscripten hebben zich tot dubieuze rapportagepraktijken gewend om hun resultaten mooier te maken. "
Een andere studie, gepubliceerd in 2016, breidt de reikwijdte van deze kwestie uit. Ze onderzochten hoe peer-reviewers - ervaren wetenschappers die papers vóór publicatie kritisch bekijken - de spin beïnvloedden. Ze ontdekten dat de peer reviewer in 15% van de gevallen de auteurs vroeg om spin toe te voegen.
De huidige studie heeft enkele beperkingen. Deze bevindingen zijn bijvoorbeeld mogelijk niet van toepassing op andere tijdschriften of onderzoeksgebieden. Ze merken ook op dat het identificeren van spin een subjectieve onderneming is, en hoewel ze twee onafhankelijke gegevensextractors gebruikten, is er ruimte voor fouten.
De exacte omvang van de spin-kwestie in medisch onderzoek valt nog te bezien, maar de auteurs concluderen dat "[auteurs, tijdschriftredacteuren en collegiale recensenten waakzaam moeten blijven voor spin om het risico van bevooroordeelde rapportage van onderzoeksresultaten te verminderen. "
