Det är därför det i de publicerade vetenskapliga artiklarna finns en metoddel. I den beskrivs i detalj hur en undersökning eller ett experiment har utförts; vilka statistiska metoder som nyttjats, vilka instrument som använts och så vidare.
Sju av tio har förgäves försökt
För två år vände sig redaktionen på tidskriften Nature till forskarsamhället med frågan om svårigheterna med att upprepa gjorda experiment. Deras fråga löd ”Is there a reproducibility crisis?”. Svaret blev ja, det är det.
I den omfattande enkäten deltog 1 576 forskare från olika discipliner, till exempel, kemi, fysik, biologi och medicin. Tre procent av dem svarade att det inte är någon kris i reproducerbarheten, sju procent svarade att de inte vet. Men av de övriga 90 procenten menade 38 procent, ja en viss kris och majoriteten 52 procent, ja, en betydande kris.
Mer än 70 procent av de forskare som har besvarat Natures enkät uppgav av de har försökt men misslyckats med att reproducera en annan forskare experiment. Mer än hälften har misslyckats med att reproducera resultat från experiment de själva har utfört.
På vissa punkter ger enkätsvaren en motsägelsefull bild. Trots att 52 procent medgav att det finns en betydande kris i reproducerbarheten menade 31 procent inte att det betyder att de publicerade resultaten är felaktiga, att de fortfarande litar till den vetenskapliga litteraturen.
Inte värt mödan
Varför är det då ”en kris i reproducerbarheten”? Ett svar på frågan är att de vetenskapliga tidskrifterna inte gärna publicerar ”negativa” resultat. Därför anser många forskare det inte värt mödan att försöka. Tiden är begränsad och forskarens karriär bygger i allt väsentligt på vad de har publicerat. Ju fler artiklar i högt rankade tidskrifter, desto större chans att få fortsatta vetenskapliga anslag. Varför då ägna tid åt något som kanske aldrig blir publicerat.
I Natures enkät uppgav 13 procent att de hade lyckats publicera ett misslyckat försök att upprepa någon annans experiment. 24 procent hade publicerat en framgångsrik reproduktion.
Svagheter i redovisningen
Vad kan då göras åt ”krisen”? Nästan 90 procent av forskarna i enkäten pekade på svagheter i redovisningen av de utförda experimenten. De efterlyste en mer gedigen statistisk redovisning och en mer detaljerad beskrivning av experimentens design.
Och då är vi tillbaka hos Albert Einstein och hans påstående att det är galenskap att göra samma sak om och om igen och förvänta sig olika resultat. När forskarna försöker reproducera andras och egna experiment idag kanske de inte har full kontroll på alla faktorer, det kan bero på bristande beskrivningar i originalartikeln eller på egna misstag i designen av experimentet.
De misslyckas med reproduktionen, de får inte samma resultat, därför att de inte upprepar exakt samma sak. Einstein hade nog rätt i alla fall.
Länk till enkätundersökningen i tidskriften Nature
1,500 scientists lift the lid on reproducibility
Text: Tord Ajanki
