Náhodou jsem v proudu zpráv a informací narazil na článek v Nature Scientific Reports. Předkládá údaje z průzkumu 1 500 vědců o reprodukovatelnosti výsledků výzkumu. Pokud dříve byl tento problém nastolen pro biologický a lékařský výzkum, kde je na jedné straně vysvětlitelný (falešné korelace, celková složitost studovaných systémů, někdy je dokonce obviněn i vědecký software), na druhé straně má fenomenologický charakter (například myši mají tendenci se chovat odlišně s vědci různé pohlaví (1 a 2)).
S přírodními vědami, jako je fyzika a strojírenství, chemie, ekologie, však není vše hladké. Zdá se, že tyto disciplíny jsou založeny na „absolutně“reprodukovatelných experimentech prováděných v nejvíce kontrolovaných podmínkách, bohužel, úžasné - v každém smyslu slova - výsledek průzkumu: až 70% vědců se setkalo s nereprodukovatelnými experimenty a výsledky, které získaly nejen jiné skupiny vědců, VUT v Brně také autory / spoluautory publikovaných vědeckých prací!
Chválí každý pískovec své bažiny?
Přestože 52% respondentů poukazuje na krizi reprodukovatelnosti ve vědě, méně než 31% považuje publikovaná data za zásadně nesprávná a většina uvedla, že publikované práci stále věří.
Otázka: Existuje krize reprodukovatelnosti výsledků?
Samozřejmě byste na základě tohoto průzkumu neměli odříznout rameno a lynčovat celou vědu jako takovou: polovina respondentů byla stále vědci, kteří byli nějakým způsobem spojeni s biologickými disciplínami. Jak poznamenávají autoři, ve fyzice a chemii je úroveň reprodukovatelnosti a důvěry ve získané výsledky mnohem vyšší (viz graf níže), ale stále ne 100%. Ale v medicíně jsou věci ve srovnání s ostatními velmi špatné.
Propagační video:
Přichází na mysl anekdota:
Marcus Munafo, biologický psycholog na University of Bristol v Anglii, má dlouhodobý zájem na reprodukovatelnosti vědeckých údajů. Vzpomíná na dny svých studentských dnů a říká:
Otázka: Kolik publikovaných děl ve vašem oboru je reprodukovatelných?
Hloubka problému zeměpisné šířky a délky
Představte si, že jste vědec. Narazíte na zajímavý článek, ale výsledky / experimenty nelze v laboratoři reprodukovat. Je logické o tom napsat autory původního článku, požádat o radu a položit objasňující otázky. Podle průzkumu to provedlo kdykoli ve své vědecké kariéře méně než 20%!
Autoři studie poznamenávají, že takové kontakty a rozhovory jsou možná pro samotné vědce příliš obtížné, protože odhalují jejich nekompetentnost a nekonzistentnost v určitých otázkách nebo odhalují příliš mnoho podrobností o současném projektu.
Převážná většina vědců se navíc pokusila zveřejnit vyvrácení nenapodobitelných výsledků, přičemž čelila opozici redaktorů a recenzentů, kteří požadovali, aby byla srovnání s původní studií omezena. Je divu, že šance na hlášení neopakovatelnosti vědeckých výsledků je asi 50%.
První otázka: Pokusili jste se reprodukovat výsledky experimentu?
Druhá otázka: Pokusili jste se zveřejnit svůj pokus o reprodukci výsledků?
Možná tedy v laboratoři alespoň provést test reprodukovatelnosti? Nejsmutnější je, že třetina respondentů NIKDY nepřemýšlela o vytváření metod pro kontrolu reprodukovatelnosti dat. Pouze 40% uvedlo, že tyto techniky pravidelně používají.
Otázka: Už jste někdy vyvinuli speciální techniky / technické postupy ke zlepšení reprodukovatelnosti výsledků?
Jiný příklad, biochemička ze Spojeného království, která nechtěla odhalit své jméno, říká, že pokus opakovat, reprodukovat práci pro její laboratorní projekt jednoduše zdvojnásobí čas a materiální náklady, aniž by do práce přidal nebo přidal něco nového. Další kontroly se provádějí pouze u inovativních projektů a neobvyklých výsledků.
A samozřejmě, věčné ruské otázky, které začaly mučit zahraniční kolegy: kdo je na vině a co dělat?
Kdo je vinen?
Autoři práce identifikovali tři hlavní problémy reprodukovatelnosti výsledků:
- Tlak nadřízených na včasné zveřejnění práce
- Selektivní hlášení (zřejmě to znamená potlačení některých dat, která „kazí“celý obrázek)
- Nedostatečná analýza dat (včetně statistických)
Otázka: Jaké faktory jsou odpovědné za nenapravitelné vědecké výsledky?
Odpovědi (shora dolů): –Příkazové hlášení –Bosové tlaky –Vnitřní analýza / statistika – nedostatečná opakovatelnost experimentu v laboratoři – nedostatečný dohled - nedostatek metody nebo kódu –vnitřní experimentální návrh– nedostatek nezpracovaných údajů z primární laboratoře –objekt - nedostatečné ověření odborníky / recenzenty –Problémy se pokusem o reprodukci - Pro reprodukci je nutná technická odbornost –Věřitelnost standardních činidel - „Neddachka a Pichalka“
Co dělat?
Z 1 500 dotazovaných hovořilo více než 1 000 odborníků ve prospěch zlepšení statistik sběru a zpracování dat, zlepšení kvality dohledu nad šéfy a přísnějšího plánování experimentů.
Otázka: Jaké faktory pomohou zlepšit reprodukovatelnost?
Odpovědi (shora dolů): - Lepší pochopení statistik - Přísnější dohled - Lepší experimentální design - Školení - Interní laboratorní přezkum - Vylepšené praktické dovednosti - Podpora formálních křížových kontrol dat - Mezilaboratorní přezkum - Přidělení více času na řízení projektů - Zvyšování standardů vědeckých časopisů - Přidělení více času na práci s laboratorními záznamy
Závěr a některé osobní zkušenosti
Zaprvé, i pro mě, jako vědce, jsou výsledky ohromující, i když jsem si už zvykl na určitou míru nevyvratitelnosti výsledků. To je zvláště patrné v pracích Číňanů a Indů bez „auditu“třetích stran ve formě amerických / evropských profesorů. Je dobré, že problém byl rozpoznán a přemýšlel o jeho řešení. V souvislosti s nedávným skandálem budu taktně mlčet o ruské vědě, i když mnozí poctivě vykonávají svou práci.
Za druhé, článek ignoruje (nebo spíše nebere v úvahu) roli vědeckých metrik a recenzovaných vědeckých časopisů při vzniku a vývoji problému nevymahatelnosti výsledků výzkumu. Ve snaze o rychlost a četnost publikací (čtení, zvýšení citačních indexů) kvalita prudce klesá a není čas na další ověření výsledků.
Jak se říká, všechny postavy jsou smyšlené, ale založené na skutečných událostech. Nějaký student měl šanci si článek prohlédnout, protože ne každý profesor má čas a energii na promyšlené přečtení článků, takže se shromažďuje názor 2-3–4 studentů a lékařů, ze kterého je recenze vytvořena. Byl napsán přehled, který poukázal na nevymahatelnost výsledků podle metody popsané v článku. To bylo profesorovi jasně prokázáno. Aby však nekazili vztah s „kolegy“- nakonec se jim ve všem podařilo - přezkum byl „opraven“. A jsou publikovány 2 nebo 3 takové články.
Ukázalo se, že to je začarovaný kruh. Vědec posílá článek redaktorovi časopisu, kde uvádí „žádoucí“a, co je nejdůležitější, „nechtěné“recenzenty, což ve skutečnosti ponechává pouze těm, kteří jsou pozitivně nakloněni skupině autorů. Hodnotí práci, ale nemohou „hovno do komentářů“a pokusit se vybrat menší ze dvou zlých - zde je seznam otázek, na které je třeba odpovědět, a potom článek zveřejníme.
Dalším příkladem, o kterém hovořil editor přírody před měsícem, jsou solární panely Grazel. Vzhledem k obrovskému zájmu o toto téma ve vědecké komunitě (koneckonců stále chtějí článek v Přírodě!), Redaktoři museli vytvořit speciální dotazník, ve kterém potřebují uvést řadu parametrů, poskytnout kalibrace zařízení, certifikáty atd., Aby potvrdili, že metoda měření účinnosti panely vyhovují některým obecným zásadám a normám.
A zatřetí, když znovu slyšíte o zázračné vakcíně, která dobývá všechno a všechny, o novém příběhu o Jobs v sukni, nových bateriích nebo o nebezpečích / výhodách GMO nebo záření smartphonů, zejména pokud byla propagována žlutými spisovateli z žurnalistiky, pak buďte pochopení a neskočte k závěrům. Počkejte na potvrzení výsledků jinými skupinami vědců, na akumulaci pole a vzorků údajů.