Biolozi koji su proveli zasebne analize na jednom skupu podataka o učinku travnatog pokrivača na sadnice eukaliptusa došli su do potpuno različitih odgovora. Naime, kako piše Nature, u velikoj vježbi ispitivanja ponovljivosti, odnosno uskog slaganja između rezultata uzastopnih mjerenja iste mjerene veličine izvedenih u istim mjernim uvjetima, 236 biologa analiziralo je iste skupove ekoloških podataka i dobilo vrlo različite rezultate. 

Varijacije rezultata

Prva sveobuhvatna ekološka studija takve vrste pokazuje koliko rezultati na terenu mogu varirati, ne zbog razlika u okolišu, već zbog analitičkih izbora znanstvenika.

"Može postojati tendencija da se nalazi pojedinačnih radova tretiraju kao konačni", kaže Hannah Fraser, meta istraživačica sa Sveučilišta Melbourne. Ali rezultati pokazuju da se "zaista ne možemo osloniti na bilo koji pojedinačni rezultat ili bilo koju pojedinačnu studiju da nam ispriča cijelu priču".

Metoda "mnogih analitičara"

Varijacije u rezultatima ne iznenađuju, ali kvantificiranje te varijacije moglo bi poboljšati njihovu ponovljivost, smatra Brian Nosek, izvršni direktor Centra za otvorenu znanost (COS) u Charlottesvilleu. 

Metodu "mnogih analitičara" (many analysts method) prvi su sredinom prošlog desetljeća uveli psiholozi i društveni znanstvenici, svjesni neponovljivosti rezultata istraživanja. Takav rad daje većem broju istraživača iste podatke i ista istraživačka pitanja. Autori zatim mogu usporediti kako odluke donesene nakon prikupljanja podataka utječu na vrste rezultata koji na kraju dospiju u publikacije.

Raznoliki rezultati

Studija koju su proveli Fraser i njezini kolege unosi ovu metodu i u ekologiju. Istraživači su sudionicima dali jedan od dva skupa podataka uz popratno istraživačko pitanje: "U kojoj je mjeri na rast gnijezdećih plavih sjenica (Cyanistes caeruleus) utječe natjecanje s braćom i sestrama?" ili "Kako travnati pokrivač utječe na sadnice eukaliptusa?"

Većina sudionika koji su ispitivali podatke o plavim sjenicama otkrili su da natjecanje između braće i sestara negativno utječe na rast mladunaca. Ali nisu se slagali oko veličine učinka. Zaključci o tome koliko snažno travnati pokrivač utječe na broj sadnica eukaliptusa bili su još raznolikiji. 

Ispravno nasuprot krivom

Unatoč širokom rasponu rezultata, nijedan od odgovora nije pogrešan, kaže Fraser. Umjesto toga, raspon odražava faktore  kao što su obuka sudionika i način na koji su odredili veličinu uzorka.

Ali kako ćete onda znati koji je rezultat pravi? Dio rješenja mogao bi biti traženje od autora rada da izlože analitičke odluke koje su donijeli i potencijalna upozorenja tih izbora, kažu istraživači. Ekolozi bi, smatra Nosek, mogli koristiti prakse uobičajene u drugim područjima. Na primjer, testovi robusnosti, uobičajeni u ekonomiji, zahtijevaju od istraživača da analiziraju svoje podatke na nekoliko načina i procijene količinu varijacija u rezultatima.

Analitičke varijacije

No, testove robusnosti lakše je primijeniti u ekonomiji nego u ekologiji i ekolozima je zbog puno razloga puno teže razumjeti kako analitičke varijacije utječu na rezultate njihovih istraživanja. O tome je svojedobno, još u kolovozu 2017. pisao časopis Nature u svom članku znakovita naslova "Zašto se 14 ekoloških laboratorija udružilo kako bi promatrali kako trava raste".

"Temelji ovog područja su promatranja", kaže Nicole Nelson sa Sveučilišta Wisconsin-Madison. "Radi se o tome da sjedite i gledate što vam prirodni svijet baca - što je puno varijacija."