Morda ste pred časom z enako radostjo v srcu kot jaz prebrali, da je dnevni kozarec rdečega vina enako koristen kot ura fitnesa? Ali pak, da kava preprečuje raka črevesja? Nemara ste se vznemirili ob vesti, da večerno sladkanje poškoduje tisti del možganov, ki shranjuje spomine? Še bolj vas je gotovo zaskrbelo, ko ste slišali, da je vožnja v dehidriranem stanju enako nevarna kot pijana vožnja! Ste se nasmehnili, ko ste prebrali, da so znanstveniki na Stockholmski univerzi leta 2004 ugotovili, da imajo piščanci raje lepe kot nelepe ljudi? In ne pozabimo seveda mojega osebnega favorita: da naj bi vohanje lastnih prdcev preprečevalo raka!

Kar dve tretjini vseh študij, objavljenih v prestižnih ameriških znanstvenih žurnalih, se izkažeta za napačni! 

In ko o tem poroča Time

O vseh naštetih ugotovitvah so mediji obširno poročali. Tudi o prdcih. O njihovi domnevni zmagovitosti nad rakom se je razpisala celo revija Time. Edina težava je, da sta v grobem dve tretjini omenjenih trditev napačni. In da ni originalna študija o prdcih v resnici omenjala ne prdcev ne raka. Ampak o tem malo kasneje.



Bič površne znanosti

Spoznajmo najprej Johna Ioannidisa, avtorja prej navedene smele trditve o dvotretjinski napačnosti resnih znanstvenih študij.

Ioannidis je profesor na ameriški univerzi Stanford in eden najbolj citiranih raziskovalcev na svetu. V pozorni javnosti je najbolj znan po svojem delu z zgovornim naslovom Zakaj je večina objavljenih raziskav napačna. Njegovi izsledki so tako neizprosni,da je brkatega Američana eden od kolegov opisal kot »bič površne znanosti«.

Ioannidis se je že pred časom specializiral za natančne izračune možnosti, da so rezultati posamezne študije napačni. V ta bazen je najprej skočil na področju medicine, kjer se je izšolal za zdravstvenega matematika. Kot del osebja na prestižni kliniki Johns Hopkins je začel sistematično spremljati, kako gre bolnikom na dolgi rok. In kaj kmalu je v oceanu podatkov opazil sila zlovešče vzorce. Ko so se njegove hipoteze potrdile spet in spet, je tudi na lastno osuplost počasi ugotovil, da »učinkovitosti večine zdravljenj preprosto ne podpirajo dobri kvantitativni dokazi«.

Kar bi najbrž večino bolnikov kar malce presenetilo, kajne?

Kaj lahko torej šele rečemo o zanesljivosti »ugotovitev«, s katerimi nas prek medijev obstreljujejo razni neformalni strokovnjaki … Torej vsa tista plejada pop gurujev in garažnih znanstvenikov, ki lahko svoje smele teze širi brez vsakih formalnih omejitev! 

Sčasoma je Ioannidis usmeril svojo kritično lupo tudi na številna druga znanstvena področja, od genetike prek nevroznanosti do družboslovnih ved. Tudi tam so bile njegove najdbe tako šokantne, da je bil na neki točki prisiljen razglasiti: Kar dve tretjini vseh študij, objavljenih v prestižnih ameriških znanstvenih žurnalih, se izkažeta za napačni! Za več kot šestdeset odstotkov vseh ugotovitev, ki so bile objavljene v svetih spisih moderne znanosti, pridejo kmalu druge študije, ki v celoti pobijejo njihova odkritja. Ali pak ugotovijo, da so bili rezultati sfrizirani ali pretirani ali kar koli že.

Radikalna trditev, ni kaj. Tudi avtor teh vrstic ima še vedno težave pri prebavljanju njene radikalnosti. Ampak pozor! Ioannidis je pri svoji analizi strokovno prečesal zgolj elito – torej le tiste študije, ki sploh pridejo na strani najprestižnejših ameriških znanstvenih žurnalov! Take študije z najvišjimi kriteriji in standardi pa obsegajo le desetinko odstotka vsega znanstvenega raziskovanja. Razumno je domnevati, da je stopnja napačnosti vseh drugih študij še višja kot dve tretjini. Najbrž občutno višja. In kaj lahko torej šele rečemo o zanesljivosti »ugotovitev«, s katerimi nas prek medijev obstreljujejo razni neformalni strokovnjaki … Torej vsa tista plejada pop gurujev in garažnih znanstvenikov, ki lahko svoje smele teze širi brez vsakih formalnih omejitev!

!prekinitev! 

Znanost kot kazino

Mark Ioannidis je danes prepričan: ker je marketinški oddelek v veliki večini podjetij močnejši od raziskovalnega oddelka, so znanstveni dokazi že zdavnaj postali najnavadnejše blago na trgu. Glavna igra na tem trgu se čedalje bolj imenuje – kdo dobi največ javnih sredstev. Sistem pa pri načrtovanju novih študij favorizira najbolj agresivne kockarje.

»Znanstveni dokazi so postali oglaševalsko orodje, velik del znanosti pa zgolj prizidek kazinom v Las Vegasu,« zlovešče odkima Ioannides.

Danes se velika večina študij sploh ne replicira. Namesto tega kar nekako obvelja! Preprosto povedano: cel kup podatkov, ki jih jemljemo kot znanstvena dejstva, ni bilo nikoli preverjenih. 

Kaj pravzaprav misli s tem? Hja, posamezno raziskavo je mogoče na desetine malih načinov prikrojiti potrebam naročnika. Dizajnerji študij se lahko poigrajo recimo s tem, kako dolgo študija traja, ali pa morda uporabijo izrazito majhen vzorec raziskovancev. Ker so testni zajčki za udeležbo v študijah plačani, so pri izsledkih izrazito nadpovprečno zastopani revni ljudje, za povrh pa še alkoholiki in narkomani … Kot krona vsega tega pa je tu še fascinantna reč po imenu P-hacking. To je angleški uradni žargon za proces, v katerem znanstveniki zberejo čim več najrazličnejših možnih podatkov in se potem z njimi igrajo tako dolgo, dokler ne najdejo dovolj očarljive povezave.

(To zadnje je dejansko prav tako butasto, kot se sliši. To je, kot bi metali pikado v prazno steno in potem okrog puščic risali tarče.)

Dobro, boste rekli, saj zato pa je v samo esenco znanosti vtkan koncept ponovitvene študije, ki s ponovitvijo poskusa overi prvotne ugotovitve! A žal se tudi na to ne gre več preveč zanašati. Kot ve marsikateri zagrenjeni skoraj nobelovec, v znanosti srebro ne šteje dobesedno nič. Za ponovitvene študije je tako na voljo bistveno premalo finančnih sredstev. Pa še nihče jih ne želi delati. Zakaj? Ker niso nikjer objavljene, zato jih večina razumnih uglednih znanstvenikov pač vidi kot galjotsko delo brez nagrade.

Kot med drugimi poroča ugledni novinar David H. Freedman v svoji imenitni knjigi V zmoti – zakaj nas strokovnjaki vedno znova pustijo na cedilu, se danes velika večina študij sploh ne replicira. Namesto tega kar nekako obvelja! Preprosto povedano: cel kup podatkov, ki jih jemljemo kot znanstvena dejstva, ni bilo nikoli preverjenih.



Kaos, namaškaran v znanost

Se spomnite študije, po kateri naj bi bila vožnja, ko smo dehidrirani, enako pogubna, kot če smo pijani? Izsledki so sicer očarali voditelje jutranjih TV-oddaj po vsem planetu, a izkazalo se je to: študija je bila opravljena na le 12 človeških poskusnih zajčkih!S tem da podatkov enega od teh dvanajstih na koncu sploh niso upoštevali. Študijo pa je sponzoriral Evropski inštitut za hidracijo, ki ga med drugim darežljivo financira Coca Cola – podjetje, ki še kako profitira od samega koncepta »rehidracije«, kajne?

Tu se v že tako problematično zgodbo vključimo mediji. In slabo podkovano znanost sladostrastno raztrobentamo naprej. Novinarji pogosto »nimajo časa« preveriti morebitnih konfliktov interesov iz ozadja. Ali nemara preprosto pozabijo omeniti, da je bila študija narejena samo na dvajsetih ženskah ali celo sploh ne na ljudeh, temveč na miškah.

Ker so njihove kariere odvisne od čim več objav v prestižnih publikacijah, so raziskovalci pod hudim pritiskom, da »najdejo« prave podatke za navdušujoče pozitivne naslove. 

(Mimogrede, ste vedeli, da občutno večino tega, kar vemo o antidepresivih, vemo na podlagi učinkov na mišjo populacijo? Torej na podlagi učinkov, ki jih imajo te snovi na od nas tako različna bitja, da mlade mišje mamice po tem, ko jim očistijo kletko,pogosto požrejo svoje mlade?)

Potem je tu človeški faktor samih znanstvenikov.

Ker so njihove kariere odvisne od čim več objav v prestižnih publikacijah, so raziskovalci pod hudim pritiskom, da »najdejo« prave podatke za navdušujoče pozitivne naslove. (Pozitivne v tem, da nekaj najdejo, namesto da nečesa ne najdejo. Priznajte,najbrž vas ne bi zanimalo prebrati članka z naslovom: Goji jagode ne zdravijo tuberkuloze!)

!prekinitev! 

In še statistične napake

V ta že toksično brbotajoči kotel lahko mirno primešamo še čisto navadno površnost. Ekipa raziskovalcev španske univerze v Gironi je ugotovila, da je kar četrtina pregledanih študij, objavljenih v prestižni publikaciji British Medical Journal, vsebovala statistične napake. V ugledni reviji Nature pa kar 38 odstotkov pregledanih študij! Ko so pri British Medical Journalu kot del skrivnega testa 221 pogostim »revizorjem« oziroma »sodnikom« poslali članek z osmimi dokaj očitnimi napakami, so sodniki v povprečju opazili dve.

Ves ta kaos je najbrž še najbolje zajel angleški komik John Oliver, ki je rekel: »Ob tem se človek preprosto mora vprašati: je znanost bedarija? In odgovor je jasen in glasen: Ne! Je pa res, da smo izpostavljeni čedalje več bedarijam, ki so se namaškarale v znanost! In to je res nevarno. Znanost je po svoji naravi nepopolna, a to ne pomeni, da ni izjemno pomembna. In od nas si zasluži bolje, kot da jo zverižimo v komaj prepoznavne oblike za tračarske potrebe jutranje televizije!«



Ena luč znanosti

»Obstaja le ena luč znanosti – in če jo okrepimo kjer koli, jo okrepimo povsod.« Tako je v bistveno bolj romantičnih časih zapisal veliki mag znanstvene fantastike Isaac Asimov. A kot rečeno: tisto so bili bistveno bolj romantični časi. Poglejmo si recimo moderno zgodovino precej preprostega vprašanja: Nas lahko jemanje dodatkov vitamina D obvaruje pred rakom?

Študija, ki je bila objavljena leta 1999, je rekla Ne! Sledil je sijajen zasuk: študija leta 2006 je naznanila Da!, in to celo do 50 odstotkov! Naslednje leto je prišla ven še bolj spodbudna študija, ki je dahnila Da!, in to kar do 77 odstotkov! Še leto kasneje je prišla ven naslednja, ki je spet preprosto odkimala Ne!

Ampak v čem je največji vic? Potem so ugotovili, da je tista z Ne! uporabljala groteskno površno metodologijo. Vsebnost vitamina D v pacientih je prek palca ocenila na podlagi njihovih lastnih navedb o svoji prehrani in na podlagi sončnosti geografske lege njihovega prebivališča. Če si bil s Floride, si bil torej avtomatično uvrščen v najvišjo kategorijo vsebnosti vitamina D, pa tudi če si bil albin. Da, tudi take šlamparije dejansko prodajajo kot znanost. In s tem mastno služijo.

!prekinitev!

Strokovnjaki plačani, da se motijo

Kot rečeno: živimo v dobi carjevanja znanstvene študije. A morda ste opazili, da živimo tudi v dobi čedalje bolj akutne frustracije s strokovnjaki. Kako nas tudi ne bi frustrirali, ko pa ob vsej svoji strokovnosti niso znali napovedati tako rekoč ničesar, niti finančnega cunamija leta 2008. Oziroma so nam še nekaj tednov prej sveto zagotavljali, da je pred nami samo modro nebo in da naj le vlagamo za krasno starost. »Ljudje napol v šali radi rečejo, da so meteorologi edini, ki so plačani za to, da se motijo,« je zapisal David Freedman. »A v tem smislu je večina naših strokovnjakov plačana, da se moti. In se večino časa moti bolj kot meteorologi!« 

Mnogi obupavajo nad samim konceptom, da bi relevantne informacije dobivali od strokovnjakov. 

Končni rezultat vseh njihovih piškavih in nenehno spreminjajočih se spoznanj je, da se nastopi strokovnjakov zdijo čedalje bolj kot navadno blebetanje. Ali kot pravi Freedman, »zvočna zavesa modernega življenja«. Pa ne bi smelo biti tako!!! Redko si vstavku dovolim tri klicaje, tukaj pač brez vsakega omahovanja. Mnogi namreč obupavajo nad samim konceptom, da bi relevantne informacije dobivali od strokovnjakov. Če bo pojav postal prevladujoč, bo to glede na to, s čim se prav zdaj igračka človeška rasa, enako nevarno kot globalno ogrevanje.

(Če to seveda sploh obstaja.)



Sulfidi in mitohondriji

Aha, točno, dolžen sem vam ostal še eno razlago. Se spomnite, da naj bi vohanje prdcev preprečevalo raka? No, študija, ki so jo tako uživaško raztrobentali mediji, v resnici sploh ni omenila ne prdcev ne raka. Ukvarjala se je zgolj z zapletenim tehničnim vprašanjem, ali so nekateri sulfidi uporabno orodje za preučevanje disfunkcij v celičnih mitohondrijih. A znanstveniki, ki so študijo opravili, pravijo, da jih kljub temu še vedno kličejo razni novinarji in voditelji pogovornih oddaj, ki se želijo pogovarjati o prdcih.