Každý týždeň to isté. „Nová štúdia dokázala, že káva predlžuje život." O mesiac neskôr: „Vedci varujú, káva škodí srdcu." Vajcia boli desať rokov jed, potom zrazu superpotravina. Raňajky sú najdôležitejšie jedlo dňa, pokiaľ práve nie je v móde prerušovaný pôst. Človek to prestane sledovať, mávne rukou a povie si, že veda si aj tak protirečí a nedá sa jej veriť.
Lenže veda si neprotirečí. Protirečia si titulky.
Za tými dvoma protichodnými nadpismi zvyčajne stoja dve úplne odlišné veci: raz sledovanie stotisíc ľudí cez dotazník, inokedy pokus na tridsiatich myšiach. Obe sa v novinách volajú „štúdia". Obe dostanú rovnako sebavedomý titulok. A pritom jedna z nich má výpovednú hodnotu asi ako počasie na budúci mesiac.
Dobrá správa je, že rozoznať kvalitnú štúdiu od bezcennej sa dá naučiť za jedno popoludnie. Nepotrebuješ na to doktorát ani znalosť štatistiky. Potrebuješ vedieť, na čo sa pýtať, a mať disciplínu pýtať sa aj vtedy, keď ti výsledok sedí do toho, čomu už veríš.
Nie každý dôkaz váži rovnako
Toto je základ všetkého ostatného. Slovo „štúdia" nič nehovorí, kým nevieš, akého je typu. Existuje pomerne jasná hierarchia dôkazov a stojí za to poznať aspoň jej hrubé poschodia.
Úplne dole sú laboratórne pokusy a pokusy na zvieratách. Bunky v miske, myši, potkany. Sú nenahraditeľné, lebo bez nich by sme nevedeli, kde vôbec hľadať. Ale nie sú to dôkazy o tom, ako niečo funguje u človeka. Myši sme vyliečili z rakoviny už mnohokrát. Ľudí zatiaľ nie. Ak titulok hovorí o prelomovom objave a v texte sa niekde skromne spomínajú hlodavce, je to zaujímavý nápad na ďalší výskum, nič viac.
O poschodie vyššie sú kazuistiky a série prípadov. Opis jedného alebo niekoľkých pacientov. Užitočné pri zriedkavých ochoreniach a pri odhaľovaní nečakaných vedľajších účinkov, ale zovšeobecniť sa z nich nedá nič.
Prierezové štúdie a dotazníkové prieskumy odfotia stav v jednom okamihu: čo ľudia jedia, ako sa cítia, koľko vážia. Problém je, že nevieš, čo bolo prvé. Sú tí ľudia štíhli, lebo jedia takto, alebo jedia takto, lebo sú štíhli? Prierezová štúdia to nerozlíši.
Kohortové štúdie zoberú veľkú skupinu ľudí a sledujú ju roky až desaťročia dopredu. Toto je už poctivá práca a väčšina toho, čo vieme o dlhodobých vplyvoch životného štýlu, pochádza práve odtiaľto. Stále však platí, že nikto nikoho do ničoho nerozdelil. Len sa pozeralo, čo ľudia robia sami od seba, a to prináša problém, ktorý rozoberieme nižšie.
Randomizácia je to, čo robí rozdiel
Randomizované kontrolované štúdie rozdelia ľudí náhodne do dvoch skupín, jedna dostane sledovaný zásah, druhá placebo alebo nič, a výsledok sa porovná. Náhodné rozdelenie je to kúzlo: zabezpečí, že sa obe skupiny podobajú vo všetkom ostatnom, aj v tom, čo nikoho nenapadlo merať. Je to jediný spôsob, ako spoľahlivo zistiť, či niečo naozaj spôsobuje výsledok. Keď je štúdia navyše zaslepená, teda účastníci nevedia, v ktorej skupine sú, prípadne dvojito zaslepená, keď to nevedia ani výskumníci, je to ešte lepšie.
Na vrchole stoja systematické prehľady a meta-analýzy. Tieto práce nerobia vlastný pokus. Podľa vopred stanovených pravidiel vyhľadajú všetky doterajšie štúdie na danú tému, posúdia ich kvalitu a spočítajú ich dokopy. Dobrá meta-analýza randomizovaných štúdií je to najlepšie, čo v danej otázke máme.
Jedna dôležitá výhrada: meta-analýza je len taká dobrá, ako štúdie, z ktorých je poskladaná. Keď zoberieš dvadsať zlých štúdií a spriemeruješ ich, dostaneš presnejšie vypočítanú nezmyselnú odpoveď. Preto poctivé meta-analýzy vždy obsahujú hodnotenie kvality zaradených prác a preto sa oplatí pozrieť, či tam také hodnotenie vôbec je.
Praktický záver: keď natrafíš na titulok, prvá otázka znie — na kom to robili a rozdelil ich niekto náhodne?
Mýtus
Ukázala to štúdia, takže je to dokázané.
Fakt
Slovo štúdia pokrýva pokus na myšiach aj dotazník. Čo z nej smieš vyvodiť, určuje jej typ.
Súvislosť nie je príčina
Toto počul každý a aj tak na to každý nasadne, vrátane novinárov, ktorí o tom písali článok minulý mesiac.
Predstav si zistenie, že ľudia, ktorí pravidelne jedia orechy, žijú v priemere dlhšie. Znie to ako dôvod jesť orechy. Lenže kto sú tí ľudia? Zvyčajne majú vyšší príjem, viac sa hýbu, menej fajčia, chodia na preventívne prehliadky a celkovo sa o seba starajú. Orechy sú len jeden viditeľný prejav celého životného štýlu.
Odborne sa tomu hovorí zavádzajúca premenná, teda niečo tretie, čo ovplyvňuje obe sledované veci naraz. Štatistici sa to snažia dopočítať, ale nikdy to nevyčistia úplne, lebo nemôžu započítať to, čo nikto nezmeral.
Čo hovorí štúdia
Dlhé roky pozorovacie dáta ukazovali, že ženy užívajúce hormonálnu substitučnú liečbu majú menej infarktov. Keď sa to konečne otestovalo randomizovanou štúdiou, ukázalo sa, že liečba riziko naopak zvyšuje. Rozdiel bol v tom, že tú liečbu si vtedy dopriali skôr zdravšie a bohatšie ženy.
Ako to spoznáš v texte: slová „spájané s", „súvisiace s", „asociované s" alebo „častejšie sa vyskytovalo u" znamenajú súvislosť. V titulku sa z nich takmer vždy stane „spôsobuje". Keď štúdia nikoho náhodne nerozdelila, o príčine nehovorí. Bodka.
Mechanizmus ešte nie je výsledok
Toto je najčastejší trik marketingu doplnkov výživy a treba ho poznať.
Postup vyzerá takto: v laboratóriu sa zistí, že nejaká látka aktivuje bunkovú dráhu, ktorá súvisí napríklad s rastom svalov alebo so spaľovaním tuku. To je mechanizmus. A hneď na to vznikne produkt s tvrdením, že vedecky potvrdene podporuje rast svalovej hmoty.
Lenže telo je súčtom stoviek takých dráh, ktoré bežia naraz a navzájom sa ovplyvňujú. To, že mechanizmus existuje, vôbec negarantuje, že sa prejaví na výsledku, ktorý ťa zaujíma. Medzi „aktivuje dráhu v bunke" a „narastú ti svaly" je obrovská priepasť, ktorú treba preklenúť skutočným pokusom na ľuďoch.
Pýtaj sa vždy: meralo sa niečo, čo naozaj cítim a chcem, teda svaly, hmotnosť, infarkty, dĺžka života, alebo len biochemický ukazovateľ, o ktorom niekto dúfa, že s tým súvisí? Tomu druhému sa hovorí náhradný ukazovateľ a je to jedno z najzradnejších miest celej medicíny. Liek môže krásne zlepšovať hodnoty v krvi a pritom nezachrániť ani jeden život.
Mýtus
Vedecky potvrdené zloženie.
Fakt
Potvrdený býva mechanizmus v bunke, nie výsledok, ktorý od produktu čakáš.
Jedna štúdia nie je dôkaz
Toto si zaslúži zarámovať a povesiť nad monitor.
Jedna štúdia je jeden hlas v diskusii. Nič viac. Výsledok začne platiť až vtedy, keď ho nezávisle zopakujú iné tímy a keď to celé niekto zhrnie do systematického prehľadu.
Za posledné roky sa ukázalo, že veľkú časť slávnych experimentov, najmä v psychológii a medicíne, sa pri opakovaní nepodarilo potvrdiť. Nie preto, že by niekto klamal. Väčšinou preto, že pôvodné štúdie boli malé, výsledok vyšiel tesne pod hranicou významnosti a nikto sa neunúval overiť ho.
A práve toto vysvetľuje tie protichodné titulky z úvodu. Médiá vytiahnu jednu izolovanú štúdiu, urobia z nej zázrak alebo strašiaka, a o mesiac to isté s opačným výsledkom. Pritom v odbornej literatúre sa medzitým nezmenilo prakticky nič, celok dôkazov sa posúva pomaly a nudne.
Najťažšie je skontrolovať sám seba
Všetko doteraz bola technika. Toto je charakter.
Máme prirodzenú tendenciu prijať bez odporu štúdiu, ktorá potvrdzuje, čo si už myslíme, a naopak hľadať chyby v tej, ktorá nám protirečí. Robia to všetci, aj vedci, najmä tí, ktorí si na nejakej téme postavili kariéru.
Existuje na to jednoduchý test. Keď natrafíš na štúdiu, ktorá ti sedí, prečítaj si ju rovnako prísne, ako keby ti nesedela. Prejdi tých pár otázok nižšie. Ak zrazu nemáš čo namietať a všetko je zázračne v poriadku, je veľmi pravdepodobné, že nečítaš, len zbieraš muníciu do debaty.
A druhá vec, možno ešte dôležitejšia: nikdy nevypínaj mozog. Ani vtedy, keď štúdiu vydal prestížny časopis. Ani vtedy, keď ju cituje niekto s titulmi. Ani vtedy, keď to hovorí človek, ktorému inak dôveruješ. Samotná vedecká metóda je spoľahlivá. Ľudia, ktorí ju používajú, sú omylní ako všetci ostatní.
Desať otázok na rýchlu kontrolu
Než niečo pošleš ďalej alebo podľa toho zmeníš život, prejdi si týchto desať otázok:
- Ľudia, alebo myši a bunky?
- Randomizované rozdelenie, alebo len pozorovanie?
- Koľko ľudí, ako dlho a koľkí odpadli?
- Podobajú sa účastníci na mňa?
- Meral sa reálny výsledok, alebo len mechanizmus či náhradný ukazovateľ?
- Aké je absolútne číslo, nie percentuálna zmena?
- Aký je konfidenčný interval, úzky alebo od ničoho po všetko?
- Bol protokol zaregistrovaný vopred?
- Kto to financoval a kde to vyšlo?
- Potvrdil to už niekto nezávisle?
Keď na väčšinu z nich nevieš odpovedať z toho, čo čítaš, problém nie je vo vede. Problém je v tom článku.
Prvých päť otázok zvládneš z tohto textu. Zvyšok sú čísla a metodika, ktoré si treba pozrieť priamo v práci, a o tých je pokračovanie: Čo si v štúdii pozrieť, než jej uveríš.