Quanto è attendibile uno studio rispetto ad un altro? Quali tipi di studio esistono? Come sono strutturati? Come possiamo valutarli in maniera critica?
Nella seguente guida cercheremo di fornire delle risposte a queste domande.
Piramide delle evidenze scientifiche
Le informazioni reperibili, scientifiche e non, possono avere un peso (valenza) ben diverso, questo è chiaro. In medicina, le evidenze scientifiche vengono ordinate in base all’importanza e “racchiuse” in una piramide, detta appunto piramide delle evidenze scientifiche oppure, in inglese, evidence-based medicine pyramid (figura sotto).
Nel gradino più basso ci sono le informazioni presenti nei libri “commerciali” e le opinioni degli addetti ai lavori. Sopra, gli studi osservazionali (case series, case report e caso-controllo). Al gradino superiore, gli studi di coorte e sopra ancora, gli studi controllati-randomizzati. Infine, nei tre gradini più in alto vi sono le analisi critiche di studi singoli, insieme di studi e le revisioni sistematiche (con o senza meta-analisi).
Semplificando il tutto, possiamo quindi dividere l’attendibilità del materiale scientifico presente nei “piani” di questa piramide in tre macrocategorie: debole (primo piano della piramide riportata sopra), discreta (secondo, terzo e quarto piano) e forte (quinto, sesto e settimo piano).
Per questo motivo, il materiale reperibile su PubMed, la grande banca dati ove sono contenuti milionate di studi scientifici, non è tutto uguale e deve essere interpretato in un certo modo.
Prima di proseguire, introduciamo un termine di fondamentale importanza: EBM, ovvero Evidence-based Medicine, apparso per la prima volta nella letteratura medica nel 1992 (Evidence-based medicine. A new approach to teaching the practice of medicine). Acronimi simili sono i seguenti: EBP (Evidence-based Practice) o EBHC (Evidence-based Health Care).
L’EBM “costituisce un approccio alla pratica clinica dove le decisioni cliniche risultano dall’integrazione tra l’esperienza del medico e l’utilizzo delle migliori evidenze scientifiche disponibili, mediate dalle preferenze del paziente” (GIMBE, Evidence for Health).
L’EBM è composta da cinque tappe:
- Definizione del problema;
- Raccolta dell’evidenza necessaria per rispondere al problema;
- Valutazione critica;
- Integrazione dell’evidenza e dei fattori legati al paziente;
- Valutazione dell’intero processo.
Ogni professionista legato all’ambiente della medicina, dai medici ai fisioterapisti, dagli infermieri ai laureati in Scienze Motorie, dovrebbe avere un approccio basato oltre che sulla propria esperienza pratica, anche sulle odierne evidenze scientifiche.
Tipi di studio
Studio osservazionale: questo tipo di studi analizza gli effetti di uno o più fattori specifici sulla salute di un gruppo di persone. In letteratura scientifica si trovano una marea di ricerche di questo tipo, come ad esempio quelle che mettono in relazione alcune abitudini alimentari con il cancro o altre malattie. Gli studi osservativi hanno un’efficacia limitata, possono infatti mettere in relazione alcuni fattori ma non stabilire con certezza il rapporto causa-effetto. Alcune correlazioni evidenziate possono, alle volte, essere semplici coincidenze o comunque rivelarsi poco affidabili a causa dell’elevato numero di fattori, magari non presi in considerazione, che possono influire sui risultati. Basti pensare a malattie come i tumori che, oltre ad una questione di predisposizione genetica, non hanno una sola causa ma un’enorme quantità di concause.
Il grosso degli studi epidemiologici attualmente presenti in letteratura è osservazionale, questi possono guadagnare maggiore credibilità solo nel caso vengano abbinati a ricerche più avanzate, che dimostrino la causalità ipotizzata dai primi. Appartengono a questa macro-categoria gli studi descrittivi (case report e case series) e gli studi osservazionali longitudinali o analitici (di coorte e caso-controllo). Una ricerca osservazionale diventa longitudinale quando le medesime osservazioni vengono ripetute per lunghi periodi di tempo. Non a caso quelli longitudinali sono considerati gli studi osservazionali più adatti ad ipotizzare delle causalità.
Studio sperimentale: gli studi sperimentali sono mediamente più attendibili rispetto a quelli osservazionali, essi si pongono infatti l’obiettivo di stabilire un rapporto causa-effetto. Possono essere svolti in vitro, in vivo (animali) e su esseri umani (trial clinici). Non sempre ciò che succede in vitro, o vivo, poi si ripete anche sull’essere umano (per esempio l’integratore alimentare Beta-Ecdisterone è efficacissimo su alcuni animali, molto meno sull’uomo). Queste cavie vengono inserite in un gruppo sperimentale o di controllo tramite assegnazione casuale (sperimentazione casuale controllata). Negli studi sperimentali il gruppo detto, appunto, sperimentale riceve un trattamento (es. assunzione di un farmaco) e il gruppo di controllo non lo riceve, oppure riceve un placebo (quest’ultimo è un trattamento “finto”). Se l’assegnazione delle cavie nei gruppi è casuale (tutte le variabili potrebbero i risultati dello studio sono equamente distribuite), i risultati ottenuti sul gruppo sperimentale alla fine dello studio possono considerarsi effetti del trattamento. Tuttavia, se la randomizzazione dei gruppi di studio non è eseguita correttamente o se si presentano altri errori durante lo svolgimento delle ricerche, gli studi, da controllati, rischiano di diventare incontrollati e la loro attendibilità cala drasticamente. Ad esempio, le persone dei gruppi potrebbero avere differenze soggettive troppo marcate e mal distribuite (sesso, età, malattie ereditarie) o sapere con certezza se quello che assumono è un trattamento effettivo o un placebo).
I trial clinici, citati poco fa, servono a stabilire se i risultati della ricerca di base (vitro e vivo) sono applicabili agli esseri umani, oppure a confermare i dati ottenuti dalla ricerca epidemiologica.
Attualmente i trial clinici sono organizzanti nel seguente modo:
- Randomizzati: i soggetti sono stati inseriti in maniera del tutto casuale all’interno di uno dei gruppi di studio (gruppo che riceve il trattamento o gruppo placebo).
- Cieco: i soggetti dell’esperimento non sanno quale trattamento ricevano.
- Doppio cieco: nemmeno i ricercatori sanno qual è il trattamento somministrato a ciascuno dei soggetti dell’esperimento.
- Triplo cieco: se oltre ai ricercatori e ai pazienti vi sono degli esaminatori esterni, anche questi non sono a conoscenza della natura della somministrazione del trattamento (placebo oppure no) a cui vanno incontro i pazienti.
Il doppio (e triplo) cieco è considerato il “Gold standard” (standard di riferimento), visto che i risultati spesso sono piuttosto attendibili (assai raramente vi è una distorsione causata dalle cavie o dai ricercatori). Tuttavia, il doppio-cieco non è sempre infallibile, infatti in certi casi non è semplice mascherare il trattamento farlocco (placebo) e renderlo uguale, magari esteticamente, al reale trattamento.
Quando pensano di poter essere influenzati in un senso o nell’altro nella valutazione di osservazioni poco chiare, i bravi scienziati scelgono deliberatamente di rimanere all’oscuro sul significato delle osservazioni che stanno facendo. È quello che si definisce uno studio «cieco». Se per esempio volete produrre un nuovo farmaco e lavorate per un’azienda farmaceutica, la FDA (Food and Drug Administration) vi chiederà di fare uno studio cieco. Non si fidano, e non dovreste fidarvi neanche voi.
(Kary Mullis, Ballando nudi nel campo della mente)
Meta-analisi e review sistematica: non si tratta di una metodica particolare per effettuare dei nuovi studi ma semplicemente di uno strumento matematico-statistico che mette in relazione e fa un sunto dei risultati ottenuti in numerosi studi. Nella piramide delle evidenze scientifiche ha un elevato peso, ne ricopre infatti la parte più alta, ciò nonostante essa non è esente da errori. Per esempio, se il numero di studi è troppo alto si rischierebbe di racchiuderne uno corrotto da bias (pregiudizi dei ricercatori ed errata interpretazione dei dati), oppure è difficile fare una media statistica dei risultati di studi condotti su gruppi molto differenti (età, sesso, patologie e con metodiche diverse fra loro. Per questo motivi le meta-analisi possono non essere infallibili.
All’inizio di ogni meta-analisi (o review sistematica), gli autori, anche grazie all’ausilio di una rappresentazione grafica, mostrano la “scrematura” che hanno effettuato per selezionare i giusti studi. Per fare un esempio più concreto, nella figura riportata sotto, è riportato il processo che ha portato all’individuazione di 6 studi simili ed alla successiva comparazione in un recente lavoro di Grgic J. e colleghi, pubblicato sulla rivista “European Journal of Sport Science”.
I ricercatori hanno trovato nella banca dati online 1960 studi, hanno poi rimosso i doppioni, quelli non leggibili per intero (full-text), quelli che tenevano conto di determinati adattamenti fisiologici solamente in acuto, quelli con dati insufficienti e così via. Tramite questa “scrematura”, da 1960 si è passati a 6! Questo è solo un esempio, utile per far comprendere meglio il meccanismo che si cela dietro l’inclusione o l’esclusione degli studi di una meta-analisi.
Anche se non è molto pertinente, giusto a titolo informativo, la review citata nelle precedenti righe tratta dei tempi di recupero nell’allenamento con i pesi per il bodybuilding ed è stata sviscerata qui: Recupero fra le serie: qual è il tempo ottimale?
Torniamo ora a noi. Ovviamente il detto “Di sicuro c’è solo la morte” è sempre valido, spessissimo con l’evolversi della scienza, alcune teorie e posizioni dei ricercatori vengono completamente riviste. In questo ostico campo è opportuno avere gli strumenti per valutare la bontà di uno studio rispetto a un altro. Questi possono averli gli addetti ai lavori che hanno studiato e fatto pratica presso le opportune facoltà e che posseggono i giusti titoli di studio, oppure gli appassionati un po’ più esterni a questo mondo, ponendosi con estrema umiltà alcune delle seguenti domande:
- Qual è l’obiettivo dello studio?
- Quali sono i metodi utilizzati per le misurazioni/rilevazioni?
- Su che rivista è pubblicato lo studio? Quanto è quotata (Impact factor)?
- Quanto si conosce dei gruppi di studio?
- Quanto hanno in comune le singole persone sottoposte ai trattamenti?
- Gli autori fanno accenno ai limiti dello studio?
- Le domande poste nell’introduzione dello studio sono coerenti con i metodi di ricerca?
- Le conclusioni sono giustificate dai dati?
- Gli studi simili cosa dicono? Hanno risultati analoghi?
Se si parla di meta-analisi o review sistematiche:
- I criteri di inclusione o esclusione dei dati sono chiari?
- La qualità degli studi selezionati è specificata?
- Quali sono i limiti degli studi scelti? Gli autori li specificano?
- Le meta-analisi/review simili che risultati hanno dato?
Ulteriori approfondimenti nel seguente paragrafo.
Struttura di un articolo scientifico
Un articolo (o studio) scientifico è composto dalle seguenti parti principali: abstract, introduzione, metodologia, risultati, discussione, conclusioni e referenze.
Abstract (estratto): serve a descrivere brevemente argomento, metodologie e risultati. Fornisce informazioni sufficienti per stabilire se lo studio è di nostro interesse o meno, tuttavia non dà modo di capire quanto è attendibile lo studio in sé. Per quest’ultimo punto è necessario leggere lo studio per intero.
Introduzione: ha il compito di presentare lo studio al lettore, spiegando perché è stato fatto, quali sono gli obiettivi e qual è l’importanza rivestita da esso. Alle volte l’introduzione è divisa in due parti: background e finalità.
Metodologia: è una sezione di fondamentale importanza perché permette agli addetti ai lavori ed ai lettori più critici di capire se la ricerca è valida oppure no. Come è stata condotta la ricerca? Il campione preso in esame è sufficientemente ampio? Quali e quanti sono i gruppi di studio? Come sono stati selezionati i soggetti? Come sono stati analizzati i dati?
Questa sezione, più che “Metodologia” potrebbe essere chiamata “Come”.
Risultati: arrivati a questo punto, i ricercatori espongono i dati ottenuti ed è proprio qui che entra in gioco il valore p (p-value). Esso rappresenta la probabilità di ottenere per caso un effetto o un’associazione nel campione di uno studio. Se i risultati di uno studio sono statisticamente significativi allora lo studio dimostra una associazioni o un effetto reale. Gli studiosi devono indicare espressamente il valore p. Un valore inferiore al 5%, cosa molto comune, (p<0,05%) è considerato significativo.
Se i risultati di uno studio non sono statisticamente significativi, gli autori possono discutere della potenza statistica dello stesso. Allo stesso tempo, dei risultati significativi non sono necessariamente sinonimo di scoperte importanti.
Discussione: viene fatta luce sui risultati e sulle possibili interpretazioni dei dati. I ricercatori possono mettere in evidenza problemi metodologici e limiti dello studio. La discussione dev’essere coerente con l’obiettivo dell’indagine, i ricercatori devono discutere dei dati ottenuti, a patto che siano sufficienti, senza uscire dai giusti binari e senza lanciare giudizi affrettati.
Conclusioni: in questa sezione i ricercatori “tirano le somme”. Soprattutto se i dati sono scarsi, o privi di un significativo impatto statistico, è bene che nessuno cada in estremismi o conclusioni non supportate da prove attendibili. Insomma, detto senza troppi indugi, bisogna “andarci con i piedi di piombo”.
Referenze: vengono elencati tutti i riferimenti bibliografici, con apposito numerino (esempio: [7] Nomi degli autori – Titolo dello studio, rivista e anno di pubblicazione).
Conclusioni
Ovviamente il metodo scientifico non è perfetto, tuttavia è il miglior strumento a noi disponibile per scoprire cose nuove e fare progressi in campo medico e non solo. La scienza non è portatrice di verità assoluta ma di una verità provvisoria. Solo se stessa può progredire e superarsi ogni volta che vengono fatte delle nuove scoperte tramite, appunto, degli studi scientifici.
Conoscere queste nozioni e unirle a un pensiero critico, una visione olistica, approfondire ulteriormente gli argomenti trattati in questo articolo e restare in continuo aggiornamento è il miglior modo per non invecchiare (mentalmente) anzitempo ed essere ancor più competenti se si lavora nel campo scientifico.
Inoltre, una buona dose di cultura è indubbiamente utile al fine di non cadere nelle bufale di cui è stracolma la rete. Non basta citare studi a casaccio, il materiale scientifico va interpretato e contestualizzato.
Grazie per l’attenzione.
Bibliografia
Evidence-Based Medicine Working Group – Evidence-based medicine. A new approach to teaching the practice of medicine (1992)
Buchheit M. – Houston, We Still Have a Problem (https://martin-buchheit.net/2017/07/03/houston-we-still-have-a-problem/)
CICAP – Gli articoli scientifici: impariamo a conoscerli (2016)
Grgic J. et al. – The effects of short versus long inter-set rest intervals in resistance training on measures of muscle hypertrophy: A systematic review (2017)
Top Conditioning 