La gerarchia delle prove è sbagliata. - Rawtraining

Un breve riessunto:

• La tipica “Gerarchia delle prove” è sbagliata.
• Il gold standard nella scienza sarà sempre lo studio randomizzato controllato o RCT (cioè l’indagine originale).
• Se vuoi veramente cambiare un ambito, devi condurre l’RCT.
• Le revisioni e le meta-analisi esistono solo perché gli scienziati hanno condotto precedenti RCT.
• Recensioni e meta-analisi non forniscono informazioni nuove (ovvero dati originali).
• Se sei pigro, leggi recensioni e meta-analisi.
• Assicurati di leggere gli RCT se sei ambizioso.
• Dichiari di essere uno scienziato? Allora è meglio che ci siano RCT nel tuo CV.
• Se sei un allenatore del lunedì mattina, non posso fare nulla per te.
• Se la tua mamma non ti ha abbracciato abbastanza da ragazzo, mi dispiace.

Ho visto questa foto tutte le volte che ho visto la sabbia su una spiaggia. Divertente come funzionano i social media. Una persona mette una foto del genere e prima che te ne renda conto, hai la tua fedele banda di allegri seguaci che ripetono a pappagallo le solite stupidaggini. La velocità con cui queste foto vengono pubblicate è inversamente proporzionale alla quantità di pensiero dedicata alla veridicità della foto. Questa piramide della gerarchia delle prove è nel migliore dei casi fuorviante e, nel peggiore, semplicemente sbagliata. Abbi pazienza, ti spiego perché. Prima un po’ di background. Esistono variazioni di questa piramide con le Cochrane Review a volte in alto (cioè, è ancora una review, indipendentemente dall’aggettivo che ci metti davanti). Ad ogni modo, ciò che è tipicamente raggruppato in cima alla piramide delle prove sono Recensioni e Meta-Analisi. Apparentemente questo rappresenta la crème de la crème della scienza. Di seguito troviamo studi randomizzati controllati o RCT, studi di coorte/case study controllati, case study/report, studi sugli animali, dati in vitro ecc.

Nella categoria della Scienza dello Sport, questa piramide non ha senso. Come mai? Perché il modo per apportare modifiche in un campo non è scrivere mille articoli di recensione e/o meta-analisi. Ma come si apportano cambiamenti ad un settore?

Se hai risposto “devi generare dati originali”, vai tra i primi della classe. Dati originali. Giusto. Devi fare un RCT. Oppure fai uno studio di coorte/case-control. Tuttavia, se stai studiando le prestazioni umane, uno studio di coorte è utile quanto le bacchette cinesi in una gara a chi mangia più hot dog. Anche se la maggior parte delle volte i case study vengono trattati male, sono comunque importanti. Soprattutto se i case study riguardano ciò che hai fatto con centinaia di atleti. Gli allenatori di forza che hanno lavorato a livello di college o professionistico con magari migliaia di atleti devono pur fare qualcosa di giusto. Tuttavia, il gold standard è l’RCT.

Le review paper e le meta-analisi sono carini e tutto; anch’io ne ho scritti un sacco. Diamine, il consiglio che do ai miei studenti per avere una visione d’insieme di un argomento, leggere documenti di revisione e meta-analisi è un ottimo modo per iniziare. Ma la parola chiave è “iniziare”. Se tutto ciò su cui fai affidamento sono le review, sarebbe come guardare il traguardo della maratona di Boston. Non avresti idea di cosa sia successo durante il primo miglio, il miglio 13 o Heartbreak Hill (miglio 21). Non avresti idea di come questi corridori si siano allenati per la maratona. Tutto quello che sapresti è come hanno finito. Questa è una review tipica. Hai solo la visione del traguardo.

Le meta-analisi sono ancora più problematiche. Fondamentalmente stai “combinando” studi che potrebbero essere disparati come hot dog e zucchero filato. La speranza è che tu possa restringere un gruppo di RCT in un unico numero e conclusione. Sarebbe come descrivere gli Stati Uniti facendo una meta-analisi dei 50 stati.

Sarebbe qualcosa del genere:
Gli Stati Uniti sono per il 78% bianchi, per il 13% neri e per il 17% ispanici con una piccola minoranza di asiatici, isolani del Pacifico, ecc. Il reddito medio è di $ 53.000, la percentuale di laureati di circa il 29% e il numero di coloro che vivono al di sotto della povertà circa il 15%. Capisci dove voglio arrivare? Non elencherò tutti i modi possibili per descrivere gli Stati Uniti, ma diciamo solo che non puoi “meta-analizzarli” in un modo che abbia un senso. Chiaramente, ci sono MOLTI modi per “spiegare” gli Stati Uniti. Ci sono un’infinità di statistiche che puoi usare per descrivere gli Stati Uniti a qualcuno che non c’è mai stato. Ma alla fine, è un po’ come afferrare l’acqua con le mani. Qualcuno pensa davvero che vivere in Oklahoma sia qualcosa di simile alla California del Nord? Il Texas assomiglia al Massachusetts? Il Sunshine State è qualcosa come l’Iowa? Non solo la composizione razziale è completamente diversa tra questi stati, ma la geografia, le tendenze politiche e il reddito medio differiscono. Diamine, potresti probabilmente dividere gli Stati Uniti in 6 paesi diversi. Nel solo stato della Florida, l’area di Miami è praticamente un paese diverso rispetto al nord della Florida. Ti fa dubitare di essere nello stesso stato. Ma io amo il sud della Florida.

Quindi la prossima volta che pensi che una meta-analisi sia il miglior arbitro della scienza, prova a descrivere gli Stati Uniti usando una meta-analisi. Buona fortuna. (Nota: sono un coautore di una meta-analisi sulla caffeina e di diversi articoli di revisione; quindi non sto “demolendo” questo tipo di pubblicazioni per il gusto di farlo. Sto cercando di farti pensare al di là delle ovvietà).

Tornando agli RCT. Se vuoi davvero cambiare un campo, devi fare l’RCT. Gli RCT sono il pane quotidiano della scienza. Senza RCT, non ci sono recensioni o meta-analisi. Il campo della scienza dello sport, in particolare, ha bisogno di più RCT. Recensioni e meta-analisi esistono per volere degli RCT. Allora perché mai qualcuno dovrebbe pensare che gli RCT siano meno importanti delle review/meta-analisi?

Androgeni – Roid Rage Nonsense

Negli anni ’70 e ’80, l’American College of Sports Medicine (ACSM) ha pubblicato i suoi Position Stands sugli steroidi androgeni anabolizzanti. [1] La loro posizione originale nel 1977 affermava sostanzialmente che gli steroidi anabolizzanti non funzionano e sono pericolosi. La loro posizione rivista nel 1987 affermava che potrebbero funzionare ma sono ancora pericolosi. La parte divertente della revisione del 1987 è stata che hanno cambiato le loro conclusioni in base all’assenza di nuovi dati. Sì, avete letto bene. Nulla è cambiato in termini di dati originali. Sono rimasto a grattarmi la testa. Andiamo avanti. Quando ho esaminato la letteratura molto tempo fa (e ho letto OGNI articolo originale su questo argomento), ho avuto il vago sospetto che l’ACSM avesse completamente sbagliato su entrambi i fronti. Nel 1996, sono stato coautore di un documento di revisione in cui si afferma che “l’uso di dosi moderate di androgeni provoca effetti collaterali che sono in gran parte benigni e reversibili. È nostra opinione che l’incidenza di gravi problemi di salute associati all’uso di androgeni da parte degli atleti sia stata sopravvalutata. “[2] La mia recensione era carina e tutto, ma in realtà non farà cambiare idea a nessuno. Non farà cambiare il settore. Quindi cosa ha cambiato la visione prevalente sugli androgeni? Se hai risposto un RCT, ottieni un “10”.

Il Dr. Bhasin ha pubblicato il classico articolo sugli androgeni nel New England Journal of Medicine.[3] Il suo gruppo di ricerca ha scoperto che “dosi sovrafisiologiche di testosterone, specialmente se combinate con l’allenamento della forza, aumentano la massa magra e la massa muscolare e la forza negli uomini normali”. Quindi gli steroidi anabolizzanti funzionano e gli effetti collaterali sono stati… oh aspetta… non ne hanno trovati. E non hanno riscontrato cambiamenti nell’umore o nel comportamento. Sì. Il mito della “rabbia da steroidi è stato sfatato”. Questo RCT è stato il punto di svolta nello studio degli androgeni.

Creatina: il punto di svolta

Il Dr. Roger Harris ha pubblicato il documento fondamentale sulla creatina.[4] Quell’indagine originale e il successivo boom economico risultante dalle vendite di creatina monoidrato ha fatto di più per cambiare l’industria della nutrizione sportiva (economia e scienza) di qualsiasi singolo integratore. La creatina ha reso rispettabile l’industria degli integratori che altrimenti era più nota per la vendita di proteine in polvere che sapevano di calzini sporchi imbevuti di latte acido. Lo studio della creatina ha generato centinaia di RCT ed è stato probabilmente l’argomento di studio per molti studenti di Master e PhD.

Caffeina – ringrazia il dottor David Costill per questo

Lo studio del 1978 pubblicato su MSSE ha dato al dottor Costill più notorietà dell’insieme di tutto il suo lavoro (che era MOLTO!). Ha dimostrato che il caffè con caffeina ha migliorato le prestazioni ciclistiche rispetto al placebo. Gli amanti del caffè e della caffeina si sono rallegrati. Ancora una volta, è stato un RCT a cambiare il campo caffeina/attività fisica. Ci sono letteralmente centinaia di studi sulla caffeina e sull’esercizio fisico. Puoi ringraziare il dottor Costill per questo.

L’immagine d’insieme

Avendo scritto molte recensioni, ammetto che abbiano il loro valore. Spesso le review, e in particolare l’ISSN Position Stands, possono darti un’istantanea dello stato attuale della scienza. La maggior parte di noi non ha tempo per vagliare gli innumerevoli studi su un argomento particolare. Quindi, le review (e le meta-analisi) hanno un ruolo importante. Come ho detto prima; è un buon punto di partenza. In effetti, un’ottima review o meta-analisi potrebbe generare le domande che stimoleranno gli scienziati a condurre l’RCT appropriato. Forse le categorie RCT/Coorte/Case Study e review/Meta-Analisi sono come le due ruote di una bicicletta. Entrambe le ruote sono importanti. Tuttavia, non puoi avere la seconda senza la prima.
Quindi, non illuderti nel pensare che le review/meta-analisi rappresentino le prove più importanti. Non sono. Esistono solo perché centinaia di scienziati hanno svolto il duro lavoro di eseguire RCT. Diamine, chiunque può scrivere una review. Basta che tu ti sieda in mutande, cerchi su PubMed qualsiasi argomento ti piaccia e scrivi. Credimi. Ho fatto la mia giusta quota di scrittura seduto in mutande. E devo dire che mi piace.

Svolgere un’indagine originale è il pane quotidiano della scienza. I dati originali danno una credibilità sul campo. Immagina se dovessi cancellare magicamente OGNI studio mai fatto nel mondo della nutrizione sportiva e della forza e del condizionamento. Cosa avresti lasciato? Un branco di troll arrabbiati che combattono online. “Una serie è meglio di tre.” “No, 10 serie sono meglio di 3 serie.” “Strizzare le chiappe è meglio per i glutei.” “Assolutamente no Josè. Gli squat sono il miglior esercizio per i glutei.” “Una quota bassa di carboidrati è la cosa migliore.” “No, alti dosaggi di carboidrati sono meglio.” Le infinite sciocchezze sarebbero sufficienti per chiudere Facebook. E l’elenco potrebbe continuare all’infinito. Come dovrebbero essere risolte queste controversie? Se hai risposto “scienza”, sei il capoclasse. La scienza, in particolare le ricerche originali (ovvero RCT), sono l’unico modo per risolvere oggettivamente le controversie. Quindi, a meno che tu non abbia effettivamente condotto uno studio, onestamente non avrai idea di cosa sia. Fare ricerca è un insegnante brutale.

Adoro quando un’indagine originale viene pubblicata sui social media. I guerrieri della tastiera, gli allenatori del lunedì mattina e i “laureati” dell’Università di Google escono in pieno con le loro critiche allo studio. “Perché la dimensione del campione è così piccola?” “Perché hai usato solo soggetti maschili e non femmine?” “Questo studio non è valido perché è sponsorizzato da una società privata”. Le persone che criticano gli studi scientifici (cioè coloro la cui esperienza in campo scientifico è la lettura di Discovery Magazine e giocare all’Allegro Chirurgo) sono spesso criticate per la loro mancanza di competenza scientifica. Quindi, ricorrono spesso all’argomento intellettualmente pigro di “questo è un attacco ad hominem”. Giudica il messaggio, non il messaggero. Certo, nel mondo della fottuta Utopia, abbiamo infinite ore della giornata per controllare tutto ciò che viene detto da tutti. Ma ahimè, non vivo in quel mondo. Nell’interesse di essere pragmatico (e per non violare il mio tempo in spiaggia), si devono esprimere giudizi sul messaggero. E indovina un po’. Seguirò il consiglio del mio medico di medicina interna al posto di uno stronzo che ha imparato a memoria il sito Web di WebMD. Ops. È un attacco ad hominem? Chiedimi se mi interessa. Sì, è importante CHI dà consigli. Solo perché hai le dita, un laptop e puoi digitare parole di ricerca su Google, Wikipedia o qualsiasi altro sito di terze parti non fa di te un esperto. (Leggi questo articolo interessante sulla “competenza”).

Cercare di spiegare la complessità della conduzione di uno studio sarebbe come nuotare sulla terraferma. Certo. Posso spiegare la bracciata. Posso mostrarti video di nuoto. Ti lascerò anche guardare l’acqua. Ma a meno che tu non salti in acqua, non avrai davvero alcuna idea del processo del nuoto (cioè, la ricerca). Sfortunatamente il rapporto tra scienziato e allenatore del lunedì mattina non è buono. È che per ogni vero scienziato, probabilmente ci sono abbastanza allenatori del lunedì mattina da riempire l’AT & T Stadium di Dallas, in Texas.

Conclusioni

Ho pubblicato nelle categorie RCT, Review, Meta-analisi, Case Study e Ricerca sugli animali. Sono tutti importanti anche se in modi diversi. Nonostante i guerrieri della tastiera e gli allenatori del lunedì mattina, se vuoi cambiare davvero un settore e intendo cambiarlo davvero, devi fare ricerche originali. Puoi postare fino a quando non sei blu in faccia e non cambierà nulla. Sarebbe come mettere il rossetto su un maiale e farlo partecipare a un concorso di bellezza. Saluti.

L’articolo originale è pubblicato su www.theissnscoop.com.

Bibliografia

• ACSM Position Stand on Anabolic Steroids:http://journals.lww.com/acsm-msse/Citation/1987/10000/Position_Stand_on_The_Use_of_Anabolic_Androgenic.23.aspx
• Street C, Antonio J, Cudlipp D:Androgen use by athletes: a reevaluation of the health risks.Can J Appl Physiol1996,21:421-440.
• Bhasin S, Storer TW, Berman N, Callegari C, Clevenger B, Phillips J, Bunnell TJ, Tricker R, Shirazi A, Casaburi R:The effects of supraphysiologic doses of testosterone on muscle size and strength in normal men.N Engl J Med1996,335:1-7.
• Harris RC, Soderlund K, Hultman E:Elevation of creatine in resting and exercised muscle of normal subjects by creatine supplementation.Clin Sci (Lond)1992,83:367-374.