A questão dos dados de investigação em falta tem sido amplamente estudada em medicina. Mas temos de compreender exactamente porque é que a questão é importante, numa perspectiva científica. Para o efeito, temos de compreender as revisões sistemáticas e as «meta-análises», duas das ideias mais poderosas na medicina moderna. Apesar de incrivelmente simples, foram inventadas chocantemente tarde.
Quando queremos descobrir se alguma coisa resulta ou não, realizamos um ensaio. Trata-se de um processo muito simples, e a primeira tentativa registada de uma espécie de ensaio surge na Bíblia (Daniel 1:12, para o caso de estar interessado). Necessitamos, em primeiro lugar, de uma pergunta por responder: por exemplo, «Ministrar esteróides a uma mulher prestes a dar à luz um prematuro aumenta as probabilidades de o bebé sobreviver?». Depois, descobrimos alguns participantes pertinentes: neste caso, mães prestes a dar à luz um bebé prematuro. Necessitaremos de um número razoável de mulheres para este ensaio, digamos que umas duas centenas. A seguir, dividimo-las em dois grupos ao acaso, damos às mães de um grupo o melhor tratamento conhecido (seja ele qual for na sua terra), enquanto as mães do outro grupo recebem o melhor tratamento conhecido e, além disso, esteróides. Finalmente, quando todas as duzentas mães tiverem chegado ao fim do ensaio, contamos quantos bebés sobreviveram em cada grupo.
Trata-se de uma questão do mundo real, tendo-se realizado muitos ensaios sobre este assunto, a partir de 1972: dois ensaios mostraram que os esteróides salvam vidas, mas cinco não revelaram qualquer benefício significativo. Ora é frequente os médicos discordarem quando a evidência é equívoca, e é o que se passa exactamente neste tipo de situação. Um médico com uma forte crença prévia de que os esteróides resultam — talvez preocupado com um qualquer mecanismo molecular teórico através do qual o fármaco faria algo útil no corpo — pode aparecer e dizer: «Olhem para estes dois ensaios positivos! É evidente que temos de ministrar esteróides!» Um médico com uma forte intuição prévia de que os esteróides não servem para nada poderia apontar para os cinco ensaios negativos e dizer: «No global, a evidência não revela qualquer benefício. Porquê correr riscos?»
Até há bem pouco tempo, era basicamente assim que a medicina progredia. As pessoas escreviam recensões críticas, longas e demoradas — estudos que sintetizavam a literatura — em que citavam de uma maneira não sistemática os dados dos ensaios com que se deparavam, reflectindo muitas vezes os seus próprios preconceitos e valores. Então, na década de 1980, começaram a fazer uma coisa chamada «revisão sistemática». Trata-se de uma análise clara e sistemática da literatura, com a intenção de obter todos os dados de ensaios que se podem descobrir sobre um assunto, sem nenhum enviesamento para um conjunto particular de achados. Numa revisão sistemática, descreve-se com exactidão como se obtiveram os dados: em que bases de dados se procurou, que motores de busca e índices se utilizaram, e até que palavras se introduziram para realizar a procura. Especifica-se previamente os tipos de estudos que podem ser incluídos na revisão, apresenta-se tudo o que se descobriu, incluindo os artigos rejeitados e uma explicação para essa rejeição. Ao fazê-lo, assegura-se que os métodos são totalmente transparentes, reproduzíveis e abertos a críticas, proporcionando ao leitor um quadro claro e completo da evidência. Pode parecer uma ideia simples, mas as revisões sistemáticas são extremamente raras fora da medicina clínica e constituem indubitavelmente uma das ideias mais importantes e avançadas dos últimos quarenta anos.
Quando estão reunidos todos os dados de ensaios, é possível realizar uma operação chamada meta-análise: os resultados são lançados numa gigantesca folha de cálculo, obtendo-se um único número que resume, o mais precisamente possível, todos os dados sobre uma questão clínica. Ao produto desta operação chama-se blobbogram, ou «gráfico em floresta», e pode ver um gráfico no logotipo da Cochrane Collaboration (apresentado no inicio do artigo), uma organização académica global, sem fins lucrativos, que tem vindo a elaborar revisões de evidência em importantes questões da medicina desde a década de 1980.
O gráfico mostra os resultados de todos os ensaios realizados sobre a prescrição de esteróides para ajudar bebés prematuros a sobreviverem. Cada linha horizontal é um ensaio: se a linha se situa mais para a esquerda, o ensaio revelou que os esteróides eram benéficos e salvaram vidas. A linha vertical central é a «linha de nenhum efeito»: se a linha horizontal do ensaio toca na linha de nenhum efeito, o ensaio não revelou qualquer benefício estatisticamente significativo. Alguns ensaios são representados por linhas horizontais mais compridas: são ensaios mais pequenos, com poucos participantes, o que significa maior propensão para o erro, razão pela qual a estimativa do beneficio é mais incerta e, portanto, a linha horizontal é mais comprida. Finalmente, o losango no fundo mostra o «efeito resumido»: o benefício global da intervenção, juntando os resultados de todos os ensaios individuais. São muito mais estreitos do que as linhas dos ensaios individuais, porque a estimativa é muito mais precisa: está a resumir o efeito do fármaco num número muito maior de doentes. Neste gráfico, é possível ver, porque o losango está muito afastado da linha de nenhum efeito, que prescrever esteróides é extremamente benéfico. Com efeito, reduz em quase metade as probabilidades de um bebé prematuro morrer.
O mais surpreendente neste gráfico é o facto de ele ter tido de ser inventado e de isto ter ocorrido muito tarde na história da medicina. Durante muito anos, tivemos toda a informação de que necessitávamos para saber que os esteróides salvam vidas, mas ninguém sabia que eram eficazes porque ninguém fez uma revisão sistemática até 1989. Em consequência, o tratamento não era ministrado amplamente, e um enorme número de bebés morreu desnecessariamente, não porque não se tivesse informação mas simplesmente porque ninguém a sintetizou na totalidade, adequadamente.
No caso de o leitor pensar que se trata de um caso isolado, vale a pena examinar exactamente até que ponto a medicina andava pelas ruas da amargura há assustadoramente pouco tempo. A seguir mostramos dois «gráficos em floresta», que mostram todos os ensaios alguma vez realizados para apurar se a estreptoquinase, um trombolítico, melhora a sobrevivência em doentes que sofreram um ataque cardíaco. [1]
Comece por observar o gráfico em floresta da esquerda. É um gráfico convencional, retirado de uma publicação académica, pelo que é um pouco mais cheio do que o estilizado incluído no logotipo da Cochrane. No entanto, os princípios são os mesmos. Cada linha horizontal é um ensaio, e pode ver que existe uma mistura de resultados, com alguns ensaios a evidenciar um benefício (não tocam na linha vertical de nenhum efeito, intitulada «1») e outros não (cruzam essa linha). Contudo, no fundo, vê-se o efeito resumido (que, neste gráfico antiquado, é representado por um ponto em vez de um losango). E pode ver com toda a clareza que, no global, a estreptoquinase salva vidas.
Então o que temos à direita? É aquilo a que se chama meta-análise cumulativa. Se olhar para a lista de estudos à esquerda do diagrama, verifica que estão ordenados por data de realização. A meta–análise cumulativa apresentada à direita vai acrescentando aos resultados dos ensaios anteriores os resultados de cada um dos novos, à medida que vão chegando. Isto fomece-nos a melhor estimativa possível para cada ano do aspecto que a evidência teria nessa altura, se alguém se tivesse dado ao trabalho de realizar uma meta-análise de todos os dados disponíveis. Neste gráfico cumulativo, é possível ver que as linhas horizontais, os «efeitos resumidos» encurtam com o tempo, à medida que são recolhidos mais e mais dados, e que a estimativa do benefício global deste tratamento se vai tomando mais precisa. Também pode verificar que essas linhas horizontais há muito tempo que deixaram de tocar na linha vertical de nenhum efeito — e, crucialmente, isso aconteceu muito tempo antes de termos começado a ministrar estreptoquinase a todas as pessoas que sofreram um ataque cardíaco.
Caso não tenha já dado por isso sozinho — para ser justo, os médicos enquanto grupo profissional foram lentos a dar-se conta —, este gráfico tem implicações devastadoras. Os ataques cardíacos são uma causa de morte incrivelmente comum. Tínhamos um tratamento que resultava, e tínhamos todas as informações de que necessitávamos para saber que resultava, mas, mais uma vez, não as reunimos sistematicamente para obter a resposta correcta. Metade dos participantes nos ensaios do fundo do gráfico foi aleatoriamente escolhida para não lhes ser ministrada estreptoquinase, de uma forma não ética, porque todos nós tínhamos todas as informações de que necessitávamos para saber que a estreptoquinase resultava: os participantes foram privados de tratamentos eficazes. Mas não estavam sozinhos, porque quase todas as pessoas no mundo, nesse momento, também o foram.
Estas histórias ilustram, esperamos, a razão da importância das revisões sistemáticas e das meta-análises: precisamos de juntar todas as provas sobre uma questão, e não apenas escolher os fragmentos com que nos deparamos, ou cujo aspecto nos agrada intuitivamente. Felizmente, os médicos no seu conjunto têm vindo a reconhecer este facto nas últimas duas décadas, e as revisões sistemáticas com meta-análises são, neste momento, utilizadas quase universalmente, para garantir que possuímos um resumo o mais preciso possível de todos os ensaios que se realizaram sobre uma determinada questão médica.
No entanto, estas histórias demonstram também porque são tão perigosos os resultados de ensaios em falta. Se um investigador ou médico «escolhe», ao resumir a evidência existente, e olha apenas para os ensaios que apoiam a sua intuição, pode produzir uma imagem errónea da investigação. Isso é um problema para esse indivíduo (e para quem seja suficientemente insensato ou azarado para ser influenciado por isso). Mas se faltam os ensaios negativos a todos nós, a toda a comunidade médica e académica, em todo o mundo, quando reunimos a evidência para conseguir o melhor quadro possível do que resulta (como devemos fazer), somos todos completamente induzidos em erro. Ficamos com uma impressão enganadora da eficácia do tratamento: exageramos incorrectamente os seus benefícios ou chegamos mesmo a achar, erradamente, que uma determinada intervenção foi benéfica quando, na realidade, foi prejudicial.
Agora que compreende a importância das revisões sistemáticas, consegue perceber o porquê da importância dos dados em falta. Mas também consegue perceber o artigo «Qual a quantidade de artigos com resultados negativos não publicados por parte da Indústria Farmacêutica?».
NOTAS:
[1] Antman AM, Lau J, Kupelnick B, Mosteller F, Chalmers TC. «A comparison of results of meta-analisyses of randomized control trials and recomendations of clinical experts». Treatments for myocardial infartction, JAMA. 8 de Julho de 2012; 268 (2): 240-8.
