Porque a maioria dos resultados de investigação publicados são falsos

Originalmente publicado em https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124. Tradução nossa.

Resumo

Existe uma preocupação crescente de que a maioria dos resultados de investigação actualmente publicados seja falsa. A probabilidade de uma afirmação científica ser verdadeira pode depender do poder estatístico e do enviesamento do estudo, do número de outros estudos sobre a mesma questão e, sobretudo, da proporção entre relações verdadeiras e inexistentes entre as relações investigadas em cada área científica. Neste enquadramento, um resultado de investigação tem menor probabilidade de ser verdadeiro quando os estudos realizados numa área são mais pequenos; quando os tamanhos dos efeitos são menores; quando é maior o número de relações testadas e menor a sua pré-selecção; quando existe maior flexibilidade nos desenhos, definições, resultados e métodos analíticos; quando há mais interesses financeiros e de outra natureza, bem como preconceitos; e quando mais equipas trabalham numa área científica em busca de significância estatística. As simulações mostram que, na maioria dos desenhos e contextos de estudo, é mais provável que uma afirmação de investigação seja falsa do que verdadeira. Além disso, em muitas áreas científicas actuais, os resultados alegados podem ser simplesmente medidas rigorosas do enviesamento dominante. Neste ensaio, discuto as implicações destes problemas para a realização e interpretação da investigação.

Os resultados de investigação publicados são por vezes refutados por evidência posterior, gerando confusão e desilusão. A refutação e a controvérsia encontram-se em toda a variedade de desenhos de investigação, desde os ensaios clínicos e os estudos epidemiológicos tradicionais[1][2][3] até à investigação molecular mais moderna[4][5]. Cresce a preocupação de que, na investigação contemporânea, os resultados falsos possam constituir a maioria, ou mesmo a esmagadora maioria, das afirmações científicas publicadas[6][7][8]. Isto, porém, não deveria surpreender. É possível demonstrar que a maioria dos resultados de investigação alegados é falsa. Examinarei aqui os principais factores que influenciam este problema e algumas das suas consequências.

Modelação do enquadramento dos falsos positivos

Vários metodólogos assinalaram[9][10][11] que a elevada taxa de não replicação (ausência de confirmação) das descobertas científicas resulta da estratégia conveniente, mas mal fundamentada, de declarar conclusivos os resultados de investigação com base apenas num único estudo avaliado segundo a significância estatística formal, tipicamente com um valor de p inferior a 0,05. A investigação não é adequadamente representada nem resumida por valores de p; infelizmente, porém, é generalizada a ideia de que os artigos de investigação médica devem ser interpretados apenas com base nesses valores. Aqui, definem-se resultados de investigação como quaisquer relações que atinjam significância estatística formal, por exemplo, intervenções eficazes, factores preditivos informativos, factores de risco ou associações. A investigação «negativa» também é muito útil. «Negativa» é, na verdade, uma designação imprópria, cuja interpretação errada está muito difundida. Neste texto, contudo, o foco incidirá nas relações cuja existência os investigadores afirmam, e não nos resultados nulos.

É possível demonstrar que a maioria dos resultados de investigação alegados é falsa.

Como já foi demonstrado, a probabilidade de um resultado de investigação ser efectivamente verdadeiro depende da probabilidade prévia de ser verdadeiro (antes da realização do estudo), do poder estatístico do estudo e do nível de significância estatística[10][11]. Considere-se uma tabela 2 × 2 em que os resultados da investigação são comparados com o padrão-ouro das relações verdadeiras numa área científica. Numa área de investigação podem formular-se hipóteses verdadeiras e falsas sobre a existência de relações. Seja R a razão entre o número de «relações verdadeiras» e o número de «relações inexistentes» entre as que são testadas nessa área. R é uma característica da área e pode variar muito, consoante esta se concentre em relações altamente prováveis ou procure apenas uma ou algumas relações verdadeiras entre milhares ou milhões de hipóteses possíveis. Por simplicidade de cálculo, consideremos também áreas delimitadas em que existe apenas uma relação verdadeira (entre muitas que podem ser hipotetizadas) ou em que o poder para detectar qualquer uma das várias relações verdadeiras existentes é semelhante. A probabilidade prévia ao estudo de uma relação ser verdadeira é R/(R + 1). A probabilidade de um estudo detectar uma relação verdadeira corresponde ao poder estatístico, 1 − β (um menos a taxa de erro de tipo II). A probabilidade de se afirmar uma relação quando ela não existe corresponde à taxa de erro de tipo I, α. Supondo que são investigadas c relações na área, os valores esperados da tabela 2 × 2 são os apresentados na Tabela 1. Depois de um resultado ser declarado com base na obtenção de significância estatística formal, a probabilidade posterior ao estudo de ser verdadeiro é o valor preditivo positivo, PPV. O PPV é também a probabilidade complementar daquilo a que Wacholder et al. chamaram probabilidade de relato falso positivo[10]. De acordo com a tabela 2 × 2, obtém-se PPV = (1 − β)R/(R − βR + α). Assim, um resultado de investigação tem maior probabilidade de ser verdadeiro do que falso se (1 − β)R > α. Como a grande maioria dos investigadores costuma adoptar α = 0,05, isto significa que um resultado tem maior probabilidade de ser verdadeiro do que falso se (1 − β)R > 0,05.

É menos reconhecido que o enviesamento e a extensão dos testes independentes repetidos por diferentes equipas de investigadores em todo o mundo podem distorcer ainda mais este quadro e reduzir adicionalmente a probabilidade de os resultados de investigação serem efectivamente verdadeiros. Tentaremos modelar estes dois factores no contexto de tabelas 2 × 2 semelhantes.

Enviesamento

Comecemos por definir enviesamento como a combinação de diversos factores de desenho, dados, análise e apresentação que tendem a produzir resultados de investigação quando estes não deveriam ser produzidos. Seja u a proporção das análises examinadas que não seriam consideradas «resultados de investigação», mas que acabam, ainda assim, por ser apresentadas e comunicadas como tal devido ao enviesamento. O enviesamento não deve confundir-se com a variabilidade aleatória, que faz com que alguns resultados sejam falsos por acaso, mesmo quando o desenho do estudo, os dados, a análise e a apresentação são perfeitos. O enviesamento pode envolver manipulação na análise ou na comunicação dos resultados. A comunicação selectiva ou distorcida é uma forma típica deste enviesamento. Podemos supor que u não depende da existência ou inexistência de uma relação verdadeira. Esta suposição é razoável, pois, em geral, é impossível saber quais as relações que são efectivamente verdadeiras. Na presença de enviesamento (Tabela 2), obtém-se

PPV = [(1 − β)R + uβR] / [R + α − βR + u − uα + uβR]

e o PPV diminui à medida que u aumenta, a menos que 1 − β ≤ α, isto é, 1 − β ≤ 0,05 na maioria das situações. Assim, quanto maior for o enviesamento, menor será consideravelmente a probabilidade de um resultado de investigação ser verdadeiro. A Figura 1 ilustra este efeito para diferentes níveis de poder estatístico e diferentes probabilidades prévias ao estudo. Inversamente, resultados de investigação verdadeiros podem, por vezes, ser anulados por enviesamento inverso. Por exemplo, grandes erros de medição podem fazer desaparecer relações no ruído[12]; os investigadores podem utilizar os dados de forma ineficiente ou não detectar relações estatisticamente significativas; ou podem existir conflitos de interesses que levem a «enterrar» resultados significativos[13]. Não há boa evidência empírica em grande escala sobre a frequência deste enviesamento inverso em áreas de investigação diversas. Ainda assim, será provavelmente justo dizer que não é tão comum. Além disso, os erros de medição e a utilização ineficiente dos dados estarão talvez a tornar-se menos frequentes, uma vez que os avanços tecnológicos reduziram os erros de medição na era molecular e os investigadores estão cada vez mais aptos a trabalhar com os seus dados. Em qualquer caso, o enviesamento inverso pode ser modelado da mesma forma que o enviesamento acima descrito. Também não deve ser confundido com a variabilidade aleatória que pode levar a que uma relação verdadeira não seja detectada por acaso.

Figura 1. PPV (probabilidade de um resultado de investigação ser verdadeiro) em função das probabilidades prévias ao estudo, para vários níveis de enviesamento, u

Os painéis correspondem a poderes estatísticos de 0,20, 0,50 e 0,80.

Tabela 2. Resultados de investigação e relações verdadeiras na presença de enviesamento

Testes realizados por várias equipas independentes

Várias equipas independentes podem estar a investigar os mesmos conjuntos de questões. À medida que a investigação se globaliza, é praticamente regra que várias equipas — muitas vezes dezenas — examinem questões iguais ou semelhantes. Infelizmente, em algumas áreas, a mentalidade dominante tem sido concentrar-se em descobertas isoladas de equipas individuais e interpretar as experiências de investigação isoladamente. Um número crescente de questões tem pelo menos um estudo que alega ter obtido um resultado de investigação, ao qual é dada atenção unilateral. É fácil estimar a probabilidade de pelo menos um estudo, entre vários realizados sobre a mesma questão, declarar um resultado estatisticamente significativo. Para n estudos independentes com o mesmo poder estatístico, a tabela 2 × 2 é apresentada na Tabela 3: PPV = R(1 − βⁿ)/(R + 1 − [1 − α]ⁿ − Rβⁿ), sem considerar o enviesamento. À medida que aumenta o número de estudos independentes, o PPV tende a diminuir, a menos que 1 − β < α, isto é, normalmente, 1 − β < 0,05. A Figura 2 mostra este efeito para diferentes níveis de poder e diferentes probabilidades prévias ao estudo. Para n estudos com poderes diferentes, o termo βⁿ é substituído pelo produto dos termos βᵢ, para i de 1 a n, mas as conclusões são semelhantes.

Figura 2. PPV (probabilidade de um resultado de investigação ser verdadeiro) em função das probabilidades prévias ao estudo, para diferentes números de estudos realizados, n

Os painéis correspondem a poderes estatísticos de 0,20, 0,50 e 0,80.

Tabela 3. Resultados de investigação e relações verdadeiras na presença de vários estudos

Corolários

O Quadro 1 apresenta um exemplo prático. Com base nas considerações anteriores, podem deduzir-se vários corolários interessantes sobre a probabilidade de um resultado de investigação ser efectivamente verdadeiro.

Quadro 1. Um exemplo: ciência com baixas probabilidades prévias ao estudo

Suponhamos que uma equipa de investigadores realiza um estudo de associação do genoma completo para testar se algum de 100 000 polimorfismos genéticos está associado à susceptibilidade à esquizofrenia. Com base no que sabemos sobre a hereditariedade da doença, é razoável esperar que talvez cerca de dez dos polimorfismos testados estejam verdadeiramente associados à esquizofrenia, com razões de possibilidades relativamente semelhantes, próximas de 1,3, e com poder semelhante para identificar qualquer um deles. Nesse caso, R = 10/100 000 = 10⁻⁴, e a probabilidade prévia ao estudo de qualquer polimorfismo estar associado à esquizofrenia é também R/(R + 1) = 10⁻⁴. Suponhamos ainda que o estudo tem um poder de 60% para detectar uma associação com uma razão de possibilidades de 1,3, para α = 0,05. Pode então estimar-se que, se for encontrada uma associação estatisticamente significativa cujo valor de p ultrapasse por pouco o limiar de 0,05, a probabilidade posterior ao estudo de essa associação ser verdadeira aumenta cerca de 12 vezes relativamente à probabilidade prévia, mas continua a ser apenas 12 × 10⁻⁴.

Suponhamos agora que os investigadores manipulam o desenho, as análises e a comunicação dos resultados para fazer com que mais relações ultrapassem o limiar p = 0,05, embora tal não tivesse acontecido se o desenho e a análise tivessem sido rigorosamente respeitados e os resultados comunicados de forma completa, de acordo com o plano original do estudo. Esta manipulação pode ocorrer, por exemplo, através da inclusão ou exclusão fortuita de determinados doentes ou controlos, de análises de subgrupos a posteriori, da investigação de contrastes genéticos não especificados originalmente, de alterações nas definições da doença ou dos controlos e de várias combinações de comunicação selectiva ou distorcida dos resultados. Os programas comerciais de «mineração de dados» orgulham-se, de facto, da sua capacidade para produzir resultados estatisticamente significativos através da exploração exaustiva dos dados. Na presença de enviesamento com u = 0,10, a probabilidade posterior ao estudo de um resultado de investigação ser verdadeiro é apenas 4,4 × 10⁻⁴. Além disso, mesmo sem qualquer enviesamento, quando dez equipas independentes realizam experiências semelhantes em todo o mundo, se uma delas encontrar uma associação estatisticamente significativa, a probabilidade de o resultado ser verdadeiro é apenas 1,5 × 10⁻⁴, pouco superior à probabilidade existente antes de toda esta investigação extensa.

Corolário 1: Quanto menores forem os estudos realizados numa área científica, menor será a probabilidade de os resultados de investigação serem verdadeiros. Uma amostra pequena significa menor poder estatístico e, em todas as funções acima, o PPV de um resultado verdadeiro diminui à medida que o poder se aproxima de 1 − β = 0,05. Assim, mantendo-se os outros factores constantes, os resultados têm maior probabilidade de ser verdadeiros em áreas que realizam estudos de grande dimensão, como os ensaios controlados aleatorizados em cardiologia (com vários milhares de participantes)[14], do que em áreas com estudos pequenos, como grande parte da investigação sobre marcadores moleculares preditivos (com amostras cem vezes menores)[15].

Corolário 2: Quanto menores forem os tamanhos dos efeitos numa área científica, menor será a probabilidade de os resultados de investigação serem verdadeiros. O poder estatístico também está relacionado com o tamanho do efeito. Assim, os resultados têm maior probabilidade de ser verdadeiros em áreas com efeitos grandes, como o impacto do tabagismo no cancro ou nas doenças cardiovasculares (riscos relativos de 3 a 20), do que em áreas em que os efeitos postulados são pequenos, como os factores genéticos de risco para doenças multigénicas (riscos relativos de 1,1 a 1,5)[7]. A epidemiologia moderna é cada vez mais obrigada a estudar tamanhos de efeito menores[16]. Consequentemente, espera-se que a proporção de resultados verdadeiros diminua. Pela mesma lógica, se os tamanhos reais dos efeitos forem muito pequenos numa área científica, esta poderá ser afectada por alegações de falsos positivos quase omnipresentes. Por exemplo, se a maioria dos determinantes genéticos ou nutricionais verdadeiros das doenças complexas conferir riscos relativos inferiores a 1,05, a epidemiologia genética ou nutricional seria, em grande medida, uma actividade utópica.

Corolário 3: Quanto maior for o número de relações testadas numa área científica e menor a sua selecção prévia, menor será a probabilidade de os resultados de investigação serem verdadeiros. Como se mostrou acima, a probabilidade posterior ao estudo de um resultado ser verdadeiro (PPV) depende muito das probabilidades prévias (R). Por isso, os resultados têm maior probabilidade de ser verdadeiros em desenhos confirmatórios, como grandes ensaios controlados aleatorizados de fase III ou as respectivas meta-análises, do que em experiências destinadas a gerar hipóteses. Áreas consideradas altamente informativas e criativas devido à abundância de informação reunida e testada, como os microarrays e outras formas de investigação de descoberta com elevado débito[4][8][17], deverão ter PPV extremamente baixos.

Corolário 4: Quanto maior for a flexibilidade dos desenhos, definições, resultados e métodos analíticos numa área científica, menor será a probabilidade de os resultados serem verdadeiros. A flexibilidade aumenta o potencial de transformar resultados «negativos» em «positivos», isto é, aumenta o enviesamento, u. Em vários desenhos de investigação, como ensaios controlados aleatorizados[18][19][20] ou meta-análises[21][22], têm sido feitos esforços para normalizar a sua realização e comunicação. O cumprimento de normas comuns deverá aumentar a proporção de resultados verdadeiros. O mesmo se aplica aos resultados medidos. Os resultados verdadeiros poderão ser mais comuns quando os desfechos são inequívocos e universalmente aceites (por exemplo, a morte) do que quando se inventam múltiplos desfechos (por exemplo, escalas para avaliar os resultados na esquizofrenia)[23]. De modo semelhante, as áreas que utilizam métodos analíticos convencionados e padronizados (por exemplo, gráficos de Kaplan-Meier e o teste log-rank)[24] poderão produzir uma proporção maior de resultados verdadeiros do que as áreas em que os métodos analíticos ainda estão em fase experimental (por exemplo, métodos de inteligência artificial) e só se comunicam os «melhores» resultados. Ainda assim, mesmo nos desenhos de investigação mais rigorosos, o enviesamento parece ser um problema importante. Há, por exemplo, fortes indícios de que a comunicação selectiva de desfechos, com manipulação dos desfechos e análises apresentados, é comum mesmo nos ensaios aleatorizados[25]. A simples abolição da publicação selectiva não resolveria o problema.

Corolário 5: Quanto maiores forem os interesses financeiros e de outra natureza, bem como os preconceitos, numa área científica, menor será a probabilidade de os resultados serem verdadeiros. Os conflitos de interesses e os preconceitos podem aumentar o enviesamento, u. Os conflitos de interesses são muito comuns na investigação biomédica[26] e, em geral, são comunicados de forma insuficiente e escassa[26][27]. Os preconceitos não têm necessariamente origem financeira. Os cientistas de uma determinada área podem ser parciais apenas por acreditarem numa teoria científica ou por estarem comprometidos com os seus próprios resultados. Muitos estudos universitários que parecem independentes podem ser realizados unicamente para permitir a médicos e investigadores obter qualificações necessárias à promoção ou à estabilidade profissional. Estes conflitos não financeiros também podem conduzir a resultados e interpretações comunicados de forma distorcida. Investigadores prestigiados podem, através da revisão por pares, suprimir a publicação e divulgação de resultados que refutem os seus próprios resultados, condenando assim a sua área à perpetuação de falsos dogmas. A evidência empírica sobre opiniões de especialistas mostra que estas são extremamente pouco fiáveis[28].

Corolário 6: Quanto mais «na moda» estiver uma área científica (isto é, quanto maior for o número de equipas nela envolvidas), menor será a probabilidade de os resultados serem verdadeiros. Este corolário, aparentemente paradoxal, decorre do facto de, como referido, o PPV de resultados isolados diminuir quando muitas equipas de investigadores trabalham na mesma área. Isto poderá explicar a excitação intensa, por vezes seguida rapidamente de grandes desilusões, em áreas que atraem muita atenção. Com muitas equipas a trabalhar na mesma área e uma produção maciça de dados experimentais, o momento da publicação torna-se essencial para vencer a concorrência. Cada equipa pode, por isso, dar prioridade à procura e divulgação dos seus resultados «positivos» mais impressionantes. Os resultados «negativos» só se tornam atractivos para publicação quando outra equipa encontra uma associação «positiva» sobre a mesma questão. Nesse caso, pode ser interessante refutar uma alegação publicada numa revista prestigiada. Cunhou-se a expressão «fenómeno de Proteu» para descrever esta alternância rápida entre alegações extremas e refutações diametralmente opostas[29]. A evidência empírica sugere que esta sequência de extremos opostos é muito comum na genética molecular[29]. Estes corolários analisam cada factor separadamente, mas os factores influenciam-se frequentemente entre si. Por exemplo, investigadores em áreas onde se considera que os efeitos verdadeiros são pequenos podem ter maior tendência para realizar estudos grandes do que investigadores em áreas onde se considera que os efeitos são grandes. Ou os preconceitos podem dominar uma área científica muito concorrida, minando ainda mais o valor preditivo dos resultados. Intervenientes fortemente parciais podem até criar obstáculos que impeçam a obtenção e divulgação de resultados contrários. Inversamente, o facto de uma área estar na moda ou envolver interesses fortes pode, por vezes, promover estudos maiores e melhores normas de investigação, reforçando o valor preditivo dos resultados. Ou os testes maciços orientados para a descoberta podem produzir tantas relações significativas que os investigadores tenham material suficiente para publicar e continuar a pesquisar, evitando assim a exploração e manipulação dos dados.

A maioria dos resultados de investigação é falsa na maioria dos desenhos de investigação e áreas científicas

No enquadramento descrito, é bastante difícil obter um PPV superior a 50%. A Tabela 4 apresenta os resultados de simulações que utilizam as fórmulas desenvolvidas para avaliar a influência do poder estatístico, da razão entre relações verdadeiras e não verdadeiras e do enviesamento, em diferentes situações que podem caracterizar desenhos e contextos de investigação específicos. Um resultado proveniente de um ensaio controlado aleatorizado bem conduzido, com poder adequado e uma probabilidade prévia de 50% de a intervenção ser eficaz, será verdadeiro em cerca de 85% dos casos. Espera-se um desempenho semelhante de uma meta-análise confirmatória de ensaios aleatorizados de boa qualidade: o enviesamento potencial poderá ser maior, mas o poder e as probabilidades prévias são superiores aos de um único ensaio aleatorizado. Em contrapartida, um resultado meta-analítico proveniente de estudos inconclusivos, em que a combinação dos dados serve para «corrigir» o baixo poder dos estudos individuais, será provavelmente falso se R ≤ 1:3. Os resultados de ensaios clínicos iniciais com poder insuficiente seriam verdadeiros cerca de uma vez em cada quatro, ou ainda menos frequentemente se houver enviesamento. Os estudos epidemiológicos exploratórios têm resultados ainda piores, sobretudo quando têm poder insuficiente; mas mesmo estudos epidemiológicos com poder adequado podem ter apenas uma probabilidade em cinco de produzir um resultado verdadeiro, se R = 1:10. Por fim, na investigação orientada para a descoberta com testes em massa, em que as relações testadas excedem em mil vezes as verdadeiras (por exemplo, 30 000 genes testados, dos quais apenas 30 poderão ser os responsáveis)[30][31], o PPV de cada relação alegada é extremamente baixo, mesmo que se normalizem consideravelmente os métodos laboratoriais e estatísticos, os resultados avaliados e a respectiva comunicação, para minimizar o enviesamento.

Tabela 4. PPV dos resultados de investigação para várias combinações de poder estatístico (1 − β), razão entre relações verdadeiras e não verdadeiras (R) e enviesamento (u)

Os resultados de investigação alegados podem ser apenas medidas rigorosas do enviesamento dominante

Como se mostrou, a maior parte da investigação biomédica moderna decorre em áreas com probabilidades prévias e posteriores muito baixas de obter resultados verdadeiros. Suponhamos que, numa determinada área de investigação, não existem resultados verdadeiros por descobrir. A história da ciência ensina-nos que, no passado, a investigação desperdiçou frequentemente esforços em áreas sem qualquer produção de informação científica verdadeira, pelo menos à luz do nosso conhecimento actual. Numa «área nula» deste tipo, seria de esperar que, na ausência de enviesamento, todos os tamanhos de efeito observados variassem por acaso em torno do valor nulo. O desvio dos resultados observados em relação ao que seria esperado apenas pelo acaso constituiria uma medida pura do enviesamento dominante.

Por exemplo, suponhamos que nenhum nutriente ou padrão alimentar é, de facto, um determinante importante do risco de desenvolver um tumor específico. Suponhamos também que a literatura científica examinou 60 nutrientes e afirma que todos estão relacionados com o risco de desenvolver esse tumor, apresentando riscos relativos entre 1,2 e 1,4 na comparação entre os tercis de consumo mais elevado e mais baixo. Os tamanhos de efeito alegados não mediriam, então, mais do que o enviesamento líquido envolvido na produção dessa literatura científica. Na verdade, os tamanhos de efeito alegados seriam as estimativas mais rigorosas do enviesamento líquido. Daqui decorre ainda que, entre «áreas nulas», aquelas que alegam efeitos mais fortes — frequentemente acompanhados por alegações de importância médica ou para a saúde pública — serão simplesmente as que sofreram os piores enviesamentos.

Nas áreas com PPV muito baixo, as poucas relações verdadeiras não alterariam significativamente este quadro geral. Mesmo que algumas relações fossem verdadeiras, a forma da distribuição dos efeitos observados continuaria a fornecer uma medida clara dos enviesamentos presentes na área. Esta ideia inverte por completo a maneira como encaramos os resultados científicos. Tradicionalmente, os investigadores têm acolhido com entusiasmo efeitos grandes e altamente significativos, vendo-os como sinais de descobertas importantes. Em muitas áreas da investigação moderna, efeitos demasiado grandes e demasiado significativos podem, na realidade, ser sinais mais prováveis de enviesamento acentuado. Deveriam levar os investigadores a pensar criticamente no que poderá ter corrido mal com os dados, as análises e os resultados.

É natural que os investigadores de qualquer área resistam à ideia de que toda a área a que dedicaram a carreira seja uma «área nula». No entanto, outras linhas de evidência ou os avanços tecnológicos e experimentais podem acabar por levar à desagregação de uma área científica. Estimar o enviesamento líquido numa área pode também ajudar a compreender a amplitude do enviesamento noutras áreas em que se utilizem métodos analíticos e tecnologias semelhantes ou existam conflitos de interesses comparáveis.

Como podemos melhorar a situação?

É inevitável que a maioria dos resultados de investigação seja falsa, ou podemos melhorar a situação? Um problema fundamental é ser impossível conhecer com 100% de certeza a verdade em qualquer questão de investigação. Neste sentido, o padrão-ouro absoluto é inalcançável. Existem, contudo, várias abordagens para melhorar a probabilidade posterior ao estudo.

Uma evidência com maior poder estatístico, por exemplo, estudos de grande dimensão ou meta-análises com pouco enviesamento, pode ajudar, por se aproximar mais do padrão-ouro desconhecido. No entanto, os estudos grandes também podem estar enviesados, e esse facto deve ser reconhecido e evitado. Além disso, é impossível obter evidência em grande escala para todos os milhões ou biliões de questões colocadas pela investigação actual. A evidência em grande escala deve ser dirigida a questões cuja probabilidade prévia já seja consideravelmente elevada, de modo que um resultado significativo conduza a uma probabilidade posterior considerada bastante conclusiva. É também especialmente indicada quando permite testar conceitos importantes, em vez de questões estreitas e específicas. Um resultado negativo pode então refutar não apenas uma alegação específica, mas toda uma área ou uma parte considerável dela. Realizar estudos de grande dimensão com base em critérios estreitos, como a promoção comercial de um medicamento específico, constitui em grande medida um desperdício de investigação. Deve ainda ter-se presente que estudos extremamente grandes podem ter maior probabilidade de encontrar uma diferença estatisticamente significativa, mas trivial e sem significado real, relativamente ao valor nulo[32][33][34].

Em segundo lugar, a maioria das questões de investigação é abordada por muitas equipas, pelo que é enganador dar destaque aos resultados estatisticamente significativos de uma única equipa. O que importa é o conjunto da evidência. Reduzir o enviesamento através de normas de investigação mais exigentes e limitar os preconceitos também poderá ajudar. Isto, porém, poderá exigir uma mudança de mentalidade científica difícil de alcançar. Em alguns desenhos de investigação, os esforços poderão ser mais bem-sucedidos se os estudos forem registados antecipadamente, como acontece com os ensaios aleatorizados[35]. O registo coloca dificuldades à investigação destinada a gerar hipóteses. Poderá ser mais viável algum tipo de registo ou de articulação entre recolhas de dados e investigadores dentro de cada área do que registar todas as experiências de geração de hipóteses. De qualquer modo, mesmo que o registo de estudos não progrida muito noutras áreas, os princípios de elaboração e cumprimento de um protocolo poderiam ser adoptados mais amplamente a partir dos ensaios controlados aleatorizados.

Por fim, em vez de perseguirmos a significância estatística, deveríamos compreender melhor a gama de valores de R — as probabilidades prévias — em que decorre a investigação[10]. Antes de realizar uma experiência, os investigadores deveriam ponderar qual a probabilidade de estarem a testar uma relação verdadeira, e não uma relação inexistente. Por vezes, será possível confirmar valores elevados de R que tenham sido conjecturados. Como se referiu acima, sempre que seja eticamente aceitável, deveriam realizar-se estudos grandes e com enviesamento mínimo sobre resultados considerados relativamente

estabelecidos, para verificar com que frequência são efectivamente confirmados. Suspeito que várias «referências clássicas» não passarão este teste[36]. Ainda assim, a maioria das novas descobertas continuará a resultar de investigação destinada a gerar hipóteses, com probabilidades prévias baixas ou muito baixas. Devemos, portanto, reconhecer que testar a significância estatística num único estudo fornece apenas uma imagem parcial, se não soubermos quanto se testou fora do artigo e no conjunto da área relevante. Apesar da extensa literatura estatística sobre correcções para testes múltiplos[37], é geralmente impossível determinar quanta exploração de dados foi realizada pelos autores que comunicam os resultados ou por outras equipas antes de se chegar ao resultado publicado. Mesmo que fosse possível determiná-lo, isso não nos informaria sobre as probabilidades prévias. É, por isso, inevitável fazer estimativas aproximadas do número de relações que se espera serem verdadeiras entre as testadas nas áreas e desenhos de investigação relevantes. A área mais ampla poderá fornecer orientação para estimar esta probabilidade num projecto específico. Também será útil recorrer à experiência de enviesamentos detectados em áreas próximas. Embora estas estimativas sejam bastante subjectivas, continuam a ser muito úteis para interpretar os resultados de investigação e colocá-los no devido contexto.

Referências

1. 
   Ioannidis JP, Haidich AB, Lau J (2001) Any casualties in the clash of randomised and observational evidence? BMJ 322: 879–880.
   
2. 
   Lawlor DA, Davey Smith G, Kundu D, Bruckdorfer KR, Ebrahim S (2004) Those confounded vitamins: What can we learn from the differences between observational versus randomised trial evidence? Lancet 363: 1724–1727.
   
3. 
   Vandenbroucke JP (2004) When are observational studies as credible as randomised trials? Lancet 363: 1728–1731.
   
4. 
   Michiels S, Koscielny S, Hill C (2005) Prediction of cancer outcome with microarrays: A multiple random validation strategy. Lancet 365: 488–492.
   
5. 
   Ioannidis JPA, Ntzani EE, Trikalinos TA, Contopoulos-Ioannidis DG (2001) Replication validity of genetic association studies. Nat Genet 29: 306–309.
   
6. 
   Colhoun HM, McKeigue PM, Davey Smith G (2003) Problems of reporting genetic associations with complex outcomes. Lancet 361: 865–872.
   
7. 
   Ioannidis JP (2003) Genetic associations: False or true? Trends Mol Med 9: 135–138.
   
8. 
   Ioannidis JPA (2005) Microarrays and molecular research: Noise discovery? Lancet 365: 454–455.
   
9. 
   Sterne JA, Davey Smith G (2001) Sifting the evidence—What’s wrong with significance tests. BMJ 322: 226–231.
   
10. 
    Wacholder S, Chanock S, Garcia-Closas M, Elghormli L, Rothman N (2004) Assessing the probability that a positive report is false: An approach for molecular epidemiology studies. J Natl Cancer Inst 96: 434–442.
    
11. 
    Risch NJ (2000) Searching for genetic determinants in the new millennium. Nature 405: 847–856.
    
12. 
    Kelsey JL, Whittemore AS, Evans AS, Thompson WD (1996) Methods in observational epidemiology, 2nd ed. New York: Oxford U Press. 432 p.
    
13. 
    Topol EJ (2004) Failing the public health—Rofecoxib, Merck, and the FDA. N Engl J Med 351: 1707–1709.
    
14. 
    Yusuf S, Collins R, Peto R (1984) Why do we need some large, simple randomized trials? Stat Med 3: 409–422.
    
15. 
    Altman DG, Royston P (2000) What do we mean by validating a prognostic model? Stat Med 19: 453–473.
    
16. 
    Taubes G (1995) Epidemiology faces its limits. Science 269: 164–169.
    
17. 
    Golub TR, Slonim DK, Tamayo P, Huard C, Gaasenbeek M, et al. (1999) Molecular classification of cancer: Class discovery and class prediction by gene expression monitoring. Science 286: 531–537.
    
18. 
    Moher D, Schulz KF, Altman DG (2001) The CONSORT statement: Revised recommendations for improving the quality of reports of parallel-group randomised trials. Lancet 357: 1191–1194.
    
19. 
    Ioannidis JP, Evans SJ, Gotzsche PC, O’Neill RT, Altman DG, et al. (2004) Better reporting of harms in randomized trials: An extension of the CONSORT statement. Ann Intern Med 141: 781–788.
    
20. 
    International Conference on Harmonisation E9 Expert Working Group (1999) ICH Harmonised Tripartite Guideline. Statistical principles for clinical trials. Stat Med 18: 1905–1942.
    
21. 
    Moher D, Cook DJ, Eastwood S, Olkin I, Rennie D, et al. (1999) Improving the quality of reports of meta-analyses of randomised controlled trials: The QUOROM statement. Quality of Reporting of Meta-analyses. Lancet 354: 1896–1900.
    
22. 
    Stroup DF, Berlin JA, Morton SC, Olkin I, Williamson GD, et al. (2000) Meta-analysis of observational studies in epidemiology: A proposal for reporting. Meta-analysis of Observational Studies in Epidemiology (MOOSE) group. JAMA 283: 2008–2012.
    
23. 
    Marshall M, Lockwood A, Bradley C, Adams C, Joy C, et al. (2000) Unpublished rating scales: A major source of bias in randomised controlled trials of treatments for schizophrenia. Br J Psychiatry 176: 249–252.
    
24. 
    Altman DG, Goodman SN (1994) Transfer of technology from statistical journals to the biomedical literature. Past trends and future predictions. JAMA 272: 129–132.
    
25. 
    Chan AW, Hrobjartsson A, Haahr MT, Gotzsche PC, Altman DG (2004) Empirical evidence for selective reporting of outcomes in randomized trials: Comparison of protocols to published articles. JAMA 291: 2457–2465.
    
26. 
    Krimsky S, Rothenberg LS, Stott P, Kyle G (1998) Scientific journals and their authors’ financial interests: A pilot study. Psychother Psychosom 67: 194–201.
    
27. 
    Papanikolaou GN, Baltogianni MS, Contopoulos-Ioannidis DG, Haidich AB, Giannakakis IA, et al. (2001) Reporting of conflicts of interest in guidelines of preventive and therapeutic interventions. BMC Med Res Methodol 1: 3.
    
28. 
    Antman EM, Lau J, Kupelnick B, Mosteller F, Chalmers TC (1992) A comparison of results of meta-analyses of randomized control trials and recommendations of clinical experts. Treatments for myocardial infarction. JAMA 268: 240–248.
    
29. 
    Ioannidis JP, Trikalinos TA (2005) Early extreme contradictory estimates may appear in published research: The Proteus phenomenon in molecular genetics research and randomized trials. J Clin Epidemiol 58: 543–549.
    
30. 
    Ntzani EE, Ioannidis JP (2003) Predictive ability of DNA microarrays for cancer outcomes and correlates: An empirical assessment. Lancet 362: 1439–1444.
    
31. 
    Ransohoff DF (2004) Rules of evidence for cancer molecular-marker discovery and validation. Nat Rev Cancer 4: 309–314.
    
32. 
    Lindley DV (1957) A statistical paradox. Biometrika 44: 187–192.
    
33. 
    Bartlett MS (1957) A comment on D.V. Lindley’s statistical paradox. Biometrika 44: 533–534.
    
34. 
    Senn SJ (2001) Two cheers for P-values. J Epidemiol Biostat 6: 193–204.
    
35. 
    De Angelis C, Drazen JM, Frizelle FA, Haug C, Hoey J, et al. (2004) Clinical trial registration: A statement from the International Committee of Medical Journal Editors. N Engl J Med 351: 1250–1251.
    
36. 
    Ioannidis JPA (2005) Contradicted and initially stronger effects in highly cited clinical research. JAMA 294: 218–228.
    
37. 
    Hsueh HM, Chen JJ, Kodell RL (2003) Comparison of methods for estimating the number of true null hypotheses in multiplicity testing. J Biopharm Stat 13: 675–689.
    

Citação: Ioannidis JPA (2005) Why most published research findings are false. PLoS Med 2(8): e124.

Direitos de autor: © 2005 John P. A. Ioannidis. Este artigo de acesso livre é distribuído nos termos da Licença de Atribuição Creative Commons, que permite a utilização, distribuição e reprodução em qualquer suporte, desde que o trabalho original seja devidamente citado.

Abreviatura: PPV, valor preditivo positivo

John P. A. Ioannidis pertence ao Departamento de Higiene e Epidemiologia da Faculdade de Medicina da Universidade de Ioannina, Ioannina, Grécia, e ao Instituto de Investigação Clínica e Estudos de Política de Saúde, Departamento de Medicina, Tufts-New England Medical Center, Faculdade de Medicina da Universidade Tufts, Boston, Massachusetts, Estados Unidos da América. E-mail: jioannid cc.uoi.gr

Conflitos de interesses: O autor declarou não existirem conflitos de interesses.

DOI: 10.1371/journal.pmed.0020124