Atualização 02/06 - Expression of concern:  

We are issuing an Expression of Concern to alert readers to the fact that serious scientific questions have been brought to our attention. We will update this notice as soon as we have further information.

The Lancet Editors
Atualização 03/06 - OMS retoma ensaios clínicos da cloroquina e hidroxicloroquina do Solidarity.

“Com base nos dados disponíveis, os membros recomendaram que não há razões para suspender o protocolo de testes”, anunciou em coletiva Tedros Adhanom Ghebreyesus, Diretor-Geral da Organização Mundial da Saúde.

A organização está conduzindo um ensaio clínico com 3.500 pacientes em 35 países.
Atualização 04/06 - Declaração da The Lancet

"Hoje, três dos autores do artigo, 'Hidroxicloroquina ou cloroquina, com ou sem um macrólido para o tratamento de COVID-19: uma análise de registro multinacional', retiraram seu estudo. Eles não conseguiram concluir uma auditoria independente dos dados que sustentam sua análise. Como resultado, eles concluíram que 'não podem mais garantir a veracidade das fontes de dados primárias'. A Lancet leva muito a sério questões de integridade científica, e há muitas questões pendentes sobre o Surgisphere e os dados que supostamente foram incluídos neste estudo".

“Nós não podemos mais garantir a veracidade das fontes dos dados primários. Por causa deste desenvolvimento infeliz, os autores pedem que o artigo seja retratado”, escreveu o autor principal, Mandeep Mehra, em comunicado.

"Nós todos entramos nesta colaboração para contribuir de boa fé e em um momento de grande necessidade durante a pandemia de COVID-19. Lamentamos profundamente qualquer constrangimento ou inconveniência que possa ter causado a você, aos editores e aos leitores".

Naturalmente, os autores terem retirado o artigo não encerra o assunto. O que está sendo questionado é a aprovação do artigo pela The Lancet.
Atualização 05/06 - Os pesquisadores responsáveis pelo RECOVERY, iniciativa da Universidade de Oxford em busca de tratamentos para a Covid-19, encerraram ensaios clínicos "padrão ouro" com a hidroxicloroquina concluindo que o medicamento não diminui a mortalidade e não reduz o tempo de internação.

"Se você for hospitalizado, não tome hidroxicloroquina", disse o chefe do estudo à Reuters. “Este não é um tratamento para a Covid-19. Não funciona".  

Após afirmar em artigo que o uso da hidroxicloroquina não é eficaz e aumenta a mortalidade de pacientes, a revista The Lancet está sendo requisitada para apresentar as avaliações dos especialistas que revisaram o estudo e aprovaram a publicação.

O estudo observacional analisou dados de 15.000 pacientes com Covid-19 que receberam o medicamento isoladamente ou em combinação com antibióticos, comparando com 81.000 controles.

A principal descoberta é que a (hidroxi) cloroquina (HCQ/CQ) com ou sem antibiótico macrolídeo está associada a 33% de mortalidade excessiva e aumento muito grande de eventos cardíacos.

Os achados estão sendo questionados.

"30% de mortalidade em excesso é muito. Como a maioria dos hospitais está relatando uma mortalidade de 10 a 20% em pacientes hospitalizados, você precisaria apenas de algumas centenas para detectar esse tipo de efeito (o estudo Recovery recrutou mais de 10.000)", explica o Dr. James Watson, do Centro de Medicina Tropical e Saúde Global da Universidade de Oxford.

"Por que alguns pacientes recebem HCQ/CQ e outros não? Esta decisão é tomada pelo médico assistente em 'uso compassivo' (devido a nenhuma evidência de que funcione). Então, provavelmente, isso significa: paciente em estado grave e piorando -> administrar a droga just in case", avalia Watson.

Apenas para ilustrar a observação de Watson, a coordenadora do Hospital Municipal de Campanha do Anhembi (HMCamp Anhembi), em entrevista ao Estadão, afirmou que a maioria dos pacientes com sintomas leves recusa tomar HCQ/CQ ao serem (obrigatoriamente) informados dos riscos. Por sua vez, o cardiologista Roberto Kalil Filho, do Hospital Sírio-Libanês, em entrevista à Folha, comentou o 'uso compassivo' da cloroquina em pacientes graves.

"É verdade que não temos grandes estudos científicos mostrando benefícios, mas é uma doença que mata ... Se daqui a seis meses, sair um estudo mostrando que a cloroquina é eficaz, e os doentes que deixamos de dar? E se morreram?".

O irônico da observação do Dr. Watson é que a HCQ/CQ se tornou um "remédio sagrado" para Covid-19 após a publicação do resultado de um ensaio clínico que usou o mesmo viés do novo artigo, que a tornou um "remédio mortal".

No experimento projetado para obter resultado favorável, a droga foi administrada para pacientes assintomáticos e com sintomas leves e foram retirados do ensaio clínico aqueles que pioraram ou morreram. A cloroquina 'curou' 100% dos doentes que não morreram, pioraram, adoeceram, ou abandonaram o estudo clínico, resumiu o Los Angeles Times. Ensaios subsequentes não comprovaram efeitos benéficos da droga no tratamento da Covid-19.

O artigo que levou a OMS a suspender parcialmente seus ensaios do medicamento usou dados de um data broker, co-autor do trabalho, e foi anunciado com o argumento falacioso de ser o maior estudo (data mining) do mundo sobre HCQ/CQ. A droga 'matou' os pacientes que estavam morrendo, resumem os críticos. Ensaios clínicos ainda não comprovaram efeitos danosos no tratamento da Covid-19, porém não se discute que é uma droga que pode causar graves problemas de saúde e, portanto, requer rigoroso acompanhamento médico.

Assim como o Dr. James Watson, um grande número de médicos e pesquisadores prontamente detectou problemas na metodologia, inconsistência nos dados e viés nos resultados do artigo. Agora querem saber como foi aprovado para publicação.

Em carta aberta ao público, 120 cientistas de várias instituições de renome, como a Harvard Medical School, o Imperial College London, Universidade Médica da Pensilvânia, Universidade Duke, entre outras, afirmam que não há como revisar os dados utilizados no estudo, porque os autores negam a fornecê-los, havendo ainda suspeição sobre a ética de como tais dados foram obtidos.

Questionamentos sobre a modelagem estatística do artigo também vieram de outras universidades, incluindo a Columbia University nos EUA.

“É por interesse na transparência que solicitamos que a The Lancet torne aberta a pesquisa aos comentários dos pares que fizeram a revisão desse estudo”, afirma a carta.

"Muitos de nós, na comunidade científica, ficamos muito aborrecidos ao ver um estudo mal executado e mal escrito publicado na The Lancet, com muita publicidade, causar um impacto extremamente negativo em ensaios clínicos cuidadosamente planejados em todo o mundo", disse Watson, que liderou a redação da carta, em um e-mail para o BuzzFeed News.

Os dados foram fornecidos pela Surgisphere, "organização dedicada a tornar o mundo um lugar melhor" pertencente a um dos autores do artigo, que se recusa a revelar até as fontes de onde coletou os dados médicos usados no estudo, mas não esconde sua oposição à utilização da HCQ/CQ fora das indicações da bula.

"[Nos] juntamos a várias agências, incluindo a FDA, bem como vários estudos observacionais relatados no NEJM, JAMA e BMJ, cada um dos quais apontou não haver benefício dos esquemas de drogas usando hidroxicloroquina ou cloroquina ou mesmo sinalizaram potencial dano. O estudo brasileiro CloroCovid-19 sobre difosfato de cloroquina foi interrompido recentemente no Brasil devido aos riscos de segurança associados a este medicamento".

OMS

A posição manifestada pela OMS, que suspendeu os ensaios clínicos da hidroxicloroquina apenas de seu próprio projeto de pesquisas, o Solidarity, foi interpretada por alguns como uma "proibição de uso" do medicamento.

A OMS objetiva fazer uma revisão dos dados coletados até o momento no Solidarity, face à gravidade das conclusões de mortalidade do estudo. Pelo mesmo motivo, a MHRA (agência reguladora de medicamentos do Reino Unido) também realizou uma revisão dos dados do projeto britânico Recovery, e concluiu pelo prosseguimento dos ensaios clínicos, após avaliar que o uso da HCQ/CQ não trouxe maiores riscos à saúde dos voluntários.

Especialistas da OMS disseram que conclusões definitivas de mortalidade não podem ser tiradas de um estudo observacional, como o relatado pelo The Lancet. A cientista-chefe da OMS, Soumya Swaminathan, enfatizou que, ao contrário de ensaios clínicos randomizados, como o que a OMS está realizando, estudos observacionais podem produzir resultados enganosos.

“Sabemos que as evidências de estudos observacionais, por maiores que sejam, ainda estão sujeitas a tendências (bias) inerentes. O que é realmente importante é ter estudos de controle randomizados bem conduzidos, realizados em grandes números”, disse Swaminathan, em coletiva de imprensa.

"Há muito poucos estudos randomizados e é importante recolher informação sobre a segurança e eficácia”, afirmou a cientista-chefe da OMS. “Queremos usar [a hidroxicloroquina] se for segura e eficaz, se reduzir a mortalidade e as internações e se os benefícios forem maiores do que os danos”.

O chefe de emergências da OMS, Mike Ryan, destacou que a decisão da OMS de suspender os testes de hidroxicloroquina do Solidarity não se deveu a nenhum resultado preliminar negativo sinalizado no estudo em andamento.

A decisão foi "proativa" e "errou por cautela", disse Swaminathan.

“Havia muitas perguntas vindas de nossos principais pesquisadores e sabíamos que as agências reguladoras de muitos países também estavam discutindo esses dados ... Então, o comitê da direção decidiu que, à luz dessa incerteza, deveríamos ser proativos, errar por precaução e suspender temporariamente a inscrição [de novos voluntários] no teste da hidroxicloroquina”, disse a cientista-chefe a repórteres.

Após avaliarem o estudo publicado pela The Lancet, várias organizações deram continuidade a seus ensaios clínicos com HCQ/CQ, entre elas, os hospitais Albert Einstein e Sírio-Libanês.

Cabe lembrar que o Conselho Federal de Medicina (CFM) estabeleceu diretrizes para a prescrição da cloroquina, e seus derivados, em situações específicas de Covid-19.

Compete ao CFM deliberar sobre as drogas e procedimentos para uso no Brasil. Os protocolos clínicos de atendimento ficam a cargo das sociedades de especialidades e da Associação Médica Brasileira.

O CFM destaca que não há indicação da cloroquina para uso preventivo e que, em todas as situações apresentadas, deve haver autorização do paciente ou da família para o seu uso.

Garbage in, garbage out

Allen Cheng, professor de infectologia da Universidade de Monash e médico de doenças infecciosas do Alfred Health, em Melbourne, Austrália, afirma que "existem muitas anomalias" no estudo e que seria um erro interromper ensaios clínicos bem projetados que examinam a droga por causa de dados questionáveis.

"Os autores relataram que 49 pacientes receberam CQ e 50 receberam HCQ", escreve Cheng. "CQ não está disponível na Austrália".

Cheng também afirmou que o número de óbitos de cidadãos australianos medicados com cloroquina no estudo diverge dos registros dos hospitais.

Autoridades australianas consultadas pelo Guardian Australia confirmaram que os dados do estudo relacionados à Austrália não correspondem aos dados registrados relativos à coronavirus, incluindo internações hospitalares e óbitos. Também informaram que não forneceram dados à Surgisphere.

Questionada pelo Guardian, a revista The Lancet pediu explicações ao principal autor do estudo, Dr. Mandeep Mehra. Ele respondeu que entrou em contato com a Surgisphere para reconciliar as discrepâncias com "a maior urgência".

Em comunicado, o fundador da Surgisphere, Dr. Sapan Desai, co-autor do artigo, disse que um hospital da Ásia foi acidentalmente incluído nos dados australianos.

"Analisamos nosso banco de dados da Surgisphere e descobrimos que um novo hospital que entrou no registro em 1º de abril se auto-designou como pertencente à designação continental da Australásia", explica o comunicado. “Ao revisar os dados de cada um dos hospitais do registro, observamos que este hospital tinha uma composição de quase 100% da raça asiática e um uso relativamente alto de cloroquina (CQ) em comparação com o não uso na Austrália. Este hospital deveria ter sido designado de maneira mais apropriada para a designação continental asiática”.

A Surgisphere disse garantir a integridade de seus dados, afirmando que todas as informações dos hospitais "são transferidas de maneira não identificada", mas não podem ser tornadas públicas.

"Esse requisito nos permite manter apenas colaborações com instituições de primeira linha que são suportadas pelo nível de integridade e sofisticação de dados exigido para esse trabalho", afirmou o comunicado. “Naturalmente, isso leva à inclusão de instituições que possuem um nível de prática de atendimento terciário e oferecem assistência médica de qualidade que é relativamente homogênea em todo o mundo. Como na maioria das empresas, o acesso a dados individuais de hospitais é estritamente controlado. Nossos contratos de uso de dados não nos permitem tornar esses dados públicos”.

"Nossos fortes padrões de privacidade são um dos principais motivos pelos quais os hospitais confiam na Surgisphere e conseguimos coletar dados de mais de 1.200 instituições em 46 países", disse Desai ao BuzzFeed News por email.

A empresa alega possuir dados médicos de "240 milhões de pacientes".

Red flag

O Dr. Allen Cheng disse que nunca tinha ouvido falar da Surgisphere, e ninguém do hospital onde trabalha havia fornecido dados a empresa.

"Geralmente, para enviar para um banco de dados, como o da Surgisphere, você precisa de aprovação ética e alguém do hospital estará envolvido nesse processo", disse.

Cheng também observou que o artigo listar apenas quatro autores é uma "bandeira vermelha".

"Geralmente, com estudos que reportam em resultados de milhares de pacientes, você vê uma grande lista de autores no artigo", disse. “São necessárias várias fontes para coletar e analisar os dados para grandes estudos e você geralmente vê isso reconhecido na lista de autores”.

No mês passado, o cientista-chefe da Austrália, Alan Finkel, pediu ao público que seja cauteloso com as descobertas e interpretações de estudos sobre a Covid-19.

Preocupações sérias têm sido levantadas por bioeticistas, clínicos e cientistas de que o rigor científico e a revisão por pares estão caindo pelo caminho da corrida para encontrar curas e tratamentos para a Covid-19.

Íntegra da Carta

Open letter to MR Mehra, SS Desai, F Ruschitzka, and AN Patel, authors of
“Hydroxychloroquine or chloroquine with or without a macrolide for treatment of COVID19: a multinational registry analysis”.
Lancet. 2020 May 22:S0140-6736(20)31180-6. doi:10.1016/S0140-6736(20)31180-6. PMID: 32450107

and to Richard Horton (editor of The Lancet).

Concerns regarding the statistical analysis and data integrity

The retrospective, observational study of 96,032 hospitalized COVID-19 patients from six continents reported substantially increased mortality (~30% excess deaths) and occurrence of cardiac arrhythmias associated with the use of the 4-aminoquinoline drugs hydroxychloroquine and chloroquine. These results have had a considerable impact on public health practice and research.

The WHO has paused recruitment to the hydroxychloroquine arm in their SOLIDARITY trial. The UK regulatory body, MHRA, requested the temporary pausing of recruitment into all hydroxychloroquine trials in the UK (treatment and prevention), and France has changed its national recommendation for the use of hydroxychloroquine in COVID-19 treatment and also halted trials.

The subsequent media headlines have caused considerable concern to participants and patients enrolled in randomized controlled trials (RCTs) seeking to characterize the potential benefits and risks of these drugs in the treatment and prevention of COVID-19 infections. There is uniform agreement that well conducted RCTs are needed to inform policies and practices.

This impact has led many researchers around the world to scrutinize in detail the publication in question. This scrutiny has raised both methodological and data integrity concerns. The main concerns are listed as follows:

  1. There was inadequate adjustment for known and measured confounders (disease severity, temporal effects, site effects, dose used).
  2. The authors have not adhered to standard practices in the machine learning and statistics community. They have not released their code or data. There is no data/code sharing and availability statement in the paper. The Lancet was among the many signatories on the Wellcome statement on data sharing for COVID-19 studies.
  3. There was no ethics review.
  4. There was no mention of the countries or hospitals that contributed to the data source and no acknowledgments of their contributions. A request to the authors for information on the contributing centres was denied.
  5. Data from Australia are not compatible with government reports (too many cases for just five hospitals, more in-hospital deaths than had occurred in the entire country during the study period). Surgisphere (the data company) have since stated this was an error of classification of one hospital from Asia. This indicates the need for further error checking throughout the database.
  6. Data from Africa indicate that nearly 25% of all COVID-19 cases and 40% of all deaths in the continent occurred in Surgisphere-associated hospitals which had sophisticated electronic patient data recording, and patient monitoring able to detect and record “nonsustained [at least 6 secs] or sustained ventricular tachycardia or ventricular fibrillation”. Both the numbers of cases and deaths, and the details provided, seem unlikely.
  7. Unusually small reported variation in baseline variables, interventions and outcomes between continents (Table S3).
  8. Mean daily doses of hydroxychloroquine that are 100 mg higher than FDA recommendations, whereas 66% of the data are from North American hospitals.
  9. Implausible ratios of chloroquine to hydroxychloroquine use in some continents. For example, in Australia 49 received chloroquine and 50 received hydroxychloroquine. However, chloroquine is not readily available in Australia and administration requires authorization from the Therapeutic Goods Administration.
  10. The tight 95% confidence intervals reported for the hazard ratios appear inconsistent with the data. For instance, for the Australian data this would imply about double the numbers of recorded deaths as were reported in the paper.

The patient data were obtained through electronic health records, supply chain databases, and financial records. The data are held by the US company Surgisphere. In response to a request for the data Professor Mehra replied: “Our data sharing agreements with the various governments, countries and hospitals do not allow us to share data unfortunately”.

Given the enormous importance and influence of these results, we believe it is imperative that:

  1. The company Surgisphere provides details on data provenance. At the very minimum, this means sharing the aggregated patient data at the hospital level (for all covariates and outcomes)
  2. Independent validation of the analysis is performed by a group convened by the World Health Organization, or at least one other independent and respected institution. This would entail additional analyses (e.g. determining if there is a dose-effect) to assess the validity of the conclusions
  3. There is open access to all the data sharing agreements cited above to ensure that, in each jurisdiction, any mined data was legally and ethically collected and patient privacy aspects respected

In the interests of transparency, we also ask The Lancet to make openly available the peer review comments that led to this manuscript being accepted for publication.

This open letter is signed by clinicians, medical researchers, statisticians, and ethicists from across the world. The full list of signatories and affiliations can be found below.

* Com dados e informações do Dr. James Watson, Prof. Allen Cheng, Guardian Australia, Surgisphere, BuzzFeed News, Estadão, Folha de S.Paulo

Leitura recomendada:

Veja também: