Aclamado pela imprensa, o estudo sobre a eficácia das máscaras na redução de covid-19 sintomática The Impact of Community Masking on COVID-19: A Cluster-Randomized Trial in Bangladesh, publicado em preprint, no início de setembro, por pesquisadores liderados pelos economistas da Universidade de Yale Jason Abaluck e Ahmed Mobarak, na época foi criticado pela comunidade científica por falhas no protocolo da pesquisa, pela falta de dados primários e por exagerar as descobertas.

O estudo foi financiado por uma doação da agência de avaliação de caridade GiveWell para o Innovations for Poverty Action (IPA), entidade que estuda a eficácia de programas para reduzir a pobreza global, e brevemente deverá ser publicado revisado por pares na revista científica Science. O National Bureau of Economic Research publicou uma versão mais curta e um tanto diferente.

Ahmed Mushfiq Mobarak, coautor do estudo e professor de Economia na Universidade de Yale, disse que o protocolo de pesquisa foi intensamente discutido com entidades como a Organização Mundial da Saúde (OMS), o Banco Mundial e a Fundação Bill & Melinda Gates, além do próprio governo de Bangladesh.

O experimento foi conduzido com uma população total de estudo de 342.126 adultos residentes em 600 aldeias de Bangladesh.

O grupo de controle compreendeu 163.861 indivíduos de 300 aldeias. Outras 300 aldeias formaram o grupo de intervenção somando 178.322 pessoas.

O estudo, intensamente promovido na mídia pela Innovations for Poverty Action, afirma que as aldeias que receberam máscaras cirúrgicas reduziram a infecção sintomática em 35% para idosos com mais de 60 anos e 23% para aqueles com idades entre 50-60. As máscaras de pano, por outro lado, tiveram um "impreciso" efeito zero.

Efeito por faixa etária do uso de máscara cirúrgica na soroprevalência sintomática
Efeito por faixa etária do uso de máscara cirúrgica na soroprevalência sintomática de covid-19

Mobarak prometeu a doação de "mais de 100 milhões de máscaras para distribuir gratuitamente em Bangladesh porque a pesquisa havia mostrado efeitos positivos". Não ficou claro qual organização arcaria com os custos de aquisição e distribuição.

Os críticos lembram que em março de 2020 Jason Abaluck, coautor principal do estudo, defendeu, em rede social, que os governos deveriam "comprar imediatamente máscaras de pano para todos" e "encorajar fortemente todos a usarem máscaras em público (talvez até multá-los se não o fizerem)". O professor de Administração de Yale também argumentou que se as máscaras de tecido reduzissem a propagação em 10%, isso mais do que justificaria um custo estimado de US$ 1 por unidade.

O experimento de Bangladesh, realizado um ano depois, sugere que as intervenções reduziram a "soroprevalência sintomática" em 9,3% no grupo de tratamento, mas também que as máscaras cirúrgicas foram estatisticamente insignificantes para grupos etários abaixo de 50 anos.

Contudo, apenas as pessoas que relataram sintomas foram convidadas a participar de um estudo de sorologia e apenas 40% desses pacientes permitiram a coleta de amostras de sangue.

Questiona-se ainda se o enquadramento moralista e a estrutura de incentivos, que além de somas em dinheiro incluía um "certificado" entregue aos idosos das aldeias, podem dissuadir um participante de relatar sintomas que representariam falha moral individual e coletiva – algo que poderia custar dinheiro à aldeia, ilustrando o problema central dos experimentos que não são cegos.

Agora o estudo está enfrentando novo escrutínio.

No início de novembro, os autores do estudo disponibilizaram os dados brutos do experimento, meses depois da ampla cobertura da imprensa ter anunciado que a "eficácia das máscaras contra a covid-19 é comprovada pela Ciência", ainda que o trabalho não tivesse sido revisto por pares e publicado em revista científica e, portanto, antes de sujeito ao amplo escrutínio da comunidade científica e médica.

Em Revisiting the Bangladesh Mask RCT, ao analisar os dados de casos soropositivos do estudo, o Professor Ben Recht, da Universidade da California em Berkeley, destacou as diferenças minúsculas de infecção entre os grupos "de tratamento" e o grupo de controle.

"O principal desfecho do estudo foi se sua intervenção reduziu o número de indivíduos que relataram sintomas semelhantes aos da covid-19 e testaram soropositivo em algum momento durante o ensaio", explica Recht.

O número de tais indivíduos não aparece no artigo original.

Os dados recém-divulgados mostram apenas 20 casos sintomáticos a mais no conjunto de 300 aldeias que não receberam máscaras, orientações, incentivos, lembretes e "modelos de papéis por líderes comunitários".

"Houve 1.106 indivíduos sintomáticos confirmados como soropositivos no grupo de controle e 1.086 desses indivíduos no grupo de tratamento. A diferença entre os dois grupos foi de apenas 20 casos em mais de 340.000 indivíduos em um período de 8 semanas", destaca Recht.

"Tenho dificuldade em ir desses números às conclusões seguras de que 'máscaras funcionam' que foram promulgadas pela imprensa ou pelos autores depois que o preprint apareceu. Este estudo não foi cego, pois é impossível cegar um estudo sobre máscaras. A intervenção foi altamente complexa e incluiu uma campanha de promoção de máscaras e educação sobre outras medidas de mitigação, incluindo o distanciamento social", explica o professor da UC Berkeley.

"Além disso, os indivíduos só foram incluídos no estudo se consentissem que os pesquisadores visitassem e examinassem suas residências. Houve um grande diferencial entre os grupos de controle e de tratamento aqui, com 95% de consentimento no grupo de tratamento, mas apenas 92% de consentimento no controle. Esse diferencial por si só poderia eliminar a diferença nos casos observados", acrescenta Recht.

"Finalmente, a soropositividade sintomática é uma medida bruta de covid-19, já que os indivíduos podem ter sido infectados antes do início do estudo", pondera.

A intervenção complexa, incluindo um programa educacional, distribuição gratuita de máscaras, com uso estimulado monetariamente e monitorado, em um país pobre com baixa imunidade populacional e sem vacinação, mostrou, na melhor das hipóteses, uma redução minúscula da infecção, avaliou Recht. Foto: © IPA
A intervenção complexa, incluindo um programa educacional, distribuição gratuita de máscaras, com uso estimulado monetariamente e monitorado, em um país pobre com baixa imunidade populacional e sem vacinação, mostrou, na melhor das hipóteses, uma redução minúscula da infecção, avaliou Recht. Foto: © IPA

"Isso reafirma minhas idéias anteriores de que as intervenções não farmacêuticas são desafiadoras para implementar e têm apenas benefícios modestos na presença de uma infecção respiratória altamente contagiosa", disse Recht.

"Naturalmente, essa não foi a mensagem que a maioria da imprensa tirou deste estudo. Em vez disso, fomos informados de que esse teste finalmente confirmou que as máscaras funcionavam. Acho que um dos principais pontos confusos foi usar a 'eficácia' em vez do risco relativo como medida do poder da intervenção".

Eficácia

"Um dos truques sombrios da bioestatística é se afastar da contagem de casos absolutos para medidas de risco, como redução do risco relativo ou eficácia. Essas medidas são relativas e tendem a exagerar os efeitos. A redução do risco relativo (RR) é a razão entre a taxa de infecção no grupo de tratamento e a taxa de infecção no grupo controle", explicou o professor.

"A comunidade acadêmica de vacinas, infelizmente, usa 'eficácia' ou 'efetividade' para descrever a redução do risco relativo. A eficácia é uma métrica comumente mal interpretada", ressaltou Recht.

"Uma grande falha de usar a eficácia como métrica é que ela é altamente não linear. A diferença entre a eficácia de 10% e 20% é muito pequena, enquanto a diferença entre 85% e 95% é enorme, correspondendo a uma redução de risco de 7 e 20 vezes, respectivamente. A eficácia é uma métrica não linear, mas essas porcentagens são distribuídas como se fossem efeitos lineares, e isso adiciona confusão ao diálogo público".
Eficácia vs. Redução Relativa de Risco. © Ben Recht
Eficácia vs. Redução Relativa de Risco. © Ben Recht

"Para aprofundar ainda mais no absurdo da eficácia, vamos examinar a alegação de que 'máscaras de pano' funcionam menos bem do que 'máscaras cirúrgicas'", provoca Recht.

"Esta é uma observação muito forte para ser obtida a partir dos dados".

"O preprint fornece dois cálculos estratificados para estimar a eficácia dos tipos de máscaras. No primeiro caso, os autores analisaram aldeias randomizadas para receber apenas máscaras cirúrgicas e suas aldeias de controle correspondentes. Neste caso, havia 190 pares de aldeias consistindo em 103.247 indivíduos no grupo de controle e 113.082 indivíduos no grupo de tratamento. Eles observaram 774 indivíduos sintomáticos e soropositivos no grupo controle e  756 indivíduos sintomáticos e soropositivos no grupo de tratamento. Esta é uma diferença de 18 indivíduos. A eficácia correspondente é de 11%, lamentavelmente baixa".

Recht fez uma análise semelhante para as aldeias apenas com máscaras de tecido.

"Havia 96 pares de aldeias consistindo em 53.691 indivíduos no grupo de controle e 57.415 indivíduos no grupo de tratamento. Eles observaram 332 indivíduos sintomáticos e soropositivos no grupo controle e 330 indivíduos sintomáticos e soropositivos no grupo de tratamento. Esta é uma diferença de apenas 2 indivíduos. Certamente, ninguém colocaria muita fé em uma intervenção onde vemos uma diferença de 2 casos em um estudo com mais de cem mil pessoas. No entanto, para demonstrar ainda mais o absurdo da noção de eficácia, a eficácia observada para máscaras de tecido neste estudo é de 7%", relata o professor.

"Acho que, na cabeça de muitas pessoas, a diferença entre 7% e 11% é pequena. E 7% devem ser considerados 'sem efeito', assim como 11%", defende Recht.

Repercussão

A análise do professor da UC Berkeley atraiu a atenção da comunidade científica e médica, inclusive do epidemiologista da Harvard Medical School Martin Kulldorff, cujo próprio ceticismo quanto ao poder protetor das máscaras para idosos levou à suspensão da sua conta em rede social por um mês.

“Como um defensor da vacina, eu ficaria horrorizado se um teste de vacina mostrasse 11% de eficácia. Com base nos intervalos de confiança de 95%, nem mesmo sabemos se a eficácia da máscara cirúrgica é superior a 0%”, comentou.

O cardiologista Anish Koka observou que "um dos problemas do estudo é que, apesar do vasto tamanho do ensaio, o desfecho primário depende de ~ 5.000 amostras de sangue coletadas" em cada um dos grupos.

Uma fração um pouco maior de pessoas foi vista como sintomática no grupo controle e, portanto, uma fração maior foi testada. Entre ambos os grupos, a fração de sintomáticos que testou positivo foi aproximadamente a mesma, de modo que a diferença no percentual de "soropositivos sintomáticos" é inteiramente resultado do maior número de pessoas testadas.

"Portanto, devemos extrapolar de uma diferença de 20 casos testados em cerca de 10.000 pacientes para um estudo de 300.000 pacientes", disse Koka. "Mas quão robusto isso pode ser?".

Koka lembrou que no início da pandemia Abaluck sugeriu multar as pessoas por não usarem máscaras de pano fornecidas pelo governo, o tipo menos eficaz.

“Parece um pouco exagerado ir dessas pequenas diferenças à polícia rastreando e multando pessoas que não usam máscara em público”, escreveu o cardiologista.

O economista da George Mason University, Tyler Cowen, nomeado "um dos economistas mais influentes" dos anos 2000 pela The Economist, apontou seus leitores para a análise de Recht.

"Com mais transparência de dados, [o estudo de Bangladesh] não parece estar se segurando muito bem", Cowen escreveu no seu blog Marginal Revolution, advertindo que "no nível social agregado, estamos muito longe de saber quão bem as máscaras funcionam".

Na quinta-feira (30), Abaluck respondeu ao post de Cowen e às críticas de Recht.

Outros estudos

Em Analysis of the Effects of COVID-19 Mask Mandates on Hospital Resource Consumption and Mortality at the County Level, artigo publicado revisado por pares no início de setembro de 2021 na revista da Southern Medical Association, pesquisadores liderados pelo U.S. Army Institute of Surgical Research analisaram o efeito do decreto de uso obrigatório de máscaras, de 3 de julho de 2020, no condado de Bexar de San Antonio, Texas, e o mandato de máscara do próprio condado 12 dias depois.

Eles descobriram que "nenhuma redução na mortalidade diária por população, leito hospitalar, leito de UTI ou ocupação do ventilador de pacientes covid-19-positivos" foi atribuível ao mandato do estado ou do condado um mês depois.

O estudo de Bangladesh também contrasta com um RCT (randomized control trial) anterior, mas muito menor, conduzido por pesquisadores dinamarqueses e publicado revisado por pares na revista Annals of Internal Medicine.

Os participantes do teste na Dinamarca receberam máscaras gratuitas e conselhos antecipados, mas foram deixados sem supervisão, ao contrário das repetidas intervenções no estudo de Bangladesh.

Os pesquisadores não encontraram uma diferença estatisticamente significativa entre aqueles que usavam máscaras e aqueles que não usavam.

Por fim, o estudo Experimental investigation of indoor aerosol dispersion and accumulation in the context of COVID-19: Effects of masks and ventilation, publicado revisado por pares em julho na revista Physics of Fluids, do American Institute of Physics, lança dúvidas sobre se as máscaras cirúrgicas são muito melhores do que as de pano.

Os pesquisadores da Universidade de Waterloo descobriram que as máscaras cirúrgicas eram 12% eficazes na filtragem de aerossóis carregando o novo coronavírus, enquanto as máscaras de pano eram 10% eficazes.

O experimento foi realizado com máscaras colocadas em manequins.

Os autores culparam o ajuste deficiente da maioria das máscaras pela baixa eficácia, embora mesmo as máscaras N95 e KN95, perfeitamente ajustadas, filtraram apenas um pouco mais de 50% dos aerossóis.

Veja também: