Causalidade Questionável (ou O Que o Imperador Está Vestindo?)

Embora as lições aprendidas sejam apresentadas como um apelo à ação, ^⁶ elas também destacam que as conclusões da maioria das avaliações de retorno social do investimento (SROI) existentes para o PAS precisam ser questionadas. Especificamente, com base no feedback de especialistas e na revisão sistemática, Nieto et al. concluem que não há evidências causais da relação entre o PAS e o crime, o capital social ou o meio ambiente e, dependendo do indicador, há evidências causais limitadas (ou seja, qualidade de vida, função cognitiva, nível de escolaridade) ou inexistentes para o bem-estar subjetivo ou a educação. Em contraste, as evidências causais entre o PAS e qualquer um dos indicadores de educação são consideradas “inconsistentes” por uma revisão abrangente conduzida por outro grupo de pesquisadores.⁷ Dado que um componente crítico de uma avaliação de retorno social do investimento (SROI) bem conduzida é o desenvolvimento de um modelo lógico ou mapa de impacto e a articulação de uma teoria da mudança na qual a relação causal entre insumos, produtos e resultados é descrita, ^{⁵ argumento que a falta de relações causais claras para muitos dos principais resultados do PAS é problemática. Isso levanta a questão de se as avaliações de retorno social do investimento (SROI) para o} PAS são baseadas em modelos empíricos sólidos. Por exemplo, 89% dos estudos na revisão sistemática estimaram valores para bem-estar subjetivo, 83,6% estimaram para educação, 60% estimaram para capital social, 50,9% estimaram valores para criminalidade e 7% estimaram o impacto no meio ambiente.⁵ É importante notar que apenas ¹⁶ % dos estudos incluíram qualidade de vida, que, como mencionado anteriormente, é o único indicador de bem-estar subjetivo que possui alguma relação causal potencial com o PAS. Assim, a grande maioria das descobertas em SROIs relacionados ao PAS está monetizando relações causais inexistentes entre o PAS e os resultados sociais. Como diz o ditado sobre o imperador aparentemente nu, questiono se os SROIs para o PAS têm alguma roupa.

Dos 55 documentos incluídos na revisão sistemática conduzida por Nieto et al., apenas foram publicados em periódicos com revisão por pares (15%). Essa descoberta é consistente com a de outras duas revisões anteriores. Uma suposição óbvia é que os SROIs não são valorizados ou respeitados nos meios acadêmicos tradicionais. Alternativamente, Nieto et al.especulam que o “relatório extenso” exigido para as avaliações de SROI excederia os limites típicos de palavras ou páginas dos periódicos. No entanto, isso não é um problema, visto que o excesso de texto e tabelas pode ser compartilhado como material suplementar a qualquer artigo publicado. Em vez disso, a evidência fraca ou inexistente de impacto ou relações causais, que já discuti, o emprego de indicadores indiretos que são subjetivos e frequentemente pouco transparentes,o uso de ferramentas e documentos de apoio que estão atrás de barreiras de pagamento e a aplicação de delineamentos com baixa validade interna são razões mais prováveis ​​para a ausência dessas avaliações na literatura revisada por pares. Independentemente disso, muitos desses relatórios não revisados ​​por pares estão sendo usados ​​para defender o PAS (por exemplo, advogando por isenções fiscais e pedidos de financiamento) sem qualquer análise crítica de sua lógica ou estimativas. Por exemplo, um relatório encomendado e não publicado, produzido para a Fitness Industry Canada por consultores de renome em SROI, sugeriu que o valor social total da economia em saúde gerada pelo PAS no Canadá em 2019 foi de 23,9 bilhões de dólares canadenses.

 Essa estimativa é aproximadamente seis vezes maior do que as estimativas revisadas por pares e complica ainda mais o já complexo contexto político.

Finalmente, embora eu não discorde das conclusões de Nieto et al. quando afirmam que a abordagem SROI pode ser um divisor de águas para a pesquisa aplicada, especialmente considerando o quão atraentes são os resultados dessas análises para os usuários do conhecimento, defendo que atualmente se trata de um jogo com poucas regras. Aliás, eu diria que alguns podem estar tentando manipular o sistema em sua aplicação à pesquisa aplicada. Portanto, mais uma vez, aplaudo qualquer tentativa de estabelecer consenso e evidências para boas práticas éticas na aplicação de abordagens SROI na pesquisa aplicada. Sugiro que um passo nesse sentido seja a exigência de um sistema de registro para SROIs em geral. De forma semelhante ao que é feito para ensaios clínicos¹⁴ ^e revisões sistemáticas¹⁵, todos os SROIs que possa  ser usados ​​para fins de defesa de causas, solicitações de financiamento ou no contexto acadêmico devem ser obrigados a registrar um protocolo com um plano de impacto claramente justificado, descrição explícita dos representantes e identificação das fontes de financiamento.

A verdade nua e crua

• Em resumo, se alguma vez houve necessidade de clareza em relação aos métodos, transparência e rigor, certamente é o caso do SROI em PAS.
• Ter informações confiáveis ​​e válidas sobre os impactos do PAS é fundamental para políticas e práticas públicas saudáveis.
• Infelizmente, uma lição adicional aparente do trabalho de Nieto et al. é que a maioria dos SROIs faz afirmações falhas e exageradas sobre o impacto do PAS em resultados sociais (por exemplo, criminalidade e bem-estar subjetivo).

Citação: Spence, J. C. (2026). Social Return on Investment in Physical Activity and Sport: Is the Emperor Wearing Any Clothes?. Journal of Physical Activity and Health, 23(6), 773-774.

• Baixe e leia a publicação completa e original, nesse LINK