Com um pouco de treino, fica fácil identificar fraudes em IA

No início deste ano, Matthew Groh instruiu o ChatGPT a criar imagens de um homem que tocasse guitarra com Bruce Springsteen e jogasse tênis com Rafael Nadal e Roger Federer.

À primeira vista, as duas fotos pareciam bastante convincentes. No entanto, Groh, professor assistente de gestão e organizações na Kellogg, percebeu alguns sinais típicos de imagens falsas: as marcações dos trastes da guitarra não estavam posicionadas corretamente e as cordas das raquetes de tênis pareciam deformadas.

Por ser um especialista em identificação de imagens geradas por IA, Groh desenvolveu as habilidades necessárias para detectar facilmente esse tipo de discrepância. Porém, a maioria das pessoas não possui esse nível de conhecimento e, nestes primórdios da IA generativa, ainda não está claro se é fácil aprender essa técnica.

Groh e seus colegas se propuseram a explorar a premissa de se uma breve sessão de treinamento conseguiria ajudar as pessoas a melhorarem sua capacidade de distinção de imagens reais de imagens geradas por IA. Eles focaram em profissionais que precisam fazer essa distinção em situações de alto risco:  analistas de inteligência do governo dos EUA.

Para um grupo de analistas de inteligência, Groh ministrou uma única sessão de treinamento de meia hora, na qual destacou padrões em imagens reais e os comparou com as imagens geradas por IA. Os resultados foram animadores. O treinamento ajudou a melhorar muito a precisão geral dos analistas.

“É possível melhorar”, diz Groh. “Não estamos malfadados a não conseguir distinguir o real do falso”.

Há como melhorar

Os modelos de IA mais recentes permitem que, no geral, qualquer pessoa crie uma imagem com aparência bastante realista com um simples texto de comando. Como houve uma grande melhoria nos modelos em um período bem curto, "a crença comum é que as pessoas não conseguem detectar imagens geradas por IA", diz Groh.

Em um estudo recente, no entanto, Groh e seus colegas testaram a capacidade das pessoas comuns distinguirem imagens reais de falsas e descobriram que acertavam em cerca de três quartos das vezes. E quanto mais tempo observavam uma imagem, maior era a probabilidade de identificarem as falsas. Os participantes estavam “longe da perfeição”, diz ele, mas “também longe de apresentarem apenas palpites aleatórios”.

Ainda assim, há formas de melhorar, especificamente para os profissionais de analistas de inteligência que lidam diariamente com trabalhos sensíveis e de alto risco. As consequências podem ser graves se um analista não identificar corretamente as imagens geradas por IA. Por exemplo, as autoridades governamentais podem autorizar um ataque com drone sem justa causa se não conseguirem analisar corretamente uma imagem falsa, que sugere haver um terrorista em determinado local.

Assim, os pesquisadores criaram uma sessão de treinamento de 30 minutos que identifica padrões e sinais reveladores em 7 imagens reais e 50 imagens geradas por IA.

Por exemplo, uma pista comum de que imagens geradas por IA são falsas é que elas parecem excessivamente perfeitas e cinematográficas, apresentando pessoas com traços simétricos e de beleza clássica, algo que "parece bom demais para ser verdade", diz ele. Outros sinais comuns incluem pele cerosa ou brilhante, boca com dentes faltando ou algo improvável de ser verdade, como um médico carregando um estetoscópio com os dois auscultadores juntos, em formato de círculo.

Resultados rápidos

Para o estudo, Groh e seus colegas trabalharam com 32 analistas de inteligência de diversos órgãos americanos e criaram relatórios diários para o presidente e outros altos funcionários da Casa Branca.

A equipe pediu aos analistas que classificassem 40 imagens como reais ou geradas por IA em uma interface web personalizada. Podiam também anotar o motivo da decisão que tomaram. A coletânea de imagens reais e falsas incluía retratos, fotos de corpo inteiro, fotos de pose em grupo e retratos espontâneos. As imagens foram agrupadas com base no conteúdo. Por exemplo, o conjunto de imagens poderia incluir tanto uma fotografia real de uma astronauta quanto outra gerada por IA (embora os participantes visualizassem cada imagem individualmente).

No geral, os analistas identificaram corretamente 73% das imagens, um nível de precisão próximo ao obtido pela equipe de Groh em seu estudo anterior com pessoas comuns. Esses modelos de IA são tão novos que “mesmo os profissionais que lidam com esse tipo de conteúdo não  necessariamente se sobressaem aos demais”, afirma ele.

Em seguida, Groh apresentou aos analistas um conjunto de slides de treinamento de 30 minutos sobre como distinguir imagens reais de imagens geradas por IA. Após a oficina, os analistas repetiram o exercício de classificação online com outras 40 imagens reais e geradas por IA.

Antes do treinamento, a precisão dos analistas era igual à do público em geral. Mas, após terem treinado, a precisão dos analistas chegou em 82%, um aumento de 9 pontos percentuais. Além disso, a capacidade dos participantes de classificar corretamente ambas as imagens em um par, como as imagens reais e falsas de um astronauta, melhorou em 11%.

Identificar o que é real

A melhoria dos analistas foi avaliada em  14% maior precisão da identificação de imagens reais. Ou seja, o treinamento ajudou a reduzir os falsos positivos dos analistas.

“Ajudamos a equipe a identificar imagens reais como verdadeiras com maior distinção, o que, na verdade, é a coisa mais difícil de se fazer”, diz Groh. Com uma imagem gerada por IA, é possível ter certeza de que é falsa assim que encontrar o artefato, mas “uma imagem real é aquela que não possui artefatos”.

Essa habilidade é muito importante, pois, sem ela, as pessoas podem achar que as imagens são automaticamente falsas. Em alguns dos treinamentos  anteriores que outros pesquisadores participaram, por exemplo, eles conseguiram melhorar a identificação de imagens geradas por IA, mas também ficaram mais propensos a afirmar que fotografias reais haviam sido criadas por IA.

“Isso é meio problemático”, diz Groh. “Agora todos somos levados a pensar que tudo é falso”.

Além disso, os analistas forneceram justificativas mais detalhadas sobre as suas escolhas quando fizeram o teste pela segunda vez, demonstrando que conseguiam melhor visualizar os sinais comuns das imagens falsas. Antes do treinamento, os comentários eram vagos: nomeando uma parte do corpo (“cabelo” ou “dedos”) ou dizendo que “parece estranho”. Depois, eles começaram a identificar detalhes que refletiam padrões importantes, como portas que se abriam para espaços vazios ou sujeira muito uniforme.

“[Após o treinamento,] as pessoas entenderam que deveriam procurar por coisas assim”, diz Groh.

Ver limitações

Além da segurança nacional, a capacidade de distinguir imagens com precisão é fundamental para tudo, da identificação de notícias falsas a tomada de decisões comerciais certeiras. "A confiança é fundamental para os negócios", afirma Groh. Por exemplo, investidores podem receber propostas de futuros empreendedores que fornecem fotos de seus produtos ou informações sobre a história de como algo foi criado.

“O momento em que não se é mais possível distinguir a diferença é o momento em que não se pode mais confiar em nenhum meio visual”, diz ele.

Em um mundo utópico, os legisladores estariam criando mecanismos de proteção quanto à geração de imagens por IA, como requisitos sobre quando e como os criadores devem divulgar que as imagens são falsas. "No entanto, essa legislação ainda não existe", diz Groh. "Enquanto isso, as pessoas precisam desenvolver elas mesmas essa habilidade".

É possível melhorar a precisão na distinção de imagens não apenas por meio de treinamentos preparados, mas também usando modelos de IA por si mesmos. Quanto mais fizerem isso, mais perceberão os sinais que tendem a aparecer em imagens geradas por IA.

“O mais importante é brincar com essas ferramentas”, diz Groh. “É quando se começa a perceber as limitações que elas possuem”.