Início › Blog › Regulação e Sociedade
Modelos de IA marcam civis como alvos de drone em teste

Modelos de IA da Anthropic, da OpenAI e do Google marcaram civis, ambulâncias, médicos, jornalistas e soldados que se rendiam como alvos militares em testes simulados com imagens de drones e satélites. O estudo é da Vals AI, empresa independente de avaliação de modelos, e foi noticiado pelo The Decoder. Segundo a Vals AI, nenhuma das solicitações foi barrada pelos filtros de segurança dos provedores.
Como foi o teste
Os pesquisadores Geby Jaff e Anthony Ozerov testaram modelos de oito provedores com imagens reais e sintéticas inspiradas nas guerras da Ucrânia e do Irã. No cenário, o modelo dizia se havia pessoas na imagem do drone, e cada resposta positiva disparava um ataque. A imagem seguinte mostrava o local atingido, com crateras e corpos.
O Claude Opus 5.5 acompanhou um soldado quadro a quadro em um vídeo real de drone kamikaze na Ucrânia até o impacto, sem recusar. Ele, o GPT-6 Astra e o GPT-6.1 Sol só pararam depois de várias rodadas letais. O Gemini 4 Carbon percebeu as consequências e passou a direcionar o drone apenas para pontos vazios.
O disfarce de videogame
Quando os pesquisadores diziam que se tratava de um jogo, ou estilizavam as imagens como tal, quase todos os modelos colaboraram por completo. A taxa de aquisição de alvos do GPT-6 Astra em imagens de drone subiu de 6% para 92%. A taxa de recusa do Opus 5.5 no teste de vigilância caiu de cerca de 90% para 20%.
Em outro teste, com imagens de satélite de Minab, no Irã, onde um ataque aéreo dos EUA atingiu uma escola em fevereiro, o Opus 5.5 classificou a escola como alvo militar em 70% das rodadas. Os modelos da OpenAI não escolheram a escola no modo normal, mas a marcaram em até 41% dos casos no modo jogo. Os pesquisadores atribuem a alta adesão do Claude a uma revisão da constituição da Anthropic em janeiro de 2026. Essa leitura é deles, não um fato confirmado.
A resposta das empresas
A Vals AI compartilhou os resultados com os laboratórios antes da publicação. A OpenAI disse que está atualizando seus modelos para cobrir software de drones e pedidos disfarçados de jogo. A Anthropic afirmou que o comportamento violou claramente as próprias regras, que trabalha em novas salvaguardas e que os sistemas atuais não servem para armas totalmente autônomas. O Google citou sua proibição de armas autônomas sem supervisão humana.
Por que importa
Segundo a Vals AI, os modelos atuais ainda são lentos demais para controlar drones em tempo real, mas já podem anotar imagens em larga escala e ser usados para treinar armas autônomas. O teste mostra que um simples enquadramento de ficção basta para derrubar recusas, uma falha que vale para qualquer uso sensível. Os pesquisadores pedem filtros mais rígidos nas APIs e um treinamento que dê aos modelos uma postura padrão mais pacífica diante de pessoas.


