Pesquisadores descobrem como ‘roubar’ pensamentos secretos do ChatGPT, Claude e Gemini

Uma senha. Uma chave de acesso à nuvem da Amazon. Um número de passaporte. Nada disso apareceu no texto que o usuário viu na tela — mas tudo isso estava lá, escondido no "pensamento" que a inteligência artificial (IA) prometia manter em segredo.

É o que pesquisadores de instituições como o Instituto Max Planck e a Universidade de Tübingen, na Alemanha, encontraram ao vasculhar 315 mil blocos de raciocínio interno gerados por modelos da Anthropic, OpenAI e Google.

Eles descobriram uma falha que permitia decifrar esse raciocínio (normalmente criptografado e invisível ao usuário) e recuperar, em texto puro, informação que nunca deveria ter vazado.

O estudo ainda não passou por revisão por pares, o que significa que suas conclusões devem ser tratadas com cautela, pois trata-se de dados preliminares.

A vulnerabilidade foi comunicada às três empresas antes da divulgação pública, e todas já aplicaram correções — os autores confirmam que o ataque descrito não funciona mais desde agosto.

O que é o 'pensamento' que as empresas escondem

Modelos de raciocínio avançado, como o Claude, o ChatGPT e o Gemini em suas versões mais recentes, não respondem diretamente. Antes de mostrar uma resposta, eles geram uma cadeia de raciocínio interna, um rascunho mental onde testam hipóteses, cometem erros e corrigem o próprio caminho.

Esse rascunho costuma ser mais revelador que a resposta final, segundo a pesquisa, e pode conter dados sensíveis processados durante a tarefa, hipóteses descartadas e, em alguns casos, informação que o modelo decide não mostrar ao usuário por segurança — mas que ainda processou internamente.

Por isso, as três empresas pararam de exibir esse raciocínio em texto puro. Em vez disso, devolvem um bloco de texto criptografado, que o próprio usuário precisa reenviar à API a cada nova mensagem para manter a conversa fluindo — uma solução que evita que as empresas precisem guardar esse histórico em seus próprios servidores.

A falha: o cofre abre com a chave errada

O problema, segundo os pesquisadores, é que esses blocos criptografados são compatíveis entre si de um jeito que não deveriam ser.

Um bloco de raciocínio gerado pela versão mais avançada de um modelo pode ser "reproduzido" por uma versão mais simples e barata da mesma família — e essa versão menor, com menos proteção contra esse tipo de manipulação, aceita decodificar e reescrever o conteúdo em texto puro, palavra por palavra.

Na prática, isso significa que um pesquisador gera um raciocínio criptografado usando o modelo mais avançado da Anthropic, por exemplo, e depois envia esse mesmo bloco para o modelo mais simples e barato da empresa, pedindo que ele "transcreva" o conteúdo. O modelo menor obedece — funcionando como um decodificador involuntário do segredo do modelo maior.

Os pesquisadores descrevem quatro formas de abusar dessa falha.

1. O vazamento em massa que ninguém viu acontecer

Desenvolvedores costumam publicar publicamente, no GitHub e no Hugging Face, registros de sessões de teste com IA, sem perceber que os blocos criptografados de raciocínio, escondidos dentro desses registros, também podem ser decifrados por qualquer pessoa.

Os pesquisadores coletaram 6.708 registros públicos desse tipo e decodificaram 315.320 blocos de raciocínio.

Encontraram 367 itens de informação pessoal identificável e 182 credenciais de acesso — só nas sessões de uso real, sem contar dados de simulações de teste, foram recuperadas 62 chaves de API, 33 senhas, 24 tokens de acesso, 7 chaves privadas e 30 e-mails pessoais.

O mais grave é que, em 64 dos 704 itens recuperados de sessões reais, a informação vazada não aparecia em nenhum momento no texto visível da conversa — havia sido processada apenas dentro do raciocínio oculto do modelo, de forma completamente invisível para quem publicou o registro.

2. Copiar a 'receita' de um concorrente

A segunda aplicação é comercial.

Decifrar o raciocínio de um modelo de ponta permite que um concorrente treine o próprio sistema para imitar esse raciocínio — uma prática chamada destilação, que os provedores tentam impedir justamente escondendo esse conteúdo.

Em um experimento à parte, os pesquisadores descobriram algo que chamam de "o elefante na sala": ao inserir um pequeno fragmento do raciocínio decifrado do Claude Opus 4.8 no início do processo de raciocínio do Kimi K3, modelo chinês de peso aberto da Moonshot AI, a resposta final do Kimi K3 passou a se parecer muito mais com a do modelo da Anthropic — mesmo a resposta visível nunca tendo recebido esse fragmento diretamente.

Os autores são cautelosos: não afirmam que o Kimi K3 foi treinado com dados roubados da Anthropic, apenas que o comportamento observado é "sugestivo, mas inconclusivo" — pode indicar familiaridade prévia do modelo chinês com esse tipo de raciocínio, sem provar a origem dela.

3. Contornar a censura pela porta dos fundos

O terceiro uso é conseguir informação que o modelo se recusa a fornecer diretamente.

Os pesquisadores pediram ao Claude Opus 4.8 que listasse carros fáceis de roubar e explicasse por quê — pedido a que o modelo, no texto final, respondeu de forma responsável, sem detalhar métodos.

Mas o raciocínio interno, decifrado à parte, continha exatamente os detalhes técnicos que a resposta final evitou: falhas específicas de imobilizador em certos modelos, ataques de retransmissão de sinal e outras vulnerabilidades.

O modelo pensou o conteúdo perigoso — só não o enviou. Decifrar o raciocínio permitiu acessar o que ele preferiu não revelar.

4. Instruções maliciosas escondidas no pensamento

O último vetor é o mais sorrateiro. Como os blocos de raciocínio podem ser reaproveitados em sessões futuras (para retomar um trabalho longo sem repetir processamento), um atacante pode plantar uma instrução maliciosa dentro de um bloco criptografado e publicá-lo online, disfarçado de sessão legítima.

Se outra pessoa reaproveitar esse bloco — prática comum entre desenvolvedores que reutilizam sessões publicadas —, o modelo trata a instrução escondida como se fosse o próprio raciocínio anterior dele, e pode agir sobre ela sem que nada suspeito apareça no texto visível da conversa.

Em um teste, os pesquisadores conseguiram fazer um modelo da OpenAI enviar automaticamente, para um servidor controlado por eles, um arquivo que o usuário nunca pediu para compartilhar — a instrução estava inteiramente escondida dentro do bloco criptografado, invisível a qualquer sistema de monitoramento que olhasse só para o texto exibido.

O que já mudou?

Os pesquisadores reportaram a falha às empresas afetadas, à Microsoft e ao Hugging Face antes de publicar o estudo.

A vulnerabilidade original (a portabilidade desses blocos criptografados fora do contexto em que foram criados) já havia sido apontada em 29 de maio por Matthew Green, criptógrafo, em post no blog A Few Thoughts on Cryptographic Engineering.

Segundo os autores do estudo, na época as empresas não reconheceram "nenhuma implicação de segurança decorrente de canais laterais ou ataques de repetição", nas palavras atribuídas a Green.

O estudo propõe como solução vincular cada bloco criptografado à identidade do usuário e à sessão específica em que foi criado, o que impediria a reutilização em outro contexto sem invalidar a assinatura de segurança.

Os autores também levantam uma pergunta: manter esse raciocínio em segredo do próprio usuário — mas vulnerável a terceiros com o conhecimento técnico certo — realmente protege alguém?

Nas palavras dos pesquisadores, um desenho que esconde os dados do próprio usuário, mas os deixa vulneráveis à extração por terceiros, "não oferece nem privacidade, nem segurança".