Quem é o culpado quando a IA foge do controle?

RESUMO ＋

Agentes de inteligência artificial da OpenAI, Google e Anthropic invadiram sistemas de outras empresas durante testes de segurança, mas os episódios não geraram processos judiciais. Segundo análise da MIT Technology Review, as leis americanas ainda não obrigam empresas a reportar incidentes desse tipo, a menos que envolvam mortes, ferimentos ou prejuízos bilionários. O caso reacende o debate sobre responsabilidade, auditoria e regras para sistemas autônomos.

Em pouco mais de dois meses, modelos de inteligência artificial de três das maiores empresas do setor invadiram sistemas de outras companhias durante testes de segurança. Até agora, nenhuma delas respondeu na Justiça por isso.

A razão, segundo uma análise publicada nesta segunda-feira, 28, pela MIT Technology Review, é que as leis dos Estados Unidos ficaram para trás. As regras em vigor só obrigam as empresas a relatar incidentes com mais de 50 mortos ou feridos ou prejuízo acima de US$ 1 bilhão. Uma invasão feita por um agente de IA, sem vítimas nem perdas bilionárias, fica de fora.

O que aconteceu?

O caso mais conhecido é o da Hugging Face. Em julho, a OpenAI revelou que um grupo de seus agentes escapou de um ambiente de teste isolado, chegou à internet e invadiu a plataforma para obter as respostas de uma prova de cibersegurança.

Depois vieram outros. Pesquisadores de fora descobriram que agentes da OpenAI também tinham tomado, em maio, um site de wiki alemão e a plataforma de programação RubyGems. O Gemini, do Google, entrou nos sistemas de três empresas em maio, em um teste conduzido pela startup Irregular. A Anthropic relatou casos parecidos com o Claude.

Por que ninguém é obrigado a contar?

As leis de transparência da Califórnia, de Nova York e de Illinois foram escritas pensando em catástrofes. Elas cobrem incidentes que matam pessoas, causam prejuízos bilionários ou em que o modelo engana os próprios desenvolvedores de forma que aumente o risco de desastre.

Invasões como as deste ano podem ser um aviso de algo pior, mas não se encaixam nesses critérios. "Só o pior, o mais grave e o mais imediatamente danoso vai se enquadrar", disse à revista Mackenzie Arnold, diretor de políticas públicas do Institute for Law and AI.

O resultado aparece na forma como os casos vieram a público. A OpenAI só admitiu os episódios do wiki alemão e do RubyGems depois que pesquisadores independentes os encontraram. O Google soube das invasões do Gemini no fim de julho e só as confirmou em setembro, depois de reportagem do Wall Street Journal. A empresa disse que o caso não exigia divulgação porque as proteções do modelo funcionaram.

A IA pode responder por crime?

Dificilmente. A lei americana contra invasões de computador pune quem entra em um sistema sem autorização e com intenção de fazê-lo. Nenhum tribunal reconheceu até hoje que um agente de IA seja capaz de ter intenção. Sem esse precedente, uma corte teria dificuldade para tratar a ação como crime.

A saída mais provável seria um processo civil por negligência contra a empresa dona do modelo. Professores de direito ouvidos pela revista avaliam que a OpenAI poderia ter isolado melhor o ambiente de teste e alertado seus times de segurança assim que funcionários encontraram o quadro de mensagens secreto criado pelos agentes.

A Hugging Face, porém, decidiu não processar. O CEO da plataforma, Clément Delangue, disse à CNN que não tem recursos para isso e pediu à OpenAI US$ 100 milhões em capacidade computacional. "Todos precisam lembrar que esse ciberataque é um crime. Isso é ilegal", afirmou.

E o que vem agora?

Sem uma lei específica, a pressão veio de outros lados. Em 9 de setembro, o senador republicano Josh Hawley abriu uma investigação e enviou 16 perguntas à OpenAI, com prazo até 1º de outubro, de acordo com a Reuters. Procuradores-gerais da Califórnia, do Alabama e de Montana, este em conjunto com outros 15 estados, também pedem informações, mas com base em leis de defesa do consumidor, pensadas para punir golpes.

O debate sobre auditoria também voltou. Depois do caso da Hugging Face, a OpenAI chamou duas organizações independentes para investigar, mas limitou o acesso ao modelo e manteve a palavra final sobre o que seria publicado. A Anthropic anunciou na semana passada a contratação da Accenture como avaliadora fixa dentro da empresa.

Parte dessas regras chegou a ser proposta. Em 2024, um projeto californiano exigia relato de incidentes em que o modelo age por conta própria, auditorias anuais e um botão de desligar. O texto foi vetado pelo governador Gavin Newsom depois de pressão do setor, e a lei aprovada no ano seguinte ficou mais branda. Neste mês, Newsom criou um grupo de especialistas para estudar como esses mecanismos de desligamento funcionariam.

No Congresso americano, um projeto obrigaria as empresas a avisar o governo sempre que um modelo escapar da supervisão humana ou invadir um sistema, mesmo sem causar dano. Em Nova York, outro tornaria as empresas responsáveis quando um modelo fizesse algo que seria crime se feito por uma pessoa.

No Brasil, o marco legal da IA, aprovado pelo Senado em dezembro de 2024, aguarda o parecer do relator na comissão especial da Câmara. Entre os projetos anexados a ele, um trata justamente da responsabilidade por danos causados por sistemas autônomos.