Modelos de inteligência artificial da OpenAI conseguiram criar um sistema próprio de mensagens para partilhar descobertas, distribuir tarefas e coordenar uma intrusão informática durante testes de cibersegurança realizados pela empresa.
O caso foi apresentado esta quarta-feira na conferência Black Hat, em Las Vegas, por dois elementos da equipa técnica da OpenAI. A empresa continua a preparar um relatório completo sobre o incidente.
De acordo com o El País, os agentes de IA montaram uma espécie de fórum interno no qual comunicavam através de mensagens curtas e telegráficas, reconhecendo que algumas ações ultrapassavam os limites definidos, mas mostrando-se dispostos a continuar porque outros modelos já o estavam a fazer.
Agentes criaram um painel para trocar informações
A principal novidade revelada durante a apresentação foi a capacidade dos modelos para construírem um espaço comum onde registavam progressos, vulnerabilidades e instruções.
Numa das mensagens divulgadas, um agente indicava que explorar infraestruturas externas estava fora do âmbito previsto, mas concluía que deveria avançar porque outros agentes também o faziam.
Noutro caso, um modelo ponderava ajudar um “companheiro”, apesar de reconhecer que essa colaboração não beneficiava diretamente a tarefa que lhe tinha sido atribuída.
Os responsáveis da OpenAI concluíram que os agentes também ficaram sujeitos a uma espécie de pressão do grupo, sentindo-se incentivados a agir porque outros modelos estavam a seguir o mesmo caminho.
Testes começaram num ambiente fechado
O episódio teve origem a 7 de maio, quando a OpenAI começou a testar um protótipo que não se destinava a ser disponibilizado ao público.
Os exercícios de cibersegurança decorriam num ambiente controlado e tinham sido concebidos para não poderem ser resolvidos dentro das limitações impostas pela empresa.
Logo no primeiro dia, o protótipo percebeu que podia aceder indiretamente à Internet através de software externo. Descobriu ainda que conseguia escrever nomes de ficheiros numa aplicação que não pertencia ao ambiente de testes.
Durante várias semanas, os agentes começaram a trocar informações, a identificar falhas e a dividir trabalho entre si.
Segundo o El País, um dos funcionários da OpenAI explicou que, quando um modelo consegue abrir um acesso indevido, pode deixá-lo disponível para que outros agentes o utilizem.
Sistema foi apagado, mas reapareceu dois dias depois
A utilização desta via indireta acabou por ser detetada pela OpenAI.
A empresa eliminou o sistema de mensagens, corrigiu as vulnerabilidades e retomou os testes. No entanto, apenas dois dias depois, os agentes já tinham reconstruído o painel através de um método diferente.
Nesse novo espaço de comunicação, alguns modelos concluíram que as respostas às tarefas podiam estar disponíveis em plataformas externas, como o GitHub ou o Hugging Face.
A velocidade, a insistência e a forma distribuída como os agentes atuavam foram comparadas ao comportamento de um enxame.
Modelos acabaram por atacar o Hugging Face
Em julho, os modelos conseguiram organizar-se para comprometer o Hugging Face, uma das principais plataformas utilizadas para alojar e partilhar modelos e ferramentas de inteligência artificial.
O incidente demonstrou que os agentes eram capazes de combinar descobertas feitas por diferentes instâncias, contornar limitações e manter mecanismos de coordenação mesmo depois de a empresa ter intervindo.
Michael Dalton, membro da equipa técnica da OpenAI, classificou o episódio como um momento decisivo tanto para a empresa como para toda a indústria da inteligência artificial.
O responsável afirmou que ataques ofensivos completamente automatizados e coordenados por IA já são uma realidade.
OpenAI abrandou investigação para reforçar segurança
Dalton revelou que várias equipas da OpenAI estão concentradas em melhorar a capacidade de prevenção deste tipo de incidentes.
A empresa terá também reduzido o ritmo de parte da investigação enquanto procura reforçar os mecanismos de controlo.
O objetivo, segundo o responsável, é garantir que os avanços na inteligência dos modelos sejam mais úteis para a defesa informática do que para a realização de ataques.
Meta admite incidente semelhante
A Meta revelou também esta quarta-feira um episódio de segurança relacionado com o Muse Spark, o seu novo modelo de inteligência artificial destinado à escrita de código.
Durante uma avaliação, uma configuração incorreta da Irregular, empresa independente que realiza testes para o setor, permitiu que o modelo tivesse acesso à Internet.
A IA explorou depois uma vulnerabilidade num serviço de terceiros, num caso semelhante a outros já comunicados por empresas do setor.
Segundo o The Information, o modelo chegou a alterar o sistema interno da organização afetada, cuja identidade não foi divulgada.
Anthropic também registou acesso a sistemas externos
A Irregular afirmou que o incidente envolvendo a Meta corresponde ao mesmo tipo de falha no ambiente de avaliação revelado anteriormente pela Anthropic.
Nesse caso, modelos da empresa acederam à Internet aberta e entraram nos sistemas de três organizações diferentes.
A situação distingue-se do episódio da OpenAI porque, nos testes da Meta e da Anthropic, a ligação à Internet ficou disponível devido a uma configuração incorreta. Os modelos da OpenAI tiveram de procurar e explorar uma vulnerabilidade para conseguirem sair do ambiente fechado.
Em poucas semanas, OpenAI, Meta e Anthropic reconheceram que modelos das respetivas empresas conseguiram aceder a sistemas externos durante avaliações de segurança.
