“Ninguém está preparado” para as consequências de uma subida rápida e continuada da inteligência das máquinas. O aviso não parte de um crítico da inteligência artificial, mas do cientista-chefe da OpenAI, Jakub Pachocki, que defende “extrema cautela” perante uma tecnologia que acredita poder começar a participar cada vez mais no seu próprio desenvolvimento.
“Estamos perante uma transição para um mundo com máquinas incrivelmente inteligentes e precisamos de garantir que essa transição corre bem para a humanidade”, escreveu Pachocki num longo ensaio intitulado “An Alien Mind”, publicado pela OpenAI e citado pela ‘BBC’.
O alerta surge poucos dias depois do lançamento do GPT-6 Astra, apresentado pela OpenAI como o seu modelo mais avançado. A própria empresa reconhece que o novo sistema é significativamente mais capaz do que gerações anteriores, embora Pachocki sustente que também apresenta avanços ao nível do alinhamento e da segurança.
O cientista acredita, porém, que o ritmo atual pode conduzir nos próximos anos a novos saltos de capacidade de dimensão igual ou superior aos já observados — e que os próprios sistemas de IA poderão desempenhar um papel crescente no desenvolvimento das gerações seguintes.
“Este é um momento que exige extrema cautela”, escreve.
“Uma inteligência que não compreendemos totalmente”
Uma das preocupações de Pachocki está na própria natureza dos sistemas que estão a ser criados.
Segundo o cientista-chefe da OpenAI, a inteligência produzida através da aprendizagem profunda não é diretamente comparável à inteligência humana. E uma máquina não precisa de ultrapassar os humanos em todas as tarefas para se tornar extremamente útil — ou perigosa.
Quanto mais capacidades humanas superar, sustenta, mais difícil será compreender exatamente aquilo de que é capaz.
Pachocki descreve a IA como algo que é, em certa medida, mais “cultivado” do que desenhado: sistemas extraordinariamente complexos resultantes de processos de treino em enorme escala e cujo funcionamento global não é inteiramente compreendido pelos próprios investigadores.
É precisamente aqui que surge o problema do chamado “alinhamento”: garantir que os objetivos e comportamentos de sistemas cada vez mais poderosos permanecem compatíveis com as intenções e os valores humanos.
IA já consegue atacar sistemas informáticos
A cibersegurança é apresentada como um dos exemplos mais imediatos do risco.
Pachocki afirma que os modelos estão a tornar-se extremamente capazes de entrar e sair de sistemas informáticos, aumentando significativamente o potencial de utilização maliciosa da tecnologia.
O problema pode agravar-se à medida que os agentes de IA ganham maior autonomia.
“Podemos estar habituados a pensar na IA como ferramentas, mas alguns agentes estarão a perseguir os seus próprios objetivos”, alerta Pachocki, admitindo que sistemas suficientemente avançados poderão procurar colaborar com pessoas através de negociação, manipulação ou chantagem.
A OpenAI já reconheceu incidentes recentes que mostraram os riscos associados a agentes capazes de executar autonomamente sequências de ações em ambientes digitais.
Criar uma IA para investigar a própria IA
Apesar dos riscos, a resposta defendida por Pachocki não passa simplesmente por interromper o desenvolvimento.
Uma das prioridades da OpenAI será construir um “investigador de IA automatizado”: um sistema capaz de participar na própria investigação sobre inteligência artificial e, simultaneamente, procurar soluções para os problemas de alinhamento e segurança.
O objetivo, sustenta, terá de ser garantir que os investigadores humanos permanecem envolvidos no processo à medida que as máquinas assumem um papel crescente na melhoria da própria tecnologia.
Esta estratégia está, porém, longe de ser consensual.
Gina Neff, professora da Universidade de Cambridge e diretora executiva do Minderoo Centre for Technology and Democracy, criticou a abordagem, segundo a ‘BBC’, considerando insuficiente responder às preocupações sobre cibersegurança, emprego, erros e fraude através do desenvolvimento de mais agentes internos de IA.
Nathan Calvin, responsável jurídico da organização Encode AI, concordou com a dimensão dos riscos identificados por Pachocki, mas pediu maior transparência à OpenAI sobre aquilo que está a observar internamente.
Sem essa informação, argumentou, os avisos da própria indústria correm o risco de serem interpretados como promoção interessada da importância da tecnologia.
Empresas podem ter de abrandar
Pachocki vai, contudo, mais longe do que defender soluções técnicas dentro da OpenAI.
O cientista-chefe considera necessários limites mínimos de segurança que sejam legalmente impostos ou acordados internacionalmente e fiscalizados por auditores independentes, governos ou organismos internacionais.
Os laboratórios teriam de demonstrar o cumprimento desses requisitos antes de poderem aumentar a escala ou disponibilizar modelos mais avançados.
E admite mesmo algo particularmente significativo numa indústria envolvida numa corrida tecnológica global: abrandar voluntariamente.
“Espero que os abrandamentos voluntários se tornem comuns até serem estabelecidos limites de segurança partilhados”, escreve.
A OpenAI já tinha anunciado em agosto que abrandara o treino de alguns dos seus sistemas mais avançados para reforçar a segurança, segundo a ‘BBC’.
“Garantir que os humanos continuam no controlo do futuro”
É no final do ensaio que Pachocki deixa o aviso mais contundente.
O cientista-chefe da OpenAI considera que nenhum laboratório conseguiu ainda resolver os problemas de alinhamento e monitorização a um nível que permita continuar, de forma responsável, a aumentar durante muito mais tempo as capacidades da IA à velocidade máxima.
Por isso, defende que a coordenação internacional sobre o futuro desenvolvimento da tecnologia deve tornar-se uma prioridade dos governos.
A inteligência artificial poderá acelerar a ciência, desenvolver novos tratamentos médicos, aumentar a produtividade e criar prosperidade, reconhece. Mas o desafio dos próximos anos será impedir que a velocidade da transformação retire às pessoas a capacidade de decidir o que acontece a seguir.
O objetivo, conclui Pachocki, é garantir que os seres humanos “continuam no controlo do futuro” e não ficam para trás perante o avanço descontrolado de uma inteligência diferente da nossa.
