A inteligência artificial está cada vez mais integrada em produtos e serviços, exigindo atenção à segurança, fiabilidade e ética desde o design até à operação.
Nos últimos anos, a Inteligência Artificial (IA) deixou de ser um tema exclusivo do mundo académico ou de empresas altamente especializadas e passou a integrar produtos e serviços do dia a dia, como assistentes virtuais, tradutores ou sistemas de recomendação.
Em entrevista à Executive Digest, Pedro Tarrinho, director of Application Security da Celfocus, explica de que forma a segurança, a fiabilidade e a ética devem estar presentes em todas as fases do desenvolvimento de soluções de IA, desde o design até à monitorização contínua, e os desafios que as empresas enfrentam para garantir que estas tecnologias são seguras, transparentes e responsáveis.
Quando e como é que conceitos como ML e NLP começaram a ganhar relevância no desenvolvimento de soluções de IA?
Embora actualmente se fale muito em IA, a verdade é que conceitos como ML e NLP já são estudados há várias décadas. Acontece que até há poucos anos estavam mais confinados ao mundo académico ou a empresas muito especializadas. Na minha opinião, o ponto de viragem foi a capacidade de treinar modelos com grande volume de dados e a evolução do hardware/ computadores. Isto permitiu que estes conceitos começassem a ser usados em produtos reais, como assistentes virtuais, tradutores, sistemas de análise de imagens, etc, e, mais recentemente, com os modelos generativos, que trouxeram tudo isto para o dia a dia das empresas e das pessoas.
Ao falar de usar IA em soluções empresariais, o que é que isso implica na prática em termos de segurança e fiabilidade?
Aqui é importante separar duas realidades diferentes. Por um lado, temos os programadores que usam IA como ferramenta de apoio, para escrever código, gerar testes, rever documentação, etc, e isso, apesar de parecer inofensivo, também traz riscos. O código gerado nem sempre é seguro, pode ter erros escondidos (propositados) ou usar formas de fazer as coisas que já não são recomendadas. É preciso validar tudo, não confiar cegamente. No desenvolvimento assistido por IA, a regra é clara: o responsável pelo código é o humano e não o Large Language Model.
Depois há o outro lado: quando a IA faz parte da solução final, como um chatbot, num sistema de recomendação ou num agente inteligente. Aqui o desafio aumenta porque deixamos de ter apenas uma ferramenta de apoio e passamos a ter uma “entidade” que interage com utilizadores, aprende com dados e toma decisões com impacto real. Isso implica garantir que esse sistema IA é fiável, que não revela informação sensível, que não pode ser manipulado com inputs maliciosos e que se comporta de forma previsível. A segurança tem de ser pensada do início até ao fim.
O que significa exactamente desenvolver IA de forma segura? É diferente do desenvolvimento seguro de software tradicional?
É diferente, sim. Com o software tradicional, lidamos com lógica e regras que conhecemos desde o início. Com a IA, existe um grau de imprevisibilidade: os modelos aprendem, ajustam-se, podem tomar decisões influenciadas por regras que nem sempre percebemos e reagir de forma inesperada. Desenvolver IA de forma segura significa controlar melhor os dados de input e perceber bem como o modelo aprende, de forma a garantir que há limites bem definidos para o que ele pode ou não fazer. É pensar na segurança como algo contínuo e não apenas como uma fase final, o famoso Shitf Left, mas de IA.
Como é que a vossa abordagem garante que a segurança está presente desde o design das soluções de IA?
Este é um tema no qual temos vindo a trabalhar há bastante tempo. Investigamos e testamos formas de integrar segurança logo desde o início, e isso levou-nos a criar um processo interno muito claro e adaptado à realidade de IA. Esse processo cobre todas as fases do ciclo de vida, desde o planeamento até à monitorização. Para nós, a “segurança desde o design” não é só uma ideia bonita, é algo que fazemos na prática, com base num processo bem definido.
Que práticas aplicam ao longo do ciclo de vida da IA para prevenir riscos éticos e evitar enviesamentos nos modelos?
Temos vindo a construir um processo que acompanha todas as fases do desenvolvimento, desde o planeamento até à operação. Logo no início do projecto de desenvolvimento, analisamos os dados com que vamos trabalhar para garantir que não introduzem tendências ou desequilíbrios que possam influenciar o comportamento do modelo. Mais à frente, quando o modelo está a ser treinado, fazemos testes para perceber se responde de forma consistente e adequada a diferentes situações e perfis de utilizador. Ao longo do processo, envolvemos pessoas de várias áreas (técnica, jurídico e de negócio) para trazer diferentes perspectivas e identificar potenciais impactos que podem não ser sempre óbvios.
De que forma validam e testam a segurança e a resiliência dos modelos antes da sua implementação?
Antes de passar a produção, qualquer modelo passa por uma fase de testes que tenta replicar tanto o uso normal como situações fora da “caixa”. Simulamos interacções maliciosas, testamos comportamentos com diferentes tipos de inputs e tentamos perceber até que ponto o modelo se consegue manter estável e seguro. Também avaliamos se há risco de “data leak” que devia estar protegida e se há falhas na forma como o modelo lida com pedidos mais sensíveis. Não existe um sistema 100% seguro, mas os testes que efectuamos têm como objectivo reduzir ao máximo o risco antes de chegarem às mãos dos utilizadores finais.
Como garantem que os dados utilizados são tratados de forma segura e em conformidade com o GDPR e outras normas europeias?
No início de cada projecto fazemos um mapeamento dos dados que vamos usar e avaliamos se estão a ser tratados de forma correcta e com base legal. Nesta fase, identificamos as medidas que serão aplicadas: anonimização, remoção, encriptação, entre outras. As regras de retenção e a forma como os dados “circulam” fazem parte do nosso processo. Este trabalho inicial pode prolongar a fase de arranque, mas é um investimento que evita riscos futuros e, sobretudo, aumenta a confiança de quem vai utilizar a solução.
Que papel desempenha a monitorização contínua na manutenção da segurança e da confiança operacional dos sistemas de IA?
É uma das fases mais críticas na nossa abordagem. Depois de um sistema entrar em produção, não é possível assumir que o comportamento definido inicialmente vai continuar estável e sem sobressaltos. A realidade muda, os utilizadores mudam, os mecanismos de ataque mudam, por isso a monitorização contínua permite detectar problemas mais cedo, seja por uma quebra de desempenho, respostas erradas, ou até sinais de uso malicioso. No final do dia, é o que nos permite ter visibilidade se a IA continua a comportar-se como esperado.
De que forma a ética e a transparência nos modelos de IA contribuem para a confiança dos utilizadores e clientes?
As pessoas não confiam em sistemas que não compreendem. O carácter não determinístico da IA, o facto de não dar sempre a mesma resposta, acrescenta complexidade e pode gerar desconfiança. É aqui que a transparência faz a diferença: explicar o que está por detrás das respostas, deixar claros os limites dos sistemas e garantir que as decisões não são tomadas de forma cega. As soluções de IA têm de ser desenhadas desde o início com clareza, previsibilidade e princípios éticos. Só assim será possível construir confiança e credibilidade junto de utilizadores e clientes.
Quais são os principais desafios que as empresas enfrentam ao tentar cumprir o AI Act e outros requisitos regulatórios?
Um dos primeiros desafios é perceber o que realmente se aplica ao que se está a desenvolver. O AI Act é um regulamento europeu, o que significa que se aplica a todos os países da EU. No entanto, como aconteceu com o RGPD, e não sendo eu da área jurídica, acredito que cada país tenha de o ajustar à sua legislação.
Depois, há o desafio prático, que é gerir e documentar o ciclo de vida de um projecto IA, desde avaliar riscos, garantir a transparência (explicabilidade), gerir dados sensíveis, etc. Há que garantir uma abordagem transversal com as equipas certas, desde segurança, jurídica, compliance, produto, tecnologia, etc.
Por fim, a classificação por níveis de risco. Desde os mais elevados, como saúde, justiça ou infraestruturas críticas, que exigem regras muito mais rigorosas, até aos sistemas de IA de risco limitado, usados apenas para interpretar documentos ou apoiar processos. Esta diferenciação é um ponto essencial que deve ser analisado e considerado à luz do AI Act.
Que erros ou lacunas observam frequentemente quando soluções de IA são desenvolvidas sem segurança embutida desde o início?
As mais comuns são soluções que funcionam tecnicamente, mas que falham em aspectos críticos, porque os modelos não foram devidamente testados para perceber como reagem a inputs inesperados, não têm mecanismos para detectar se estão a revelar informação sensível ou a tomar decisões incoerentes. Também é frequente haver falta de controlo dos dados usados, desde a sua origem até ao impacto no comportamento do sistema final. Se tivemos a segurança em mente, conseguimos analisar as decisões tomadas e garantir explicações e, com isso, reforçar a confiança, reduzir riscos a longo prazo, aumentando, assim, a segurança.
Olhando para o futuro, que passos considera essenciais para que a IA continue a ser segura, confiável e responsável?
O mais importante é continuarmos a olhar para a AI com senso crítico e não deslumbramento e medo. A tecnologia vai evoluir, os modelos vão ficar mais capazes, mas o essencial não muda: temos de garantir que o que estamos a construir é seguro, transparente e resiliente. Isto implica manter processos claros, envolver pessoas com diferentes perfectivas e nunca tratar a segurança como um extra. Por fim, temos de manter a humildade.
No dia em que acreditarmos que já compreendemos a IA por completo, será provavelmente o início do fim. O momento em que baixamos a guarda, corremos o risco de perder o controlo.
Este artigo faz parte do Caderno Especial “Cibersegurança”, publicado na edição de Outubro (n.º 235) da Executive Digest.
