Por Ricardo Cardoso, Senior manager de Audit and Assurance Financial Services, da Forvis Mazars em Portugal
Modelos, benchmarks e promessas de produtividade: esta tem sido a discussão em torno da Inteligência Artificial (IA) nas empresas, assente numa narrativa tecnológica sobre os sistemas mais poderosos e que ganhos de eficiência podem trazer. Os riscos, claro, são muitos, mas raramente estão nos algoritmos. Estão, sim, na governação.
A IA já começa a influenciar decisões sobre clientes, crédito, preços, fraude ou contratação. No entanto, as estruturas de responsabilidade, dados e incentivos que enquadram essas decisões ainda pertencem, muitas vezes, a uma outra era. O resultado é um desfasamento crescente entre o poder que as organizações delegam em sistemas algorítmicos e a maturidade da governação que os supervisiona.
Três pontos cegos surgem com frequência. O primeiro é o problema dos “donos”. Muitas empresas já têm princípios de “IA responsável”, comités ou políticas internas. Mas quando surge um problema concreto – um resultado enviesado, uma decisão automatizada contestada, um modelo que muda de comportamento – torna-se menos claro quem decide.
A responsabilidade dilui-se entre IT, negócio, risco, jurídico e compliance. Todos participam, mas ninguém manda verdadeiramente. Sem responsabilidade nominal por sistemas ou casos de uso críticos, a governação transforma-se, facilmente, num exercício formal. Sem dono, não há escala, nem decisões rápidas. A governação começa quando alguém pode ser identificado como responsável por um sistema e pelas decisões que dele resultam.
O segundo ponto cego é a obsessão com temas como o modelo, explicabilidade, LLMs e adversarial robustness, quando existe pouca disciplina face ao governance de dados (qualidade, proveniência, rotulagem, viés nas bases de treino), controlo sobre uso secundário (como as decisões são tomadas a partir dos outputs de IA) e function creep (modelos treinados para um caso de uso, reutilizados para outro sem reavaliação).
Grande parte do debate sobre IA concentra-se na sofisticação dos algoritmos, mas muitos incidentes nascem daquilo que os alimenta: dados incompletos, enviesados ou mal documentados. É necessário exigir um mínimo de data sheet por sistema crítico, com fontes de dados, critérios de qualidade, testes de viés, populações excluídas e restrições de uso; definir, ao nível do conselho/comité de risco, em que decisões é obrigatório manter human in the loop com poder real de override e como isso fica evidenciado em logs e relatórios; e pedir um plano faseado de data governance alinhado com o AI Act, com linhagem de dados, classificação, donos de dados e processos de correção com prazos definidos em caso de erros ou enviesamentos.
Existe ainda um problema frequentemente ignorado: o que acontece depois do modelo produzir um resultado. Sistemas desenvolvidos para um determinado fim acabam muitas vezes por influenciar decisões para as quais nunca foram avaliados. Sem rastreabilidade sobre dados e limites de utilização, torna-se difícil explicar decisões ou demonstrar conformidade. Estamos obcecados com o ‘modelo inteligente’ e distraídos com o óbvio: lixo que entra, decisões erradas que saem, mas agora à escala e à velocidade da máquina.
O terceiro ponto cego são os incentivos. Quase todas as organizações publicaram princípios de ética ou “IA responsável”. Mas a cultura organizacional segue métricas, não princípios. Se os indicadores de gestão premiam sobretudo velocidade de implementação e redução de custos, as equipas tenderão naturalmente a otimizar para esses objetivos. Riscos éticos ou preocupações regulatórias tornam-se facilmente obstáculos ao time-to-market. A maior parte das falhas de governação não nasce de más intenções, mas de incentivos mal desenhados.
A entrada em vigor do AI Act europeu aumenta a exigência. A IA deixa de ser apenas um tema tecnológico para se tornar um tema de governação corporativa. Sistemas classificados como de alto risco passam a exigir gestão contínua de risco, supervisão humana, qualidade de dados e documentação clara sobre como funcionam e como são utilizados.
Para além do hype, o desafio real é este: a IA já está a tomar decisões em nome das empresas, muitas vezes em áreas de alto risco. A questão para os administradores não é se é boa ou má, mas se a governação – donos, dados e incentivos – está ao nível do poder que já deram às máquinas e do nível que o AI Act vai exigir provar.
