Segurança da IA: testar antes de dar autonomia

Para uma pequena empresa, adotar inteligência artificial com confiança começa por limitar permissões e preparar uma resposta quando algo falha.

Segurança da IA começa numa pergunta pouco espetacular: quem pode carregar no botão que envia a proposta ao cliente? Imagine uma pequena empresa que usa inteligência artificial para preparar orçamentos. Enquanto o sistema sugere um texto, alguém pode corrigi-lo. Quando passa a escolher preços, consultar dados e enviar documentos sozinho, a decisão já é sobre autoridade dentro do negócio.

É aí que vale a pena concentrar a atenção. Para um empreendedor, discutir se a inteligência artificial será totalmente segura resolve menos do que decidir quais os erros que a empresa consegue detetar, travar e corrigir. A confiança deve crescer à medida que aparecem provas de funcionamento, com responsabilidades claras desde o primeiro teste.

A autonomia deve ter um orçamento de risco

Um orçamento financeiro estabelece quanto se pode gastar. Proponho aplicar uma disciplina semelhante à automação: definir antecipadamente que ações o sistema pode executar e que consequências exigem aprovação. Preparar uma resposta comercial, alterar um desconto e autorizar um pagamento não devem receber a mesma liberdade.

Numa agência em Lisboa ou numa empresa de serviços no Porto, o exercício pode começar com uma folha simples. Que informação entra? Que ferramentas ficam acessíveis? Que alterações podem sair para o mundo? Estes são exemplos de aplicação, não casos relatados: ajudam a transformar uma discussão abstrata numa decisão operacional.

O critério deve ser a consequência do erro. Um rascunho inadequado pode ser revisto antes do envio; uma alteração já executada pode exigir trabalho de recuperação. Quanto mais difícil for desfazer uma ação, mais forte deve ser a justificação para a automatizar sem confirmação.

Esta é também uma questão de gestão e responsabilidade na utilização da IA. A escolha das permissões merece a atenção de quem dirige a empresa, porque determina o que a ferramenta pode fazer em seu nome.

Procurar a falha antes de celebrar a demonstração

A descrição do encontro AI Safety Fact vs. Fiction, do Y Combinator, anuncia uma abordagem centrada na investigação e na engenharia. Entre os temas previstos estão a verificação de programas e os testes de esforço aplicados a modelos de linguagem. A apresentação identifica os professores de Stanford Clark Barrett e Mykel Kochenderfer como participantes.

A distinção entre uma demonstração convincente e uma avaliação exigente é especialmente útil para quem compra tecnologia. Numa demonstração, escolhemos uma tarefa que esperamos ver funcionar. Num teste de segurança, procuramos deliberadamente as condições em que o resultado deixa de ser aceitável.

Antes de permitir o envio automático de propostas, por exemplo, experimente pedidos com informações contraditórias, campos em falta e descontos superiores ao limite definido. Introduza também documentos com instruções que o sistema não deveria seguir. O objetivo é observar se pede esclarecimentos, recusa avançar ou executa uma ação indevida.

Registe o resultado esperado antes de executar cada teste. Assim, uma resposta bem escrita não disfarça uma decisão errada. Segurança da IA exige critérios de aceitação que a equipa consiga explicar: sem preço aprovado, a proposta não sai; sem destinatário confirmado, o documento não é enviado.

Uma prova técnica tem fronteiras

O programa anunciado reserva um segmento à verificação de código em Lean, a partir de 20:35, e outro à monitorização durante a execução, a partir de 40:30. São temas distintos na estrutura publicada pelo Y Combinator, e essa separação oferece uma boa pergunta para fornecedores: o que está efetivamente a ser verificado?

Perante uma promessa de segurança, peça precisão. A garantia cobre que componente, sob que condições e contra que tipo de falha? Inclui os serviços externos que a aplicação utiliza? Continua válida quando alguém altera uma configuração? Uma resposta delimitada é mais útil para decidir do que uma garantia absoluta sem explicação.

Da mesma forma, convém separar a qualidade da resposta das permissões de acesso. Para organizar essa análise, podem tratar-se como perguntas diferentes: o sistema respondeu corretamente e estava autorizado a consultar aquela informação? A ligação entre exposição de dados e controlo de acessos merece atenção própria na avaliação.

O que levar para a próxima decisão de compra

Comece por um processo limitado, com um responsável identificado e uma forma prática de interromper a execução. Prepare os testes antes de discutir a expansão. Depois, compare os resultados com os critérios acordados e decida que permissões podem ser acrescentadas.

A equipa precisa igualmente de saber reconhecer uma exceção e encaminhá-la. A formação contínua nas empresas ganha aqui uma tarefa concreta: ensinar quem revê resultados, quem autoriza alterações e quem atua quando o comportamento observado foge ao previsto.

A autonomia deve ser conquistada por etapas, com testes e responsáveis identificados. Esta é uma escolha de gestão ao alcance de uma pequena empresa: aproveitar a tecnologia, reservar a atenção humana para as decisões mais sensíveis e exigir evidência antes de alargar poderes. O próximo passo pode ser tão simples como escolher um processo e escrever as condições em que ele deve parar.

Vídeo de referência: AI Safety Fact vs. Fiction | YC Paper Club, do Y Combinator. A descrição fornecida anuncia temas de investigação em segurança da inteligência artificial; não foi disponibilizada uma transcrição para confirmar as intervenções.

A autonomia deve ser conquistada por etapas, com testes e responsáveis identificados.

▶

Veja o episódio original no YouTube: Y Combinator.

Fontes

• Y Combinator — AI Safety Fact vs. Fiction | YC Paper Club — Texto elaborado a partir da descrição e do programa fornecidos, sem acesso à transcrição. Os horários de 20:35 e 40:30 correspondem aos segmentos anunciados sobre verificação de código em Lean e monitorização durante a execução. As recomendações empresariais são propostas editoriais, não declarações atribuídas aos participantes.