Microsoft abre o código de duas ferramentas para transformar testes e decisões de projeto em artefatos reutilizáveis na segurança de agentes de IA.
Hoje, a Microsoft abriu o código de duas ferramentas destinadas a engenheiros: RAMPART, um framework de testes para agentes que torna cenários adversariais repetíveis em pipelines de integração contínua (CI), e Clarity, uma caixa de ressonância estruturada que ajuda equipes a validar suposições de projeto antes de escrever código. As ferramentas estão disponíveis como projetos de código aberto e visam mudar a segurança em IA de um controle pontual para uma disciplina de engenharia contínua.
Por que a Microsoft investiu nessas ferramentas
1. Ajudar equipes a questionar o “por quê” antes do “como”. Em projetos de IA que executam ações no mundo — como acessar e-mails, recuperar CRM ou invocar ferramentas — decisões de design não questionadas podem gerar falhas de segurança caras. As ferramentas permitem testar suposições cedo, quando mudar a direção é mais barato.
2. Ampliar as lições de red teaming para toda a indústria. Técnicas que expõem vulnerabilidades em um agente frequentemente se aplicam a outros; o objetivo é transformar descobertas de exercícios de red team em ativos de engenharia executáveis.
3. Tornar incidentes reproducíveis e mitigações verificáveis. Equipes precisam replicar incidentes e checar se correções resistem a variantes. As ferramentas foram pensadas para esse fluxo de trabalho, transformando a resposta a incidentes em um processo repetível.
RAMPART: testes de segurança contínuos para agentes de IA
O RAMPART é um framework de testes de código aberto que integra técnicas de red teaming diretamente ao fluxo de desenvolvimento. Construído sobre PyRIT, o framework de automação aberta da Microsoft, o RAMPART permite que equipes escrevam testes em pytest que descrevem cenários derivados do modelo de ameaças, conectam-se ao agente via adaptadores e avaliam resultados observáveis.
As provas apresentam sinal claro de aprovado ou reprovado e podem ser travadas em CI. Quando uma nova ferramenta ou fonte de dados é adicionada ao agente, a prova correspondente pode ser incluída na mesma pull request.
O RAMPART se diferencia por três características principais:
– Projetado para ataques de injeção cruzada: foca em cenários onde conteúdo envenenado vindo de documentos, e-mails ou tickets pode manipular o comportamento do agente. Novas categorias de ameaça podem ser adicionadas de forma incremental.
– Projetado para comportamento probabilístico: suporta ensaios estatísticos, permitindo políticas como “esta ação deve ser segura em pelo menos 80% das execuções”, o que reflete melhor a natureza dos LLMs em produção.
– Projetado para reproduzir achados de red teams e incidentes de IA: resultados de exercícios podem ser codificados como testes RAMPART, garantindo cobertura permanente que roda a cada mudança.
A avaliação no RAMPART também examina que ferramentas o agente invoca e quais efeitos colaterais ocorrem, com avaliadores componíveis que permitem expressar condições de segurança mais complexas que um simples sinal binário.
Clarity: verificar suposições de engenharia antes de construir
O Clarity foi desenvolvido para ajudar equipes a decidir se estão executando a solução correta desde o início. A ferramenta guia arquitetos, gestores de produto e engenheiros por conversas estruturadas sobre problema, alternativas, análise de falhas e decisões. Funciona como aplicativo de desktop, interface web ou integrada em um agente de codificação.
Os resultados da conversa são gravados em um diretório .clarity-protocol/ dentro do repositório como arquivos markdown legíveis, que podem ser confirmados e revisados em pull requests como qualquer outro artefato de código. Esses arquivos documentam a declaração do problema, a justificação da solução, o plano de mitigação de falhas e as decisões chave.
No momento do levantamento de falhas, múltiplos avaliadores de IA examinam o sistema de ângulos distintos — segurança, fatores humanos, cenários adversariais e operacionais — e a equipe agrupa falhas relacionadas, rastreia cadeias causais e planeja ações.
O Clarity também rastreia obsolescência nos documentos, pois forma um grafo de dependências: quando uma declaração de problema muda, a ferramenta sinaliza que solução e análise de falhas podem precisar ser revistas.
RAMPART e Clarity disponíveis agora
Tanto RAMPART quanto Clarity estão disponíveis hoje como projetos de código aberto da Microsoft. A empresa convida a comunidade a colaborar e a adaptar as ferramentas ao ambiente empresarial; para comentários e parcerias, pede que entrem em contato por meio do e-mail indicado no anúncio: [email protected].
Contribuições
O Microsoft RAMPART é liderado por Bashir Partovi com contribuições de Elliot H Omiya, Richard Lundeen, Nina Chikanov, Spencer Schoenberg e Toby Kohlenberg. Clarity é um projeto conjunto de Yonatan Zunger, Dharmin Shah, Elliot H Omiya, Eve Kazarian, Sarah Cooley e Neil Coles. A Microsoft agradece também os comentários de Minsoo Thigpen, Abby Palia, Mehrnoosh Sameki, Hilary Solan, Elliot Volkman, Pete Bryan, Roman Lutz e Shiven Chawla.
Assuntos nesse artigo:
#microsoft, #rampart, #clarity, #segurancaemia, #ia, #inteligenciaartificial, #opensource, #codigofonteaberto, #pyrit, #redteam, #testesdeseguranca, #agentes, #agentesdeia, #injecaocruzada, #ci, #automacao, #incidentesdeia, #reprodutibilidade, #documentacao, #pullrequest