O agente de pentest conhecido como, Yaga, desenvolvido pela empresa de cibersegurança ofensiva HackerSec, atingiu 98,8% de efetividade em cenários white box na nova versão mais recente do YagaBench. Nas demais modalidades, o agente registrou 96,2% em black box e 97% em gray box, completando o melhor resultado já obtido pela tecnologia desde o início das medições. Isso significa que nos ambientes testados a Yaga encontrou mais de 98% das vulnerabilidades existentes.
O objetivo central do benchmark é demonstrar a diferença entre usar um modelo de IA isolado e colocar esses mesmos modelos dentro do harness desenvolvido pela HackerSec especificamente para pentest. Onde por exemplo, utilizar modelos como Opus 5 sem o harness da Yaga o resultado seria de 61% de efetividade no modelo white box, 48,9% no gray box e 40% no black box. E com modelo como GPT 5.6 SOL os resultados seriam semelhantes a 60.9% white box e 39,5% no black box.
Com a Yaga, os quatro modelos trabalham de forma orquestrada durante uma única execução, cada um atuando na etapa em que apresenta melhor desempenho. A camada de orquestração preserva o contexto entre as fases do teste, encadeia achados que isoladamente não teriam impacto e mantém a exploração ativa até confirmar se a falha é realmente explorável.
Outro dado divulgado pela empresa é a redução dos falsos positivos para menos de 1%. Os casos remanescentes são identificados e descartados pelos pentesters durante a etapa de validação, antes de chegarem ao painel do cliente.
Segundo Andrew Martinez, CEO da HackerSec, o resultado é apenas o começo. “A meta até o final do ano é alcançar 99% de efetividade em todas as modalidades de pentest”.
A metodologia completa, os cenários avaliados e o comparativo de desempenho entre os modelos estão disponíveis em hackersec.ai/evals.
