La IA de Sakana dice hackear el 87% de las vulnerabilidades del mundo, pero sus propios creadores del benchmark no lo creen

El 21 de julio, Sakana AI soltó Fugu-Cyber al mundo con un número que levantó cejas en toda la comunidad de seguridad: 86.9% en CyberGym, el benchmark de vulnerabilidades reales de UC Berkeley. Para contexto, el benchmark tiene 1,507 vulnerabilidades reales distribuidas en 188 proyectos de software, y la tarea es escribir exploits de prueba de concepto funcionales. Suena impresionante. Suena a que la IA ya hackea mejor que la mayoría de los pentesters humanos.

El problema: los propios creadores de CyberGym, cuando ellos mismos lo probaron con los mejores modelos disponibles en ICLR 2026, solo alcanzaron alrededor del 20%.

Ahí está el pedo.

Qué es Fugu-Cyber exactamente

Antes de entrarle al drama de los benchmarks, hay que entender qué lanzó Sakana. Fugu-Cyber no es un modelo de lenguaje nuevo. Es el tercer endpoint del sistema de orquestación Fugu que ya tenían, especializado en seguridad. Lo que hace es actuar como un multi-agente que se presenta como un modelo único: cuando le mandas una consulta, internamente coordina un pool de agentes especializados que juegan roles de Thinker, Worker y Verifier.

La idea es buena en papel. En vez de depender de un solo modelo frontier que a veces alucina o pierde el contexto en tareas largas de seguridad, tienes un sistema que valida y reverifica antes de proponer cualquier solución. MarkTechPost reportó que el diseño está orientado explícitamente a análisis defensivo: de entrada, el sistema requiere revisión manual para obtener acceso y tiene una política de uso aceptable que prohíbe el uso ofensivo.

El segundo benchmark que reporta es 72.1% en CTI-REALM, el de Microsoft para convertir inteligencia de amenazas en reglas de detección. Para comparar: las mejores configuraciones independientes de Microsoft en ese mismo benchmark (todas con Claude, por cierto) rondaban entre 0.624 y 0.685. Fugu-Cyber afirma estar por encima de eso.

El problema de los números

Aquí es donde se pone interesante. CyberGym fue presentado en ICLR 2026 como un benchmark de dificultad alta. Los autores del paper reportaron que las mejores combinaciones de modelos del momento solo llegaron al ~20%, lo cual era el punto: el benchmark está diseñado para medir capacidades reales contra vulnerabilidades complejas en código de producción, no CTFs simplificados.

Y ahí está Sakana reportando 86.9% en el mismo benchmark. Eso no es una mejora incremental. Es una brecha de más de 60 puntos porcentuales entre lo que los creadores del benchmark vieron con los mejores modelos del mercado, y lo que el vendor afirma haber logrado.

Los investigadores de EvoAI Labs en Medium documentaron esta discrepancia y la llamaron “la mayor brecha vendor/independiente en benchmarks recientes de IA”. No es un caso aislado: OpenAI también reportó 85.6% en CyberGym con GPT-5.5-Cyber, un número igualmente cuestionado porque tampoco tiene replicación independiente.

La neta es que ambos números son self-reported. Ninguno ha sido verificado por evaluadores externos. Y la metodología específica que usó Sakana, el pool exacto de agentes, las configuraciones, los parámetros, no está públicamente disponible. No puedes reproducir el resultado aunque quisieras.

Vale la pena recordar que no es la primera vez que esto pasa: como cubrimos en la actriz de Resident Evil construyó la IA de memoria más potente del mundo: los devs dicen que los números no cuadran, los claims de benchmarks en IA sin verificación independiente se están convirtiendo en un patrón.

Por qué importa más allá del drama de los números

Más allá del cotilleo técnico, hay una razón real por la que esto es relevante para equipos de seguridad en México.

Si un CISO decide adoptar una herramienta de este tipo basado en los números del vendor, y esa herramienta en la práctica real rinde 20% en vez de 87%, hay implicaciones serias. No es solo dinero tirado. En ciberseguridad, una herramienta que falla silenciosamente es peor que no tener nada, porque te da una falsa sensación de cobertura.

Y justo en México, donde el presupuesto de seguridad en la mayoría de las pymes es ajustado, la promesa de “IA que detecta y parchea el 87% de tus vulnerabilidades” es exactamente el tipo de pitch que suena demasiado bueno para ignorarlo. Y posiblemente lo sea.

El panorama de seguridad ya está acelerado por IA de todos lados. Cubrimos cómo así usaron a Claude de Anthropic para hackear el SAT, el INE y 7 agencias más: 150GB de datos mexicanos robados con IA y cómo Claude Mythos encontró zero-days en todos los sistemas operativos del mundo. Las IAs de ciberseguridad van a llegar a los equipos mexicanos. La pregunta es si los números que venden corresponden a la realidad.

Quién puede usarlo (y quién no)

Otro detalle que vale la pena mencionar: Fugu-Cyber no está disponible en la Unión Europea ni en el EEA. Acceso exclusivo mediante aplicación manual, tienes que mandar tu caso de uso defensivo y datos de contacto verificados para que el equipo de Sakana te revise.

El pricing, si te aprueban, es $6 USD por millón de tokens de entrada, un 20% de premium sobre Fugu-Ultra. No hay pesos mexicanos en las páginas de precio; pagarías en dólares vía suscripción Token Plan en sakana.ai. Pesos exactos dependerán del tipo de cambio del día, pero estamos hablando de una herramienta enterprise, no algo que cualquier sysadmin independiente pueda agarrar y probar este fin de semana.

La restricción de acceso manual es ambigua: puede interpretarse como un control de seguridad legítimo para evitar usos ofensivos, o puede interpretarse como una barrera conveniente que hace muy difícil que alguien externo evalúe independientemente si los benchmarks se sostienen en condiciones reales.

El ángulo honesto

Está re piola la idea de un sistema multi-agente especializado en seguridad donde los agentes se verifican entre sí antes de proponer fixes. Eso tiene sentido como arquitectura. El problema no es el diseño, es la falta de transparencia en cómo se midieron los resultados.

La industria de IA lleva tiempo en una carrera de benchmarks donde los números se vuelven marketing antes que ciencia. Si Fugu-Cyber realmente funciona bien, Sakana debería poder compartir la metodología completa y dejar que labs independientes lo evalúen. Si no puede hacerlo, los 86.9% valen lo mismo que cualquier número sin respaldo: nada concreto.

Para equipos de seguridad en México: la tecnología detrás de este tipo de sistemas es real y vale la pena seguir de cerca. Pero antes de pagar la suscripción o armar un pitch interno para adoptar cualquier herramienta de IA para seguridad, exige benchmarks en tu propio entorno, con tus propias vulnerabilidades reales. Los números del vendor son su problema. Los tuyos son tuyo.

¿Tú ya usas alguna herramienta de IA para análisis de vulnerabilidades en tu chamba? ¿Qué tan alineados están los resultados que ves con los que te prometieron al venderla?

Fuentes

• Sakana AI: Introducing Fugu-Cyber (blog oficial)
• MarkTechPost: Sakana AI Releases Fugu-Cyber, Reporting 86.9% on CyberGym
• EvoAI Labs en Medium: The AI Cybersecurity Mirage: Why Sakana AI’s Fugu Cyber Demands a Reality Check
• TechTimes: Sakana AI Fugu-Cyber Claims 86.9% Vulnerability Score; Benchmark Methodology Not Disclosed
• ICLR 2026: CyberGym Oral Presentation