Moonshot AI ocultó el 51% de alucinaciones de Kimi K3 en sus benchmarks: lo que los devs deben saber antes de integrarlo

Un modelo que mejora y empeora al mismo tiempo

Kimi K3 llegó en julio con mucho ruido. Moonshot AI presentó un modelo de 2.8 billones de parámetros, el primero de China en encabezar un benchmark importante de coding, respaldado por más de 40 métricas publicadas en su GitHub README. Razonamiento, agentes, visión, código: lo que quieras, ahí está.

Lo que no encuentras en ese README: cuánto alucina el modelo.

Artificial Analysis, plataforma independiente de benchmarking, publicó el 17 de julio de 2026 que Kimi K3 tiene una tasa de alucinación del 51% en el benchmark AA-Omniscience, subiendo desde el 39% de su antecesor K2.6. Al mismo tiempo, la precisión mejoró: pasó de 33% a 46%. El modelo sube de nivel en accuracy y baja de confiabilidad factual al mismo tiempo.

Eso es, o una inconsistencia gigante, o una elección editorial muy deliberada de parte de Moonshot. Y cualquiera de las dos opciones debería importarte si estás considerando meter K3 en producción.

Qué mide el AA-Omniscience y por qué no está en el README

El benchmark AA-Omniscience corre 6,000 preguntas en 42 temas. La tasa de alucinación se define como respuestas incorrectas divididas entre el total de respuestas no-correctas (incorrectas + parciales + abstenciones). No es el porcentaje de todas las respuestas del modelo: es de las veces que el modelo se equivoca, qué tan seguido lo hace inventando algo en lugar de admitir que no sabe.

Un 51% en esa métrica significa: cuando Kimi K3 no sabe algo, elige fabricar una respuesta más de la mitad de las veces, en lugar de decir “no sé”.

¿Y los demás modelos? Para contexto: Claude Fable 5 tiene 54.9% en la misma métrica, así que K3 no está solo en el problema. La diferencia importante no es el número absoluto, sino la trayectoria: K3 empeoró versus su versión anterior mientras simultáneamente presentaba mejores números de precisión en todas partes.

Como lo documenta Kili Technology en su análisis del caso: el score general del Intelligence Index mejoró porque la fórmula premia los aumentos de precisión más de lo que penaliza los aumentos de alucinación. Es decir, la métrica que K3 escaló la publicaron; la que bajó, no.

El GitHub README de K3 lleva más de 40 benchmarks nombrados. Ninguno mide alucinación ni confiabilidad factual. El número del 51% lo tuvo que sacar un tercero.

Los 40+ benchmarks que sí publicaron

Para ser justos, la cobertura de Moonshot es impresionante en lo que sí midieron:

Benchmark	Score Moonshot	Score independiente
Terminal-Bench	88.3%	80.9% (Vals AI)
SWE Marathon	42.0	no publicado
BrowseComp	91.2	no publicado
AA-Omniscience (alucinación)	no publicado	51% (Artificial Analysis)

La diferencia de 7.4 puntos en Terminal-Bench entre el harness propio de Moonshot y la evaluación independiente de Vals AI no es trivia. Kili Technology documenta que Claude Opus 4.8 sacó 69.2% en un harness personalizado vs 51.9% en benchmarks estandarizados: 17.3 puntos de diferencia en el mismo modelo, misma versión, solo por cambiar el ambiente de evaluación.

Nada de esto es necesariamente fraude. Pero sí es una práctica de marketing disfrazada de ciencia, y ya es tiempo de llamarlo así.

Esto no es nuevo: ya lo vimos cuando la actriz de Resident Evil construyó la IA de memoria más potente del mundo y los devs dijeron que los números no cuadraban. El benchmarking en IA está roto desde hace tiempo, y K3 es solo el ejemplo más reciente y más limpio de cómo funciona la omisión selectiva.

Por qué le aplaudieron de todas formas

Kimi K3 llegó y borró $3.3 billones del valor de acciones de chips en un solo día, lo que da idea del pánico que genera en los mercados cada vez que China lanza algo competitivo. Moonshot cerró una ronda de $3.5 billones y está en camino a un IPO en Hong Kong.

Con ese contexto, los benchmarks no son solo benchmarks: son material de pitch para inversionistas. Publicar tu tasa de alucinación antes de cerrar una ronda de ese tamaño no es exactamente el movimiento más inteligente, ¿o sí?

Sobre las capacidades reales: el modelo sí es bueno. 2.8 billones de parámetros totales con arquitectura Mixture of Experts (104 billones activos), ventana de contexto de 1 millón de tokens, pesos abiertos disponibles desde el 27 de julio. Para coding y tareas agentic donde puedes verificar el output, K3 es genuinamente competitivo. El problema está específicamente en queries de conocimiento factual sin validación humana: ahí el 51% importa mucho.

Y no es como si esto fuera un patrón exclusivo de China. Grok 5 llegó con meses de retraso y las empresas que apostaron por él en Q1 y Q2 quedaron en pausa: los grandes labs, de donde sea, priorizan el lanzamiento sobre la transparencia.

Lo que los devs deben calcular

Si vas a integrar Kimi K3 vía API, la evaluación cambia según tu caso de uso:

Donde K3 vale la pena:

• Código y agentes (el output es ejecutable y verificable)
• Contextos largos con documentos repetidos (1M tokens + cache brutal)
• Pipelines donde tú validas el resultado antes de enviarlo al usuario final

Donde el 51% duele:

• RAG sobre datos factuales sin validación automática
• Pipelines de investigación o contenido donde el usuario confía directamente en el output
• Cualquier flujo de trabajo donde “suena bien” es suficiente para que pase a producción

Precios de API actuales:

• Input: $3.00 por millón de tokens
• Output: $15.00 por millón de tokens
• Cache de input: $0.30 por millón (90% de descuento, esto es la joya real del modelo)
• Velocidad: 39.5 tokens por segundo (posición 52 de 106 modelos, relativamente lento)

El precio empata con Claude Sonnet 5 en el tier flagship, así que no hay una ventaja de costo obvia ahí. La ventaja del cache sí es real si trabajas con documentos repetidos o contextos muy largos.

La pregunta que todos los labs deberían responder

El problema de fondo no es Moonshot específicamente: es que la industria entera decidió que publicar benchmarks favorables es marketing, y publicar métricas de confiabilidad es opcional.

GPT-5.6 Sol no publica su tasa de alucinación de forma estandarizada. Moonshot no lo hace. La mayoría de labs tampoco. Artificial Analysis tuvo que medirlo independientemente porque nadie más lo hizo, y el dato terminó siendo el que más importa para cualquier dev que use el modelo en producción.

La conclusión es sencilla: antes de integrar cualquier modelo nuevo, corre tus propios evals sobre el tipo de query que vas a hacer en producción. No los del lab, los tuyos. Moonshot publicó 40+ benchmarks y ninguno era el que necesitabas saber. Eso no es un error: es una elección.

Si solo lees lo que el lab quiere que leas, no estás evaluando el modelo. Estás leyendo un deck de ventas.

¿Has integrado Kimi K2 o K3 en algún proyecto? ¿Ya notaste el problema de alucinaciones en la práctica? Deja tu experiencia en los comentarios.

Fuentes

• Kili Technology: Kimi K3’s Benchmarks and Hallucinations
• Artificial Analysis: Kimi K3 (max) Analysis
• TechTimes: Kimi K3 Open Weights Drop July 27, Undisclosed Hallucination Risk
• TechTimes: Moonshot AI Closes $3.5B Round, China Data Risk
• Digital Applied: Kimi K3 Benchmarks: The Hallucination Number Nobody Charted
• TechTimes: Kimi K3 Wipes $3.3T From Chip Stocks