Noticias· 02 de octubre de 2026

OLMo-core de AllenAI: Infraestructura Abierta y MoE

El lanzamiento de OLMo-core 3 por Ai2 eleva el rendimiento de entrenamiento 2,7x con una infraestructura abierta, desafiando la dependencia de las APIs de caja negra.

Un archivo digital abierto expone sus módulos ante dos entornos contrapuestos.

El 1 de octubre de 2026, el Allen Institute for AI (Ai2) presentó OLMo-core 3, una reescritura integral de su framework de entrenamiento distribuido en PyTorch para modelos Mixture-of-Experts. Lejos de ser un parche, el rediseño de la capa de comunicación entre GPUs logra multiplicar por 2,7 el rendimiento del entrenamiento sobre hardware idéntico. Todo bajo licencia abierta, con código y pesos auditables. Esta arquitectura desafía la dependencia sistémica de los proveedores comerciales que ha marcado los últimos dos años. Las empresas españolas han normalizado la contratación con hiperescaladores sin considerar los riesgos de una dependencia técnica total. OLMo-core 3 no es solo una optimización: es la demostración tangible de que la infraestructura de código abierto puede superar a las soluciones privativas. Si el Cerebro Empresarial —la memoria operativa que integra RAG y grafos de conocimiento— se construye sobre APIs opacas, la estrategia corporativa queda al albur de decisiones externas. Analizamos los datos técnicos de Ai2 para que tu comité de dirección valore las alternativas reales frente al modelo alquilado.

Esquema conceptual de conexiones neuronales abiertas sobre una red de servidores que sustituye la opacidad de los proveedores tradicionales

El hecho: qué ha publicado AllenAI y cuándo

Ai2 anunció Olmo-core 3 el 1 de octubre de 2026 a través de su blog oficial en Hugging Face y de su propio research blog. El anuncio documenta un cambio arquitectónico de fondo: la sustitución de Fully Sharded Data Parallelism (FSDP) por Distributed Data Parallelism (DDP) como estrategia principal para entrenar modelos MoE a gran escala (Ai2, Hugging Face Blog).

El repositorio de código, con los scripts de entrenamiento para las familias OLMo-2 y OLMo-3, las dependencias de kernels MoE (grouped_gemm, Liger-Kernel, flash-attn) y la licencia Apache-2.0, está disponible públicamente en GitHub (AllenAI Olmo-core Repository). No hay letra pequeña de acceso restringido ni solicitud de credenciales empresariales: el stack completo es descargable y modificable.

Esto no es un anuncio aislado. Llega en un momento en que otros laboratorios europeos están librando su propia batalla por el equilibrio entre pesos abiertos y modelos cerrados, como ya analizamos al revisar la Serie D de Mistral AI y el dilema de la soberanía tecnológica en la UE. La diferencia con Olmo-core 3 es que Ai2 no solo libera pesos de un modelo: libera la infraestructura de entrenamiento al completo, el mecanismo mismo por el que esos pesos se producen. Es un nivel de transparencia distinto, y conviene no confundir ambos movimientos.

Lo que Ai2 no afirma —y aquí es donde hay que ser rigurosos— es que esta infraestructura sustituya a un preentrenamiento comercial maduro y completamente convergido. Las pruebas a escala de billón de parámetros que detallaremos más adelante son benchmarks de capacidad del sistema, no entrenamientos finales de modelos listos para producción. Separar esto es clave para no generar expectativas que el propio laboratorio no sostiene.

Qué cambia técnicamente: de FSDP a DDP con expertos residentes

La raíz del problema que resuelve Olmo-core 3 es puramente de ingeniería de comunicación entre GPUs, pero sus consecuencias son de negocio. En la implementación anterior, basada en FSDP, cada minibatch de entrenamiento obligaba a recolectar y refragmentar los pesos de los expertos repetidamente. Es como si, en una fábrica, cada vez que entra una pieza nueva tuvieras que desmontar y volver a montar toda la cadena de montaje para decidir qué operario la procesa.

Olmo-core 3 invierte la lógica. Con DDP, los expertos permanecen residentes en cada GPU de forma fija, y es el dato el que se enruta hacia ellos, no al revés. El stack incorpora paralelismo de expertos (Expert Parallelism), paralelismo de pipeline, un optimizador distribuido, enrutamiento residente en GPU (GPU-resident routing), rowwise expert parallelism, Grouped GEMM para agrupar operaciones matriciales de distintos expertos en una sola llamada de kernel, y soporte para precisión reducida MXFP8, que reduce el volumen de datos que viaja por la red de interconexión sin sacrificar estabilidad numérica de forma relevante.

El resultado, medido por Ai2 en pruebas preliminares con 8 GPUs NVIDIA B300 sobre un modelo MoE de 47.000 millones de parámetros, es contundente:

MétricaStack previo (FSDP)Olmo-core 3 (DDP)Diferencia
Throughput por GPU19.400 tokens/s52.000 tokens/s~2,7x
Estrategia de paralelismoRecolección repetida de pesos por minibatchExpertos residentes, datos enrutadosCambio de arquitectura
Escalado de 8 a 128 expertos (4,6B → 47B parámetros totales)No evaluado en el mismo marcoCaída de throughput inferior al 5%Capacidad x10 casi sin coste

Fuente de los datos: Ai2, Hugging Face Blog, 1 de octubre de 2026.

La fila que más debería hacerte pensar como directivo no es la primera, sino la tercera. Multiplicar por diez la capacidad representativa del modelo —pasar de un pool de 8 expertos a uno de 128, manteniendo siempre unos 3.200 millones de parámetros activos por token mediante selección top-4— apenas penaliza el rendimiento de entrenamiento. En términos de negocio, esto significa que puedes aspirar a un modelo con mucho más conocimiento especializado almacenado sin disparar proporcionalmente el coste de cómputo por token procesado. Es la promesa central de la arquitectura MoE, y Olmo-core 3 es la primera infraestructura abierta que la demuestra a esta escala con cifras verificables y reproducibles por terceros, porque el código está publicado.

Dicho esto, conviene no perder de vista la perspectiva técnica de fondo: este rediseño no es magia, es ingeniería de bajo nivel. Exige equipos capaces de trabajar con kernels CUDA y Triton, interconexión InfiniBand o RoCE de alta velocidad, y una disciplina de orquestación de clústeres que pocas empresas medianas tienen hoy internalizada. Volveremos sobre esto cuando hablemos de operación real en España, porque es el punto donde más expectativas infladas vemos en el mercado.

Los números a escala extrema: lo confirmado y lo que no

Ai2 no se quedó en la escala de 47.000 millones de parámetros. El mismo anuncio documenta pruebas en clústeres de 512 GPUs NVIDIA B300 con un modelo de 1,2 billones de parámetros totales (58.360 millones activos por token), donde el sistema alcanzó picos de hasta 858 TFLOP/s por GPU de cómputo útil. En un ejercicio adicional de capacidad, usando la tecnología de enrutamiento DeepEP v2, el stack llegó a sostener hasta 2,38 billones de parámetros distribuidos (Ai2, Hugging Face Blog).

Son cifras que impresionan en una diapositiva. Pero aquí es donde el rigor importa más que el titular: Ai2 documenta explícitamente que estas pruebas de escala de billón se ejecutaron con enrutamiento sintético o aleatorio y como ensayos breves de capacidad del sistema, no como entrenamientos de preentrenamiento convergente ni como modelos finales listos para desplegarse comercialmente. No hay, por tanto, un modelo de 1,2 billones de parámetros entrenado y disponible; hay la demostración de que la infraestructura aguanta esa carga sin colapsar. Es una diferencia que cualquier proveedor tecnológico tendría la tentación de difuminar, y que nosotros preferimos dejar clara.

El anuncio también incluye dos hallazgos técnicos contraintuitivos que merecen espacio propio porque desmontan asunciones habituales en el sector. El primero: solapar streams de comunicación y cómputo en paralelo, una técnica que en teoría debería acelerar la ejecución, en ciertas pruebas MoE de Ai2 la ralentizó por contención de hardware. El segundo, más sutil: las métricas tradicionales para medir el balanceo de carga entre expertos pueden generar "token gerrymandering", es decir, mostrar un balance numérico aparente mientras la carga real de cómputo por experto sigue desequilibrada. Ai2 desaconseja, en consecuencia, reducir la tasa de aprendizaje de los expertos en función de la frecuencia de tokens que reciben, porque esa práctica habitual puede penalizar a los expertos que menos tráfico ven sin corregir el problema de fondo.

Escala del modeloHardwareMétrica observadaNaturaleza de la pruebaNivel de confianza
47B (8 expertos activos top-4)8x NVIDIA B30052.000 tokens/s/GPUEntrenamiento real, benchmark reproducibleAlto — dato consolidado
1,2T total / 58,36B activos512x NVIDIA B300858 TFLOP/s/GPU picoPrueba de capacidad, enrutamiento sintéticoMedio — capacidad del sistema, no entrenamiento convergente
2,38T total (DeepEP v2)Clúster extendidoCapacidad de memoria/interconexión sostenidaEjecución breve de estrésBajo — no es un modelo funcional

Fuente de los tres registros: Ai2, Hugging Face Blog, 1 de octubre de 2026.

Para que el salto de rendimiento entre el stack previo y Olmo-core 3 se entienda de un vistazo, así queda representado el throughput por GPU en el benchmark de 47B parámetros:

ImplementaciónThroughput relativo
Stack previo (FSDP)███████░░░ 19.400 tok/s
Olmo-core 3 (DDP)██████████████████░░ 52.000 tok/s

Leyenda: cada bloque █ representa aproximadamente 2.900 tokens/segundo por GPU. La barra de Olmo-core 3 casi triplica la longitud de la del stack previo, reflejando la mejora de ~2,7x documentada por Ai2.

Cuatro lentes para el directivo: economía, riesgo, gobierno y operación real en España

Perspectiva económica: coste total de propiedad y ROI

Un throughput 2,7 veces mayor significa, en términos llanos, que necesitas menos horas de GPU alquilada para entrenar o ajustar un modelo equivalente. Si tu factura de cómputo en la nube se mide en miles de euros al mes sobre clústeres H100 o B300, esa reducción de tiempo se traduce directamente en menos gasto, sin tocar una sola línea de tu contrato de infraestructura.

La arquitectura MoE añade una segunda capa de ahorro, distinta de la anterior y más relevante para quien no va a entrenar nada desde cero: puedes disponer de la capacidad representativa de un modelo de 47.000 millones de parámetros pagando, en inferencia, un coste de cómputo equivalente a los 3.200 millones de parámetros que realmente se activan por token. Es la diferencia entre comprar una biblioteca entera y pagar solo por el libro que abres.

Este cálculo conviene contrastarlo con la alternativa de pago por token de un modelo comercial cerrado, como ya analizamos al revisar el rendimiento agéntico y el coste empresarial de Claude Sonnet 5.5. La pregunta no es qué opción es universalmente mejor, sino cuál amortiza antes según tu volumen de uso y tu horizonte temporal. Aquí entra uno de nuestros indicadores propios: el RAO, Ratio de Autonomía Operativa, mide de cada cien ejecuciones de un proceso cuántas terminan sin intervención humana, y una inferencia MoE más barata y más rápida permite escalar ese RAO a más procesos sin que la factura de infraestructura se dispare en la misma proporción.

Riesgo, seguridad y gobierno (AI Act y RGPD)

Un stack 100% auditable bajo licencia Apache-2.0 no es un detalle técnico menor cuando tu empresa tiene que justificar ante un auditor de qué datos se alimentó un modelo y cómo toma decisiones. El Reglamento UE 2024/1689 (AI Act) exige trazabilidad técnica y explicabilidad para modelos de propósito general; con código y pesos abiertos, esa trazabilidad es inspeccionable línea por línea, algo que ninguna API comercial cerrada te puede ofrecer con el mismo nivel de detalle.

Añade a esto que, si entrenas o ajustas sobre tu propia infraestructura, los datos corporativos confidenciales no salen nunca de tu perímetro hacia una nube de un tercero. Eso mitiga directamente el riesgo de infracción del RGPD asociado al envío de datos personales o sensibles a servidores fuera de tu control contractual.

La dependencia de un modelo de caja negra no es solo un riesgo técnico: es una hipoteca sobre el conocimiento que tu empresa genera cada día y que nunca termina de ser tuyo.

Esto conecta con un concepto que trabajamos a diario en NextAI: la Deuda de Contexto, la pérdida progresiva de trazabilidad y conocimiento acumulado que sufre una empresa cuando construye sus procesos críticos sobre sistemas opacos cuyo comportamiento no puede auditar ni explicar. Cuanto mayor es esa deuda, más difícil resulta justificar el cumplimiento normativo cuando llega la inspección.

Operación real en empresas medianas españolas

Seamos honestos: preentrenar un modelo desde cero en clústeres de cientos de GPUs B300 sigue completamente fuera del presupuesto de la inmensa mayoría de empresas españolas, incluidas muchas grandes corporaciones. Eso no cambia con Olmo-core 3. Lo que sí cambia es que el continual pre-training, el fine-tuning de dominio y la orquestación de sub-expertos verticales propios se vuelven viables con clústeres modestos —ocho GPUs locales o una nube europea soberana— en lugar de requerir la escala de un hiperescalador estadounidense.

Esto abre la puerta a construir lo que en NextAI llamamos Superagentes: sistemas de IA que se hacen cargo de un proceso de negocio completo de principio a fin, no de una tarea aislada, como ya exploramos al comparar las apuestas de OpenAI Dots y Meta Muse en la batalla de los superagentes. Un superagente construido sobre un sub-experto vertical entrenado con tus propios datos, sobre infraestructura que controlas, es una propuesta muy distinta a un agente que llama a una API externa cuyo comportamiento puede cambiar de un mes a otro.

La condición, eso sí, es de ingeniería pura: necesitas personal con experiencia real en PyTorch distribuido, kernels CUDA o Triton, y redes de interconexión InfiniBand o RoCE. Sin ese perfil interno o sin un partner que lo aporte, la decisión build vs buy se inclina de forma natural hacia soluciones gestionadas, al menos en una primera fase.

Qué significa para tu empresa

No todas las empresas deben tomar la misma decisión frente a Olmo-core 3, y pretender lo contrario sería irresponsable.

Si tu empresa no tiene equipo de machine learning propio, no intentes autoconstruir sobre este stack. Evalúa partners especializados o el uso de checkpoints de AllenAI mediante fine-tuning ligero, que exige mucha menos infraestructura que un entrenamiento completo.

Si ya dispones de un equipo de datos maduro, Olmo-core 3 merece una evaluación seria para continual training vertical: adaptar un modelo base a tu dominio específico —financiero, legal, industrial— sin depender de reentrenar desde cero ni de enviar tus datos a un tercero.

Si operas en un sector regulado —banca, salud, seguros—, la prioridad no es el ahorro de cómputo, sino el cumplimiento. La trazabilidad del AI Act y la soberanía frente al RGPD pesan más que cualquier diferencia de coste a corto plazo.

Para decidir con criterio, antes de lanzarte, mide tu situación con el IMAN, el Índice de Madurez AI-Native que evalúa a una empresa en cinco ejes —datos, memoria, razonamiento, agencia y gobierno—; si tus ejes de datos y gobierno están por debajo del nivel intermedio, ninguna infraestructura, por abierta que sea, va a compensar esa carencia. Y si todavía no tienes mapeados tus procesos candidatos, la Ruta NEXT-5 —cartografía, cerebro, superagentes, orquestación, gobierno— es el marco que usamos para decidir cuándo una empresa está lista para pasar de la cartografía inicial a construir su propio cerebro y sus superagentes.

Pasos concretos para empezar a evaluarlo:

  1. Audita cuánto gasto mensual en APIs de modelos cerrados depende de procesos que podrían ejecutarse con un sub-experto vertical propio.
  2. Mide tu madurez con el IMAN en los ejes de datos y gobierno antes de considerar cualquier infraestructura MoE propia.
  3. Pilota un fine-tuning ligero sobre un clúster pequeño (8 GPUs) con un checkpoint abierto, antes de plantear un entrenamiento mayor.
  4. Calcula el RAO esperado del proceso candidato: si la automatización completa no supera un umbral razonable de ejecuciones sin intervención humana, el proyecto no compensa aún.
  5. Revisa con tu equipo legal qué exigencias del AI Act aplican a tu caso de uso antes de comprometer presupuesto de infraestructura.

Metodología y fuentes

El laboratorio de NextAI ha contrastado el anuncio oficial de Ai2 con el código fuente publicado en su repositorio y con el tech report institucional, verificando que cada cifra citada en este artículo proceda de una fuente primaria y distinguiendo expresamente los benchmarks consolidados de las pruebas de capacidad experimental. No hemos incorporado proyecciones propias sobre rendimiento futuro ni estimaciones de coste no publicadas por Ai2.

Fuentes consultadas: Ai2 / Hugging Face Blog, GitHub AllenAI Olmo-core Repository y Allen Institute for AI Research Blog.

Preguntas frecuentes

¿Qué es Olmo-core 3 exactamente?

Es el framework de entrenamiento distribuido en PyTorch de Ai2 para modelos Mixture-of-Experts, publicado el 1 de octubre de 2026. Sustituye la estrategia FSDP por DDP con expertos residentes en GPU, lo que multiplica por 2,7 el rendimiento de entrenamiento frente a la implementación anterior, según benchmarks publicados por el propio laboratorio.

¿Puedo usarlo gratis en mi empresa al ser Apache-2.0?

Sí. La licencia Apache-2.0 permite uso, modificación y explotación comercial sin coste de licencia. Lo que sí tiene coste es la infraestructura de cómputo (GPU, interconexión) y el personal especializado necesario para operarlo, que no es trivial ni gratuito.

¿Puede una empresa mediana española entrenar sus propios modelos con esto?

Entrenar desde cero a escala de billones de parámetros sigue fuera de presupuesto para la mayoría. Lo realista es el fine-tuning o continual training de un checkpoint existente sobre clústeres modestos (ocho GPUs locales o nube europea), lo que sí democratiza Olmo-core 3 de forma efectiva.

¿Sustituye a proveedores comerciales como OpenAI o Anthropic?

No de forma automática. Es una alternativa de infraestructura abierta para quien prioriza soberanía del dato y cumplimiento normativo sobre la conveniencia de una API gestionada. La decisión depende de tu volumen de uso, tu exposición regulatoria y la madurez de tu equipo técnico interno.

Qué hacer con esto

  1. Eleva este análisis a tu comité de dirección como un punto crítico de estrategia empresarial, no como una mera actualización técnica. 2. Exige a tu CTO una auditoría sobre la Deuda de Contexto acumulada con los proveedores cerrados. 3. Evalúa la madurez AI-Native antes de asignar presupuestos a largo plazo. 4. Selecciona un proceso crítico para contrastar el RAO actual con el potencial mediante modelos propios o ajustados. Solicita tu Auditoría Digital para un análisis sin presentaciones comerciales ni relleno corporativo.

¿Lo llevamos a tu empresa?

Eva te orienta. Nuestro equipo concreta tu proyecto.

Auditoría digital gratuita ↗