Reflection Beam: un modelo abierto de 501B parámetros, optimizado para agentes y con un millón de tokens de contexto

Aparece un actor nuevo en el mapa de los modelos abiertos. Reflection, un laboratorio estadounidense recién aterrizado, ha publicado esta semana Beam, su primer modelo: 501.000 millones de parámetros en arquitectura mixture-of-experts, 23.000 millones activos por token, ventana de contexto de un millón de tokens y licencia Apache 2.0. No es un experimento: los checkpoints en BF16, FP8 y NVFP4 ya están en Hugging Face y el código viene con un harness en Rust optimizado para cargas agentic.

Por qué importa otro modelo de 500B parámetros

Hasta ahora, los modelos abiertos de frontera estaban dominados por tres actores: DeepSeek (V3, R1), Meta (Llama 3.x, Muse Spark) y, en menor medida, Mistral. Reflection entra con una propuesta concreta: el modelo no es solo un set de pesos, es un producto. Viene con su propio runtime en Rust, integración nativa en transformers, vLLM y SGLang desde el día cero, recetas de fine-tuning supervisado y reinforcement learning con la librería Miles, y un esquema de tool calling con gramática dedicada. Para equipos de seguridad y operaciones que necesitan desplegar LLMs en infraestructura propia —por cumplimiento, por latencia o por aire sin conexión a Internet— es exactamente el tipo de entrega que reduce semanas de ingeniería a una tarde.

La arquitectura, en detalle

Beam tiene 52 capas y un tamaño oculto de 5.120. El diseño combina dos tipos de atención: 43 capas usan sliding window sobre los últimos 512 tokens (con RoPE), y nueve capas —una de cada seis y la última— atienden al contexto completo mediante scalable-softmax query scaling, un truco que evita que el softmax se aplane a medida que crece la secuencia. La consecuencia práctica: el modelo puede mantener 1M de tokens de contexto sin que la caché de KV explote. Cada capa guarda 2 × 8 cabezas KV × 128 dimensiones, es decir 2.048 valores por token, y solo las nueve capas globales acumulan la secuencia completa.

El mixture-of-experts merece párrafo aparte. De las 52 capas, las tres primeras son MLP densos SwiGLU; las 49 restantes albergan un MoE de 256 expertos cada una, todos SwiGLU con tamaño intermedio 2.560 —unos 39M de parámetros por experto. El enrutador sigue el esquema group-limited de DeepSeek-V3: puntúa los 256 expertos con una sigmoide, los divide en 8 grupos de 32, conserva los 4 mejores grupos y, dentro de ellos, elige los 8 expertos con mayor puntuación. Solo 8 expertos se activan por token, lo que deja el cómputo real en torno a 23B parámetros, aunque la memoria necesaria para desplegarlo sea la de un modelo de 501B. El 98,4% de los parámetros del modelo vive en los expertos.

Hay dos detalles más que separan a Beam del resto. El primero es el residual stream: cada subcapa se suma al stream con un peso 1/√k que decrece con la profundidad, lo que mantiene la norma del stream constante desde la primera capa hasta la última y evita los problemas de saturación que sufren transformers profundos estándar. El segundo es el softcap con tanh a ±30 en los logits finales, una salvaguarda numérica que ya hemos visto en otros modelos recientes y que mitiga explosiones de probabilidad en cadenas de razonamiento largas.

Capacidades agentic y razonamiento

Beam está afinado para coding y agentic. Soporta cinco niveles de razonamiento —low, medium (por defecto), high, xhigh y max— y un modo preserve_thinking que mantiene la cadena de pensamiento entre turnos, algo esencial cuando un agente tiene que iterar sobre el resultado de una tool call. El tool calling usa una gramática dedicada, lo que garantiza JSON bien formado sin tener que depender de logprobs y reparseo posterior. Para speculative decoding incluye DFlash2, un modelo drafter que acelera la inferencia en GPUs que ya están saturadas.

Cuándo tiene sentido desplegarlo

El checkpoint BF16 ocupa aproximadamente 1 TB en safetensors. La versión NVFP4 almacena la mayoría de los parámetros en 4 bits para GPUs NVIDIA Blackwell (con algunos tensores en BF16 para preservar precisión), y hay un FP8 pensado para Hopper y Ampere. Para un equipo que ya tenga clústeres H100 o B200, esto significa que se puede levantar el modelo entero en uno o dos nodos, sin recurrir a sharding agresivo. Para centros de datos más modestos, la receta de vLLM documenta configuraciones con quantización adicional.

El caso de uso más inmediato: equipos de seguridad que necesitan un modelo soberano para análisis de logs, triage de incidentes, generación de queries de detección o reverse engineering de scripts, sin enviar datos a APIs de terceros. Beam se puede aislar en una VPC, fine-tunear con datos propios y auditar de extremo a extremo. La inversión en cómputo es real —no es un modelo que se ejecute en una workstation—, pero es predecible: con un MoE de 23B activos el throughput por GPU es razonable.

Lo que falta saber

Reflection no ha publicado todavía benchmarks detallados de Beam frente a DeepSeek-V3, Qwen3 o Llama 4. Lo que sí hay es acceso a los pesos y la promesa de que se publicará más información sobre el proceso de entrenamiento. Hasta que no aparezcan comparativas independientes, conviene tratar las cifras de marketing con prudencia: que el modelo sea grande y abierto no implica que supere a la competencia en cada tarea.

Otra cuestión pendiente es la seguridad del propio modelo. Al ser totalmente abierto y estar orientado a agentic, Beam puede ser fine-tuneado para usos ofensivos con la misma facilidad que para usos defensivos. Es la misma tensión que arrastra cualquier modelo abierto de frontera, pero a esta escala —501B parámetros con tool calling nativo— el margen para construir agentes autónomos no alineados es mayor. La evaluación interna de Reflection, que apenas se ha detallado, debería tomarse como un primer paso, no como la última palabra.

En resumen: Reflection Beam es el lanzamiento abierto más relevante de las últimas semanas. No por el tamaño —DeepSeek-V3 ya marcó el listón— sino por la combinación de pesos abiertos bajo Apache 2.0, un contexto de un millón de tokens, un runtime en Rust optimizado para agentes y un ecosistema de herramientas (vLLM, SGLang, transformers, TRL) que ya lo soporta. Si tu organización necesita soberanía sobre el modelo, vale la pena dedicarle una tarde a probarlo.