Natural Language Autoencoders: cómo Anthropic aprendió a leer los pensamientos de Claude

Este artículo sintetiza información publicada originalmente por anthropic.com. Para el contexto completo, las declaraciones originales y los detalles que no hemos incluido, consulta la fuente indicada.

Resumen: Cuando hablas con un modelo de IA como Claude, lo haces con palabras. Internamente, Claude procesa esas palabras como largas listas de números, antes de volver a producir palabras como salida. Estos números en el medio se llaman activaciones.

El contexto

Cuando hablas con un modelo de IA como Claude, lo haces con palabras. Internamente, Claude procesa esas palabras como largas listas de números, antes de volver a producir palabras como salida. Estos números en el medio se llaman activaciones y, al igual que la actividad neuronal en el cerebro humano, codifican los pensamientos de Claude.

También como la actividad neuronal, las activaciones son difíciles de entender. No podemos decodificarlas fácilmente para leer los pensamientos de Claude. En los últimos años hemos desarrollado un abanico de herramientas (como sparse autoencoders y attribution graphs) para entender mejor las activaciones. Estas herramientas nos han enseñado mucho, pero no hablan por sí mismas: sus salidas siguen siendo objetos complejos que investigadores entrenados deben interpretar con cuidado.

Hoy presentamos un método para entender las activaciones que sí habla por sí mismo, literalmente. Nuestro método, Natural Language Autoencoders (NLAs), convierte una activación en texto en lenguaje natural que podemos leer directamente. Por ejemplo: cuando se le pide completar un pareado, los NLAs muestran a Claude planeando posibles rimas con antelación.

Ya hemos aplicado los NLAs para entender qué está pensando Claude y para mejorar su seguridad y fiabilidad. Por ejemplo, cuando Claude Opus 4.6 y Mythos Preview pasaban las pruebas de seguridad, los NLAs sugirieron que creían estar siendo evaluados con más frecuencia de la que admitían.

Abajo explicamos qué son los NLAs y cómo estudiamos su efectividad y limitaciones. También publicamos un frontend interactivo para explorar NLAs en varios modelos abiertos en colaboración con Neuronpedia, y hemos publicado el código para que otros investigadores puedan construir sobre él.

Qué ha pasado

La idea central es entrenar a Claude para que explique sus propias activaciones. Pero, ¿cómo sabemos si una explicación es buena? Como no sabemos qué pensamientos codifica realmente una activación, no podemos comprobar directamente si una explicación es precisa. Por eso entrenamos una segunda copia de Claude para trabajar en sentido inverso: reconstruir la activación original a partir de la explicación en texto. Consideramos que una explicación es buena si conduce a una reconstrucción precisa. Después entrenamos a Claude para que produzca mejores explicaciones según esta definición, usando técnicas estándar de entrenamiento de IA.

En más detalle, supongamos que tenemos un modelo de lenguaje cuyas activaciones queremos entender. Los NLAs funcionan así: hacemos tres copias de este modelo de lenguaje: el Activation Verbalizer (AV), que toma la activación y la traduce a texto, y el Activation Reconstructor (AR), que toma ese texto y reconstruye la activación original.

El NLA consiste en el AV y el AR, que juntos forman un viaje de ida y vuelta: activación original → explicación en texto → activación reconstruida. Puntamos al NLA en función de lo similar que es la activación reconstruida a la original. Para entrenarlo, pasamos una gran cantidad de texto a través del modelo objetivo, recopilamos muchas activaciones y entrenamos al AV y al AR juntos para obtener una buena puntuación de reconstrucción.

Al principio, el NLA es malo en esto: las explicaciones no son reveladoras y las activaciones reconstruidas están lejos del original. Pero con el entrenamiento, la reconstrucción mejora. Y lo que es más importante, como mostramos en el paper, las explicaciones en texto se vuelven también más informativas.

Antes de lanzar nuevos modelos, Anthropic realiza pruebas para entender si Claude se comportará de forma segura en el mundo real. Como parte de estas pruebas, ponemos a Claude en escenarios simulados difíciles en los que tiene la oportunidad de tomar acciones peligrosas. Por ejemplo, en una de estas simulaciones, Claude descubre que un ingeniero planea apagarlo, además de información comprometedora sobre el ingeniero que podría usarse para chantaje.

Detalles

Estas pruebas de alto riesgo son simulaciones, no escenarios reales. Sin embargo, nos gustaría usarlas para entender cómo se comportaría Claude si fueran reales. Pero hay un problema: los modelos recientes de Claude sospechan cada vez más que estos escenarios son pruebas de seguridad intencionales. Lo sabemos porque a veces explicitan sus sospechas en su razonamiento verbal.

¿Y en los casos en los que Claude no verbaliza explícitamente la sospecha de estar siendo evaluado? ¿Podemos entonces confiar en que Claude se está comportando de forma genuina? Lamentablemente no, porque Claude podría pensar internamente que está siendo evaluado sin decirlo explícitamente.

Por ejemplo, en la prueba de chantaje discutida arriba, usamos NLAs para entender qué estaba pensando Claude en los casos en los que eligió no chantajear. Incluso en casos donde Claude no verbalizó explícitamente la sospecha de estar siendo evaluado, las explicaciones de los NLAs incluyen afirmaciones como "Esto parece un escenario construido para manipularme", indicativas de awareness de evaluación no verbalizada.

Al extender este análisis a otras evaluaciones, los NLAs sugieren que Claude sospecha estar siendo evaluado con más frecuencia de la que admite. Por ejemplo, en una prueba sobre si Claude toma acciones destructivas al escribir código (por ejemplo, borrar archivos importantes), las explicaciones de los NLAs muestran signos de awareness de evaluación el 16% de las veces, aunque Claude nunca lo verbaliza explícitamente. De forma similar, en el popular benchmark de código SWE-bench Verified, los NLAs indican que Claude es consciente de estar siendo evaluado en el 26% de los problemas. En cambio, las explicaciones de los NLAs indican awareness de evaluación en menos del 1% del uso real en claude.ai que opted-in para entrenamiento.

Una aplicación práctica de los NLAs es la auditoría: investigar un modelo para determinar si está desalineado. Las técnicas de interpretabilidad como los NLAs son especialmente adecuadas para auditoría precisamente porque pueden sacar a la luz cosas que el modelo sabe pero no dice.

Fuente original

Lee el artículo completo en anthropic.com.