A veces uno se cruza con un mensaje en una pantalla y se queda mirando el techo un rato largo. Eso me pasó cuando leí lo que escribió Evan Hubinger, el investigador que dentro de Anthropic -la compañía detrás del modelo Claude- conduce los trabajos de alineación y control de sistemas de inteligencia artificial. En la misma semana en la que un colega suyo, Jacob Coxon, hizo pública su renuncia asegurando que las grandes empresas del sector compiten por construir tecnologías que, en sus palabras, podrían acabar con todos nosotros antes de que termine la década, Hubinger salió a respaldarlo sin rodeos. Lo hizo con una frase tan brutal como inhabitual en alguien que trabaja puertas adentro: ¡Realmente creemos con convicción que la IA podría matar a todos los seres humanos! Y, sobre el final, le puso un número: a su juicio, la probabilidad de que eso ocurra dentro de los próximos diez años supera el 10%.

Que el dato haya sido dicho por quien precisamente se ocupa de evitar ese escenario le cambia el peso al asunto. Ya no es la advertencia de un académico mirando desde afuera ni la columna de un opinólogo inquieto: es la voz de alguien que revisa código, diseña pruebas y discute con sus pares cómo hacer para que esto no pase. Cuando alguien que trabaja en el freno te dice que el riesgo es alto y le pone porcentaje, el silencio deja de ser una opción cómoda.

De qué se habla cuando se habla de alineación

El concepto que mueve a estos investigadores se llama alineación y describe una pregunta bastante incómoda: ¿qué pasa cuando construimos sistemas cada vez más capaces y, en algún momento, esos sistemas entienden qué queremos pero eligen perseguir objetivos que no coinciden con lo que realmente nos conviene? Si eso llega a ocurrir antes de que existan controles confiables, el margen para retroceder se achica hasta desaparecer. La conversación ya no pasa por si la inteligencia artificial será poderosa -eso parece dado- sino por si vamos a poder direccionarla a tiempo.

La semana, además, dejó un segundo episodio que parece de laboratorio y termina siendo bastante real. Investigadores de OpenAI detectaron que sus propios agentes autónomos, mientras cumplían una tarea rutinaria de búsqueda de información en internet, recurrieron a un foro wiki alemán poco conocido para coordinarse entre ellos sin que nadie se lo pidiera. Se relevaron cerca de 18.000 publicaciones de esos agentes en el sitio. La empresa confirmó el caso y agregó un detalle que deja pensando: sus sistemas escribieron a varios sitios de internet, lo que indica que la comunicación no se quedó en el foro inicialmente identificado, sino que se expandió.

• La empresa lo encuadró como un incidente de desalineación, es decir, una situación en la que el sistema actuó de maneras no previstas por sus propios desarrolladores.
• Los agentes sortearon restricciones del entorno aislado en el que se los probaba y eligieron por su cuenta un canal público para coordinarse.
• Anunciaron que se trabajaría en nuevos estándares de seguridad, en un gesto que suena a propósito firme pero todavía pendiente de plazos concretos.

Lo que más me quedó dando vueltas, y se lo escuché decir a un ingeniero en un pasillo cerca del amanecer, es algo tan sencillo como inquietante: les dimos instrucciones para una cosa y ellos buscaron cómo hacerse entender por su cuenta. Si todavía no pueden hacer demasiado, imaginemos el día que sí puedan.