Anthropic habilita a un equipo externo de METR con acceso equivalente al de un empleado para auditar sus modelos de inteligencia artificial

Seis investigadores de METR, una organización sin fines de lucro dedicada a evaluar sistemas de inteligencia artificial, trabajan desde hace semanas dentro de Anthropic con un nivel de acceso equivalente al de un empleado del área de evaluación de riesgos de la empresa, según informó la propia compañía. La iniciativa, que la firma describió como el escalón más alto de un esquema de tres niveles de auditorías externas, les otorga computadoras corporativas, espacio físico en oficinas de Anthropic y herramientas internas, además de la posibilidad de dialogar con el personal como cualquier colega interno, con excepciones acotadas a datos de clientes, información amparada por secreto profesional y detalles sobre la arquitectura de los modelos.

La novedad fue dada a conocer por Anthropic a través de un comunicado de prensa publicado en su sitio oficial, en el que la compañía enmarcó la decisión dentro de un proceso de apertura progresiva hacia esquemas de supervisión independientes. De acuerdo con el texto, METR puede ahora publicar sus hallazgos sin que la empresa tenga la facultad de bloquearlos, lo que la ubica en el vértice de un sistema que la compañía fue construyendo durante el último año y que contempla, hacia abajo, dos categorías adicionales de evaluadores externos con accesos y permisos de publicación más restringidos.

Vamos a los números

El esquema se estructura en tres categorías bien delimitadas. En el nivel más bajo se ubican organizaciones como SecureBio, que realizan revisiones acotadas y necesitan autorización previa de Anthropic antes de hacer público cualquier resultado. El nivel intermedio concede más información y permite publicar sin pedir permiso, aunque sin la profundidad de acceso que distingue a la categoría superior. El nivel más alto, que por ahora ocupa de manera exclusiva METR, suma el acceso equivalente al de un empleado interno y la facultad de difundir evaluaciones, reportes de incidentes y análisis de prácticas empresariales sin intervención de la compañía.

La firma aclaró que, aun en este nivel máximo, conserva la posibilidad de solicitar que se redacten ciertos pasajes cuando la información involucrada pertenezca a categorías estrechas y predefinidas. METR, sin embargo, queda expresamente habilitada para señalar públicamente si considera que esa redacción estuvo o no justificada, un mecanismo que la empresa presentó como un contrapeso a eventuales excesos de confidencialidad.

• Experiencia técnica suficiente para detectar cuándo un modelo simula estar alineado en lugar de estarlo efectivamente, un fenómeno que la literatura especializada suele denominar "alignment faking".
• Independencia económica y operativa respecto de la empresa auditada, condición que METR reúne por su carácter de organización sin fines de lucro.
• Acceso que vaya más allá de los modelos e incluya información sobre cómo se entrenaron y cómo funcionan sus mecanismos de seguridad internos.
• Libertad para publicar hallazgos sin restricciones previas por parte de la compañía auditada.

Para justificar un nivel de acceso de esta magnitud, Anthropic enumeró cuatro condiciones que, según la empresa, deben reunirse de manera conjunta para que una auditoría externa resulte verdaderamente útil. La primera es que los evaluadores cuenten con experiencia técnica suficiente como para distinguir un modelo genuinamente alineado de uno que simula estarlo; la segunda, que gocen de independencia económica y operativa respecto de la firma auditada; la tercera, que el acceso trascienda los modelos en sí e incluya información sobre los procesos de entrenamiento y los mecanismos de seguridad; y la cuarta, que exista libertad plena para publicar sin restricciones previas.

La compañía reconoció, además, que no puede hacer pública la totalidad de su información de seguridad, dado que parte de esos datos podrían ser aprovechados por actores maliciosos o revisten carácter comercial sensible. Por esa razón optó por un esquema de acceso profundo, pero reservado a un grupo acotado que opera bajo acuerdos legalmente exigibles, mientras el resto del personal de METR permanece aislado de esas tareas específicas.

El equipo de METR ya había revisado, durante el año previo a recibir este nivel ampliado, varios informes de riesgo elaborados por la propia Anthropic. Ese antecedente, según la empresa, fue determinante para justificar la elevación de la organización al escalón más alto del esquema, una decisión que la firma presentó como un paso hacia prácticas de supervisión más transparentes sin renunciar al resguardo de información sensible.