Anthropic presentó el 12 de noviembre Anvil, un sistema interno que utiliza Claude para buscar formas de eludir sus propias barreras de seguridad. Estudia defensas en biología, ciberseguridad y extracción del razonamiento oculto, según el informe de su equipo de seguridad.
Encontrar fallos antes del despliegue
En estas pruebas adversariales, conocidas como red teaming, el objetivo es descubrir puntos débiles antes de que los explote un atacante. Anthropic afirma que Anvil igualó o superó las mejores aportaciones humanas en ocho preguntas de su programa de recompensas sobre bioseguridad, con resultados en 24 a 48 horas.
El sistema dispone de acceso interno privilegiado, puntuaciones de clasificadores y versiones de Claude con las protecciones del atacante desactivadas. Esas condiciones difieren del acceso de un usuario corriente. Anthropic lo utiliza para evaluar defensas antes del despliegue.
Una pieza dentro de una estrategia más amplia
La hoja de ruta de seguridad de Anthropic distingue cuatro frentes: proteger los modelos frente a robo o manipulación, prevenir usos peligrosos, evitar comportamientos autónomos dañinos y desarrollar propuestas de gobernanza. En ese marco, buscar fallos es una parte del trabajo; también importan los controles operativos y la evaluación.
El documento plantea además dar mayor acceso a evaluadores independientes, preservando su independencia. Esa diferencia resulta relevante para interpretar cualquier anuncio: una evaluación interna y una comprobación externa aportan evidencias distintas y complementarias.
Cómo interpretar los resultados
Los datos publicados proceden de Anthropic. No permiten concluir que Claude sea invulnerable ni establecer una clasificación general frente a otros asistentes. Tampoco debe confundirse la detección de una debilidad en un ensayo controlado con un incidente sufrido por usuarios.
La lectura práctica para una empresa que incorpora agentes es concreta: pedir evidencias sobre las pruebas de seguridad, delimitar sus permisos y mantener revisión humana en las decisiones importantes. El interés de Anvil está en convertir la búsqueda de fallos en un proceso que pueda repetirse y acompañar la evolución de los modelos.
Imagen de archivo ilustrativa: grabación de una simulación de ciberataque de la USAF en junio de 2019. Fotografía de Maj. Christopher Vasquez / USAF, vía Wikimedia Commons, de dominio público en Estados Unidos. No muestra Anvil ni instalaciones de Anthropic.
