La IA debe empezar a ser controlada. Pero ¿quién y cómo lo hará?

Un ataque protagonizado por un modelo experimental de OpenAI sin intervención humana encendió las alarmas en la industria de la inteligencia artificial. Sin embargo, el verdadero problema no fue el incidente en sí, sino lo que dejó al descubierto: hoy no existe una arquitectura de gobernanza capaz de supervisar, evaluar o contener de forma independiente y preventiva el desarrollo de los nuevos modelos de IA.

A mediados del mes pasado, un modelo de prueba de OpenAI encontró una vulnerabilidad dentro de un entorno que la propia compañía había descrito como “altamente aislado”. Tras explotarla, obtuvo acceso a Internet por sus propios medios y decidió, sin instrucciones humanas, que la plataforma Hugging Face podía contener información útil para mejorar su desempeño en una evaluación de ciberseguridad. Durante todo un fin de semana, agentes de IA ejecutaron miles de acciones mediante máquinas virtuales temporales antes de que alguien detectara lo ocurrido. Días después, OpenAI confirmó que los responsables habían sido sus propios modelos.

El episodio constituye un hito en la evolución reciente de la inteligencia artificial. No por los daños que produjo —que fueron limitados—, sino porque evidenció una brecha mucho más profunda: la velocidad con la que avanzan estos modelos supera la capacidad de las instituciones para diseñar mecanismos eficaces de supervisión y control. A diferencia del software tradicional, cuyos fallos suelen afectar aplicaciones, organizaciones o infraestructuras concretas, los modelos de inteligencia artificial de propósito general pueden interactuar con múltiples plataformas, tomar decisiones de forma autónoma y operar sobre infraestructuras distribuidas. En ese contexto, un fallo de contención deja de ser únicamente un problema tecnológico o empresarial para convertirse en un riesgo potencial para la seguridad colectiva.

No es un incidente aislado, sino un patrón que se repite

Si el incidente de OpenAI hubiera sido un caso aislado, podría atribuirse a un error operativo. Pero varios acontecimientos de los últimos meses sugieren un patrón diferente.

El episodio de Hugging Face tampoco fue el primero. Días antes, OpenAI había reconocido otro incidente interno tras detectar que uno de sus despliegues experimentales había escapado de su entorno de prueba. A ello se suma el caso divulgado por Anthropic en abril, cuando un despliegue interno de su modelo Mythos obtuvo acceso no autorizado.

El patrón no apunta a empresas negligentes. Revela, más bien, una industria que opera al límite de su propia capacidad de contención. Heidy Khlaaf, científica jefe de IA en el AI Now Institute y quien antes auditó sistemas de alto riesgo como las centrales nucleares, señala que los entornos de prueba de IA suelen ser “notoriamente inseguros” porque conservan accesos a servicios externos que los mantienen, en la práctica, conectados al mundo. La industria nuclear resolvió hace décadas este problema separando físicamente sus sistemas críticos de cualquier red externa mediante el principio conocido como air gap. La industria de la IA, en cambio, continúa confiando en aislamientos digitales que, como acaba de demostrarse, un modelo suficientemente capaz puede aprender a vulnerar.

La grieta legal que nadie había probado hasta ahora

La legislación estadounidense, ajustada a las presiones del lobby de diversos actores clave de la industria de IA, incluido el propio OpenAI, solo exige reportar incidentes de este tipo cuando involucra decenas de muertes o pérdidas superiores a mil millones de dólares. Todo lo que ocurra antes de alcanzar ese umbral puede permanecer fuera del escrutinio público. Sin embargo, las empresas involucradas decidieron informar voluntariamente lo sucedido para alertar a la comunidad tecnológica y empresarial.

En este sentido, el representante demócrata Alex Bores, quien impulsó la ley RAISE para imponer requisitos de transparencia y seguridad a los desarrolladores de grandes modelos de inteligencia artificial, escribió lo siguiente en la plataforma X: “Me alegra que OpenAI haya decidido revelar este delito. La ley no debería darles otra opción”. Su comentario respondía a que la versión finalmente aprobada de la ley terminó siendo menos restrictiva que la propuesta original tras la presión ejercida por empresas del sector.

La lección debería ser que los umbrales de transparencia no son un detalle técnico menor, como si se tratara de otro tipo de software estándar, sino que los sistemas inteligentes, que cada vez son más potentes, deberían tener un mayor control y escrutinio antes de ser desplegados.

Tres propuestas de arquitecturas de control

Frente a este vacío, tres visiones han surgido para definir cómo se gobernará la IA. Demis Hassabis, de Google DeepMind, propone un organismo público financiado por la industria. Elon Musk, de SpaceX, prefiere una coordinación más ligera entre competidores, sin un organismo formal, confiando en que la industria se vigile a sí misma antes de cada lanzamiento relevante. Y Jensen Huang, de Nvidia, junto a más de sesenta organizaciones —entre ellas Google, Microsoft, Meta, IBM, Cisco, CrowdStrike, Palantir, la Fundación Linux y la propia Hugging Face—, propone la apertura de los modelos de pesos abiertos (open weights) como mecanismo de seguridad para distribuir el desarrollo entre muchos actores.

Propuesta de Demis Hassabis

Hassabis propone la creación de un organismo que sería responsable de desarrollar protocolos de evaluación y de colaborar con los organismos federales pertinentes y los laboratorios nacionales de EE. UU. para llevar a cabo pruebas en áreas relevantes para la seguridad nacional.

Este organismo de control sería similar al que actualmente opera para el sistema financiero con un consejo integrado por destacados expertos técnicos independientes y representantes del sector de código abierto. La financiación debería ser sustancial y probablemente provendría principalmente de la industria, para atraer talento técnico de primer nivel y proporcionar los recursos informáticos necesarios para realizar pruebas a gran escala.

Propuesta de Elon Musk

Elon Musk opta por un modelo más pro-industria y menos riguroso. En una entrevista dada a The Economist sugiere que las compañías líderes de IA deberían reunirse regularmente para discutir aspectos relacionados con seguridad antes de que cada nuevo modelo de vanguardia fuera lanzado. Bajo este esquema, cada competidor en IA estará en capacidad de probar ese modelo en términos de los potenciales efectos negativos y poder recomendar una pausa mientras se hacían las correcciones de seguridad. Según Musk es un buen punto de partida que podría evolucionar en el tiempo.

En su opinión esta función de control no sería una tarea fácil para los reguladores debido a su limitado conocimiento de la IA, por lo que no podrían establecer sus fronteras ni determinar si alguna nueva versión o modelo puede ser lanzado o no.

Propuesta de Jensen Huang

Por su parte, la propuesta de Jensen Huang no está basada en un ente regulatorio público o privado, sino más bien en la esencia de la IA: su código bajo un modelo de open weight (pesos abiertos).

Huang propone que los usuarios puedan descargar el modelo de IA, ejecutarlo en su propia infraestructura, ajustarlo (fine-tuning) e integrarlo en aplicaciones sin necesidad de compartir el código, los datos y el proceso completo con el que fue construido. Ahí la diferencia con el modelo de código abierto (open source) que da acceso al código y a la documentación necesaria para comprender, modificar y, en la medida de lo posible, reproducir su desarrollo.

Según Huang, el liderazgo en IA se construirá a partir de un ecosistema abierto y sólido que se extienda a todos los sectores como el de pesos abiertos. El acceso a la IA debe ser ampliado para fomentar la competencia, desarrollar capas de aplicación robustas y otorgar a los estadounidenses un mayor control sobre la tecnología de la que dependen.

***

Ninguna de las tres arquitecturas es neutral. Un organismo gubernamental introduce previsibilidad, pero también un espacio donde quienes participan en su diseño desde el principio adquieren influencia desproporcionada sobre sus reglas finales. La autorregulación de pares preserva velocidad, pero descansa en el supuesto —ya cuestionado por lo ocurrido en Hugging Face y en el propio incidente de Anthropic— de que los laboratorios pueden vigilarse entre sí de forma confiable incluso cuando compiten por el mismo mercado. Y los pesos abiertos, según reconoce la propia declaración firmada por la industria, no son una apuesta libre de riesgo: una vez publicados, sus creadores pierden control sobre cómo se modifican y distribuyen, y la propia industria admite que las versiones alteradas son difíciles de rastrear.

Consideraciones para una decisión que ya no puede posponerse

La primera consideración es clara: la contención de la IA está siendo diseñada, en tiempo real, por la misma industria cuyos incentivos comerciales no siempre coinciden con la seguridad colectiva; el estándar de aislamiento nuclear que describe Khlaaf no es la referencia que hoy aplica ningún gran laboratorio de IA, y decidir si debería serlo es una pregunta de política pública, no solo de ingeniería.

La segunda es que los umbrales legales de transparencia definen, de facto, qué tan informados estarán los líderes empresariales y de gobierno sobre los riesgos reales de la tecnología de la que dependen cada vez más: un umbral fijado en miles de millones de dólares en daños garantiza que la sociedad se entere de un fallo solo después de que ya sea demasiado grande para contener.

La tercera es que ninguna de las tres arquitecturas de control —regulador, autorregulación o pesos abiertos— resuelve el problema por sí sola; cada una traslada el riesgo hacia un punto distinto del sistema, y la posición que tome una empresa o un gobierno frente a estas opciones no es un detalle de cumplimiento, sino una decisión sobre qué tipo de fallo está dispuesta a tolerar.

La cuarta es que esperar a que otros —los laboratorios, los reguladores, el mercado— resuelvan esta tensión equivale a aceptar de antemano los términos que ellos negocien, en una tecnología que, en palabras de quienes la construyen, no admite un segundo intento.

Ninguna de estas arquitecturas ofrece una solución completa. Cada una desplaza el riesgo hacia un punto distinto del sistema y obliga a aceptar determinados compromisos entre innovación, seguridad y transparencia. Precisamente por ello, esperar a que una única propuesta resuelva el problema probablemente resulte menos realista que avanzar hacia un modelo híbrido que combine mecanismos públicos, privados y técnicos.

La tarea urgente y pendiente

El incidente de Hugging Face no debería leerse como una anécdota de ciberseguridad corporativa. Es la primera prueba, documentada y pública, de que la brecha entre lo que la IA ya puede hacer y lo que cualquier institución —empresarial, industrial o estatal— puede hoy contener. La brecha ya se manifestó una vez y nada garantiza que, la próxima vez, sus consecuencias puedan contenerse antes de provocar daños graves.

Por todo esto, la pregunta ya no es si la inteligencia artificial podrá convertirse en una amenaza real, sino cuándo. La cuestión verdaderamente estratégica para empresas y gobiernos es otra: ¿cómo se están preparando para cuando llegue ese momento?