Satya Nadella: hay que asumir que todos los modelos de IA están comprometidos y contenerlos desde el principio

Satya Nadella, CEO de Microsoft, es claro: hay que asumir desde el vamos que todos los modelos de IA están comprometidos y diseñar sistemas que los contengan desde el principio.

La idea no es nueva en sus declaraciones, pero esta vez la expuso con siete principios concretos que resumen una filosofía de seguridad para la inteligencia artificial. En un post en X, Nadella planteó que la opacidad de los modelos actuales —las famosas cajas negras— obliga a cambiar dónde depositamos la confianza: no en el modelo en sí, sino en el entorno que lo rodea.

Hasta ahora, con el software tradicional, podíamos rastrear cualquier comportamiento hasta una línea de código específica. Con los modelos de IA eso ya no es posible. Por eso, dice, no podemos externalizar la responsabilidad de lo que la IA haga en nuestro nombre. Las garantías del proveedor del modelo no nos salvan de esa cuenta.

El enfoque que propone es tratar a los modelos como si fueran empleados con mucho poder pero poca transparencia: darles la menor autoridad posible, registrar absolutamente todo lo que hacen y tener la capacidad de pararlos en seco si hace falta. No porque sean inherentemente maliciosos, sino porque cualquier actor con acceso a sistemas críticos puede equivocarse o ser atacado.

Los siete principios que defendió se pueden agrupar en tres ejes centrales: independencia, transparencia y contención.

En independencia, la regla es que ningún modelo puede verificarse a sí mismo ni ser la única dependencia para una decisión importante. Quien audita tiene que ser completamente ajeno al modelo auditado. En transparencia, cada acción relevante debe dejar un registro legible, a prueba de manipulaciones, y tiene que ser posible observar la cadena de pensamiento del modelo, aunque eso solo no alcanza. Y en contención, la premisa de base es asumir que cualquier modelo puede estar comprometido y, por lo tanto, tener herramientas para detenerlo en cualquier momento y avisar a las personas afectadas cuando algo falle.

La frase que resume todo es una que ya se volvió casi un mantra en sus últimas apariciones: “Si no se puede observar, no se puede confiar en ello”. Nadella insiste en que debemos construir sistemas cuyo comportamiento podamos observar, cuyos límites podamos probar y cuyas acciones siempre podamos contener.

Esto importa porque las empresas ya están dejando que agentes de IA tomen decisiones en sistemas importantes, con acceso a datos sensibles y actuando en nombre de humanos. El riesgo no es solo teórico. Y el CEO de Microsoft no es el único que ve venir problemas, pero sí es uno de los que más insiste en prevenir antes de que ocurra una catástrofe.

Su postura tiene sentido desde su lugar: Microsoft fabrica sus propios modelos, vende Azure como plataforma para correr modelos de terceros, compite con otras big tech y al mismo tiempo promueve un ecosistema donde convivan opciones cerradas y abiertas. Defiende que ninguna empresa dependa de un solo proveedor y que todas mantengan el control sobre sus datos y sus modelos. Si hay muchos modelos distintos, todos van a necesitar una nube donde correr. Azure, claro, está ahí para eso.

No está libre de contradicciones. Mientras habla de ir más despacio en el desarrollo de IA, Microsoft sigue invirtiendo fuerte en centros de datos para entrenar y ejecutar modelos cada vez más potentes. Pero la línea que marca es clara: si la IA que construimos no ayuda a la humanidad y no está bajo control humano, no vale la pena perseguirla.

En la práctica, esto implica diseñar desde el día cero con “frenos de emergencia” para la IA, auditorías independientes y observabilidad total. Para las empresas que ya están integrando agentes autónomos en sus procesos, el mensaje es directo: la seguridad no está dentro del modelo, está en el sistema que lo contiene.

El debate recién empieza, pero la dirección que marca Nadella es una de las más concretas que se escucharon desde el lado de las grandes empresas de tecnología. Asumir que los modelos pueden fallar —o peor, estar comprometidos— y actuar en consecuencia desde el diseño mismo del sistema.