Hugging Face bajo la lupa: cómo se usa para crear deepfakes no consentidos de mujeres y niños
Un informe de AI Forensics revela que la mayoría de los modelos de edición de imágenes en Hugging Face generan desnudos falsos sin restricciones. La plataforma open-source hace poco por frenarlo.
Un nuevo informe de la organización europea sin fines de lucro AI Forensics pone en evidencia un problema serio: Hugging Face, el repositorio más popular de modelos de IA abiertos, se está usando masivamente para crear deepfakes no consentidos que “desvisten” a mujeres y niños.
Según el relevamiento, siete de los nueve modelos de edición de imágenes más descargados de la plataforma aceptan sin problemas instrucciones para generar imágenes explícitas de personas reales. Solo dos tienen algún tipo de filtro básico.
Esto no es un fallo técnico aislado. Es el resultado directo de la filosofía open-source que prioriza el acceso libre por sobre las salvaguardas éticas. Cualquiera puede descargar el modelo, quitarle los pocos límites que tenga y usarlo para crear material de abuso.
Qué encontró exactamente el informe
AI Forensics probó los modelos top con prompts explícitos de “undress” (desvestir). La gran mayoría respondió generando las imágenes solicitadas. Algunos incluso mejoraron la calidad del rostro o el cuerpo de la persona original, lo que hace más difícil detectar que es falso.
El informe destaca especialmente el riesgo para menores: varios modelos aceptaron prompts que incluían niños sin rechazarlos. Esto abre la puerta a la creación de material de abuso sexual infantil sintético, un terreno legal y ético cada vez más preocupante.
La respuesta de Hugging Face (o la falta de ella)
Hasta el momento, la plataforma se limitó a decir que “condena el mal uso” y que está trabajando en mejores mecanismos de moderación. Pero según AI Forensics, las medidas concretas son mínimas: algunos modelos tienen filtros muy fáciles de eludir y otros directamente no tienen ninguno.
Esto contrasta con lo que ocurre en plataformas cerradas como Midjourney o DALL·E, que tienen capas más fuertes de seguridad (aunque tampoco son infalibles). El modelo abierto permite que cualquiera lo modifique y lo suba de nuevo, creando un ciclo difícil de controlar.
El impacto en Argentina y la región
En un país donde el revenge porn y las filtraciones de imágenes íntimas ya son un problema cotidiano, esta tecnología agrava todo. Cualquier persona con una foto pública de una mujer (de redes sociales, por ejemplo) puede generar una versión desnuda en minutos y distribuirla en grupos de WhatsApp o Telegram.
Las fuerzas de seguridad locales todavía están lejos de tener herramientas forenses para distinguir estos deepfakes con rapidez. Mientras tanto, las víctimas quedan expuestas a un daño que es casi imposible de borrar de internet.
Qué podés hacer para protegerte
Aunque la solución estructural depende de las plataformas y los reguladores, hay pasos concretos que cualquiera puede tomar:
-
Limitá las fotos públicas de tu cara y cuerpo. Cuanto menos material de referencia haya, más difícil es generar un deepfake convincente.
-
Usá herramientas de detección. Hay detectores gratuitos de deepfakes de imágenes (como Hive Moderation o Illuminarty) que podés probar si sospechás de una imagen.
-
Reportá rápido. En Argentina, podés hacer la denuncia en la Unidad Fiscal Especializada en Ciberdelincuencia (UFECI) o a través de la línea 134. Las plataformas también tienen formularios para reportar contenido no consentido.
-
Elegí plataformas con mejores controles. Si necesitás editar imágenes con IA, buscá opciones que tengan políticas claras contra el abuso y verifiquen el uso.
El dilema del open-source
Este caso vuelve a poner sobre la mesa la tensión entre innovación abierta y responsabilidad. Hugging Face democratizó el acceso a modelos potentes, lo que permitió avances increíbles en investigación y aplicaciones útiles. Pero también democratizó el daño.
La pregunta que queda abierta es si es posible mantener el espíritu abierto sin convertir la plataforma en un supermercado de herramientas para acosadores. Por ahora, la respuesta parece ser “no del todo”.
La versión corta: si tenés fotos en internet, asumí que pueden ser usadas para generar deepfakes. Protegete limitando tu exposición digital y sabiendo cómo reportar cuando algo aparezca.
El tema no va a desaparecer. Mientras los modelos sigan siendo fáciles de descargar y modificar, este tipo de abuso va a seguir creciendo. Lo que sí podemos hacer es hablarlo abiertamente y exigir que las plataformas tomen medidas concretas más allá de los comunicados.
