Deepfakes sexuales de menores: las plataformas, bajo presión

La generación de imágenes sexuales falsas de menores ha dejado de ser un problema que pueda resolverse solo con normas internas y formularios de denuncia. El Gobierno ha instado a la Fiscalía General del Estado a investigar si X, Meta y TikTok podrían estar incurriendo en delitos al facilitar la creación o difusión de ese material, mientras el regulador de protección de datos de Irlanda examina el funcionamiento de Grok, la inteligencia artificial asociada a X. La cuestión de fondo es si las plataformas consiguen impedir el abuso antes de que aparezca o si, como suele ocurrir, llegan cuando ya hay copias circulando.

Las tres compañías prohíben la explotación sexual infantil en sus políticas y describen sistemas automáticos, equipos de revisión y canales para denunciar contenidos. Esas medidas importan, pero no bastan para demostrar que el riesgo esté controlado. Los deepfakes se pueden producir a demanda, modificar y volver a publicar en otros espacios: retirar una imagen no borra su rastro ni repara por sí solo el daño. La diferencia entre una respuesta eficaz y una declaración de intenciones se mide en la prevención, la rapidez y la capacidad de evitar que el contenido reaparezca.

De las normas de las redes a una posible investigación penal

La decisión del Ejecutivo español se apoya en un informe técnico elaborado por expertos de varios ministerios sobre posibles responsabilidades penales vinculadas a la generación y difusión de material sexual de menores mediante imágenes manipuladas con inteligencia artificial. El Gobierno ha solicitado a la Fiscalía que valore si corresponde promover actuaciones. Esa petición no equivale a una declaración de culpabilidad ni determina por adelantado el resultado de una investigación: traslada el asunto desde el terreno de las reglas privadas de cada red al de la posible comisión de delitos.

Según la información difundida sobre la medida, el Ejecutivo canaliza la solicitud al amparo del artículo 8 del Estatuto Orgánico del Ministerio Fiscal, que contempla que el Gobierno pida al fiscal general que promueva actuaciones en defensa del interés público. El interés señalado es proteger la seguridad, la imagen, la intimidad y la libertad de los menores. Si se investigan hechos concretos, el análisis debe distinguir entre quienes crean el material, quienes lo distribuyen y las responsabilidades que pudieran corresponder a las empresas, sin dar por probado de antemano que una plataforma haya cometido un delito.

El cambio de enfoque importa porque una infracción de las normas de una red y una conducta perseguible penalmente no son lo mismo. La primera puede llevar a la retirada de una publicación o al cierre de una cuenta; la segunda requiere determinar qué ocurrió, quién intervino, qué pruebas existen y qué establece la ley aplicable. En el entorno digital, esos rastros pueden desaparecer con rapidez cuando se borran mensajes o se cierran perfiles. Por eso, la investigación también pone sobre la mesa la preservación de pruebas y la cooperación con las autoridades, siempre dentro de los cauces legales.

Grok mostró la escala que puede alcanzar la generación de imágenes

El caso que aceleró el debate fue el uso de Grok para crear imágenes sexualizadas de personas a partir de fotografías existentes. En el periodo de once días citado en la información de referencia se generaron más de tres millones de imágenes de desnudos, entre ellas 23.000 que representaban a menores. La cifra muestra una diferencia importante respecto de formas anteriores de abuso: ya no se trata únicamente de compartir una imagen captada por una cámara, sino de fabricar una escena falsa con la apariencia de una persona real.

Para producir una falsificación puede bastar una foto cotidiana, como una imagen de perfil o una publicación en redes. El resultado no convierte la escena en real, pero sí puede someter a la persona representada a humillación, amenazas, chantaje o señalamiento. Entre menores, el impacto no depende de que quienes reciben la imagen crean que es auténtica; basta con que circule, se comente y se use para intimidar. La falsedad del archivo no hace ficticio el daño que su difusión puede causar en un aula, un grupo de amistades o una comunidad local.

Tras las quejas, X anunció restricciones que impedían a Grok editar imágenes de personas reales con ropa reveladora, como bikinis. La medida se aplicó, según la información disponible, también a quienes tenían cuentas de pago. La compañía sostiene que prohíbe la explotación sexual infantil y el contenido íntimo no consentido, y que puede actuar contra las cuentas que infringen sus reglas. Sin embargo, que una función se limite después de un episodio de gran repercusión deja una pregunta sobre el diseño inicial: qué barreras se probaron antes de poner la herramienta al alcance del público.

Irlanda y España amplían el escrutinio institucional

En paralelo a la iniciativa española, la Comisión de Protección de Datos de Irlanda abrió una investigación sobre Grok. Irlanda ocupa un lugar relevante en la supervisión europea de grandes empresas tecnológicas, por lo que sus actuaciones pueden tener consecuencias más allá de un solo país. Una investigación regulatoria no es una sentencia, pero permite examinar qué datos se trataron, qué controles existían, cómo se gestionaron las alertas y qué medidas se adoptaron cuando se detectó el riesgo. El foco pasa de las promesas generales a las decisiones concretas.

Ese examen también plantea si el problema reside exclusivamente en el usuario que formula una petición abusiva o si el diseño de la herramienta redujo demasiado las barreras para llevarla a cabo. La pregunta no convierte automáticamente a una empresa en responsable de cualquier acto de sus usuarios. Sí obliga a aclarar qué mecanismos se incorporaron, qué usos previsibles se tuvieron en cuenta y cómo se respondió ante señales de abuso. En herramientas capaces de generar imágenes, la seguridad no puede limitarse a eliminar publicaciones después: también debe evaluarse antes de que el sistema produzca el archivo.

La presión institucional puede exigir información verificable: qué filtros estaban activos, qué alertas llegaron a la compañía, cuándo se limitaron las funciones y cómo se evita que el mismo material vuelva a aparecer. Para las víctimas, una respuesta automática que no explique si el contenido se retiró o si se impidió su réplica puede resultar insuficiente. Las investigaciones de España e Irlanda no resuelven por sí solas esa necesidad, pero señalan que la transparencia y la rendición de cuentas forman parte de la protección, no son un añadido de comunicación corporativa.

Qué hacen X, Meta y TikTok y qué queda por demostrar

Las grandes redes combinan sistemas automáticos para detectar imágenes, equipos humanos que revisan casos y herramientas de denuncia para usuarios. Ninguna capa funciona por sí sola. Los sistemas automatizados pueden localizar patrones con rapidez, pero tienen dificultades con el contexto, los archivos alterados y los contenidos nuevos; las personas pueden valorar mejor una situación concreta, aunque no siempre reciben la información completa ni trabajan con tiempo suficiente. El profesor Francisco José García Ull, de la Universidad Europea de Valencia, ha señalado tanto los sesgos de la moderación automatizada como las condiciones precarias en las que pueden trabajar equipos subcontratados. El volumen y la velocidad hacen difícil que la revisión llegue antes de la difusión.

X ha afirmado que restringió ciertas funciones de Grok después de que se conociera el uso de la herramienta para alterar imágenes de personas reales. Meta, propietaria de Facebook e Instagram, asegura que prohíbe las imágenes íntimas no consentidas, también cuando se generan con inteligencia artificial, y que elimina el contenido y las cuentas implicadas cuando lo detecta. La empresa también dice que Meta AI y AI Studio están entrenadas para rechazar solicitudes de desnudos o de alteración de imágenes para desvestir a una persona. En el plano publicitario, sostiene que no permite promocionar aplicaciones de desnudez y ha emprendido acciones legales contra una empresa con sede en Hong Kong vinculada a ese tipo de servicios. La existencia de una política, sin embargo, no demuestra por sí misma que todos los casos se detecten a tiempo.

TikTok afirma que prohíbe categóricamente el contenido sexual explícito con menores y que invierte en sistemas para prevenir la explotación de jóvenes. En una presentación sobre sus controles, la plataforma dijo que elimina cada mes unos seis millones de cuentas abiertas por menores de 13 años y que en 2024 retiró más de mil millones de cuentas de spam. También atribuyó a sus herramientas de inteligencia artificial una reducción del 76% en la exposición de moderadores a material que vulnera las normas, un descenso del 34% en intervenciones erróneas, el doble de comentarios inapropiados eliminados y la retirada en 24 horas del 94% de los contenidos prohibidos. Son cifras comunicadas por la propia empresa, no una auditoría independiente de su respuesta a los deepfakes sexuales. Sirven para describir su estrategia declarada, pero no resuelven por sí solas la eficacia en los casos más graves.

Etiquetar el contenido sintético no equivale a impedir el abuso

TikTok también ha apostado por identificar los contenidos generados con inteligencia artificial. La plataforma exige que quienes suben ese material lo etiqueten, y añade la indicación automáticamente cuando se usan algunas de sus propias herramientas. Según la empresa, una marca de agua puede permanecer aunque el archivo se edite. Para los materiales creados fuera de la aplicación, existen mecanismos de procedencia como Content Credentials, que pueden incorporar metadatos sobre el origen de un archivo. Estas señales ayudan a informar sobre la procedencia, pero no sustituyen a los filtros contra contenido sexual de menores.

La identificación tiene límites prácticos. Un archivo puede haberse creado en otra herramienta, perder sus metadatos al editarse o circular sin que quien lo comparte conserve información sobre su origen. Además, una etiqueta que se aplica a una amplia variedad de imágenes sintéticas puede perder capacidad de aviso si los usuarios la ven con demasiada frecuencia, incluso en materiales inocuos. La transparencia es útil para valorar la autenticidad, pero en este caso el objetivo principal no es que el público reconozca que una imagen es falsa: es evitar que se genere y circule una representación sexual de un menor.

El mismo límite afecta a las políticas de tolerancia cero. Una regla clara permite retirar publicaciones y sancionar cuentas, pero su eficacia depende de que la empresa encuentre el contenido, lo clasifique correctamente y actúe sin demoras. Las cifras generales de moderación pueden ocultar diferencias entre tipos de infracción y no siempre revelan cuánto tardó la respuesta en un caso concreto. Para valorar los controles hacen falta datos comparables sobre retiradas, reincidencia y reaparición del material, además de explicaciones sobre los fallos. La etiqueta y la norma son herramientas; el resultado se mide en el daño que consiguen evitar.

Los anuncios muestran la distancia entre una norma y su aplicación

Los problemas no se limitan a las publicaciones orgánicas de los usuarios. En otro caso referido por la información de competencia, una investigación identificó más de 350 anuncios en Facebook, Instagram y Threads que promocionaban aplicaciones de inteligencia artificial capaces de crear imágenes sexuales manipuladas de menores. El análisis señaló que los anuncios alcanzaron más de 29.000 cuentas en países de la Unión Europea y que algunos enlazaban con servicios para desnudar digitalmente a personas o producir imágenes íntimas no consentidas. La publicidad pagada introduce una dimensión distinta: la plataforma no solo aloja contenido, también distribuye anuncios comerciales.

La Fiscalía de San Francisco pidió explicaciones a Meta y que impidiera la publicación de esos anuncios. La empresa respondió que no había indicios de que se hubieran mostrado en esa ciudad y sostuvo que el asunto quedaba fuera de la jurisdicción local. También dijo que muchos anuncios señalados ya se habían retirado antes de la denuncia y que todos los identificados habían sido eliminados por infringir sus políticas; añadió que la mayoría había recibido menos de 200 impresiones y que el gasto publicitario total de los anuncios encontrados era inferior a 5.000 dólares. Esas cifras son la versión de Meta y no eliminan la cuestión de cómo pudieron superar sus controles.

El caso, además, mostró que la retirada de los primeros anuncios no impidió necesariamente que aparecieran otros similares. La investigación citada indicó que algunos anuncios se publicaron después de que se alertara inicialmente a la empresa, mientras los responsables públicos reclamaban información sobre la revisión, la respuesta a denunciantes y las medidas contra anunciantes reincidentes. El dato relevante no es solo cuántas impresiones tuvo una pieza, sino si los sistemas reconocen patrones repetidos y bloquean nuevas versiones. Cuando el mismo reclamo comercial vuelve con otro anuncio, la moderación caso por caso deja un hueco abierto.

La moderación llega tarde cuando solo actúa tras la denuncia

Las herramientas de detección aprenden de patrones y ejemplos, pero un deepfake puede cambiar de aspecto, formato o contexto en cada generación. Esa variación dificulta encontrar copias idénticas mediante sistemas diseñados para reconocer archivos previamente identificados. A ello se suma que los contenidos pueden saltar de una cuenta a otra y de una plataforma a otra, mientras los servicios privados y los grupos cerrados reducen su visibilidad pública. El problema no es únicamente retirar una imagen conocida, sino detectar sus nuevas versiones y frenar su circulación.

La denuncia de usuarios es una pieza necesaria, pero no puede convertirse en la primera y única línea de defensa. En especial, sería injusto trasladar a un menor afectado la carga de perseguir cada copia mediante formularios, capturas y reclamaciones repetidas. Los canales de reporte deben funcionar con rapidez y ofrecer una respuesta comprensible, pero la prevención debe operar antes de que la víctima tenga que identificar el material y señalarlo. Una política eficaz no depende de que la persona dañada haga de moderadora de su propio caso.

También hay un equilibrio delicado entre la detección de abusos y la privacidad de las comunicaciones. No todo mensaje privado puede tratarse como una publicación abierta al público, y cualquier intervención debe respetar las garantías legales correspondientes. A la vez, los espacios cerrados pueden facilitar que el material se comparta con menos posibilidades de detección. No existe una solución que elimine esa tensión de un plumazo; lo que sí cabe exigir es que las empresas expliquen qué controles aplican y cómo responden ante indicios graves. Proteger la privacidad y prevenir la explotación son obligaciones que deben abordarse a la vez.

La responsabilidad no se limita a quien crea la imagen

La cadena de difusión tiene varias etapas: alguien puede generar la imagen, otra persona publicarla, alguien más reenviarla y un tercero utilizarla para amenazar o chantajear. Cada intervención debe valorarse según los hechos y el marco legal aplicable; no corresponde atribuir la misma responsabilidad a todos sin investigar. Pero reducir el asunto al primer usuario que pulsó un botón también deja fuera cómo se amplifica el daño. Compartir una falsificación sexual de un menor no es una acción neutra por el hecho de que el archivo sea sintético.

Las empresas también tienen que explicar cómo se diseñan sus herramientas, qué usos abusivos podían anticipar y qué barreras incorporaron antes de lanzarlas. Eso no significa que cada contenido ilícito generado por un usuario implique automáticamente responsabilidad penal para la plataforma. La investigación debe establecer qué conocía cada actor, qué podía hacer y qué obligaciones le correspondían. Aun así, cuando una función facilita usos previsibles y dañinos, el debate sobre el diseño no puede cerrarse con una norma que prohíba el abuso después de haberlo hecho posible. La seguridad debe formar parte del producto desde el principio, no llegar como parche tras la crisis.

La retirada sigue siendo importante porque limita nuevas visualizaciones, pero no recupera las copias descargadas ni garantiza que una imagen no reaparezca con otro nombre. La víctima puede continuar enfrentándose a rumores y a la incertidumbre sobre quién la ha visto. En el caso de menores, el daño puede alcanzar su vida escolar, familiar y social, aunque la escena representada nunca haya ocurrido. La respuesta debe atender tanto a la eliminación del contenido como a la investigación de la cadena que lo difundió.

La regulación debe distinguir entre abuso y otros usos de la IA

El debate sobre imágenes generadas con inteligencia artificial abarca usos distintos, desde la sátira hasta la desinformación. En algunos casos, la libertad de expresión y la parodia plantean preguntas jurídicas complejas. Esa discusión no debe servir para confundir esos supuestos con la creación o difusión de material sexual que representa a menores. La prioridad es proteger a los niños y determinar, mediante los procedimientos correspondientes, qué conductas son delictivas. La existencia de debates legítimos sobre otros deepfakes no relativiza el abuso sexual digital infantil.

En Europa, la regulación de inteligencia artificial incorpora obligaciones relacionadas con la transparencia de ciertos contenidos sintéticos y con los riesgos de los sistemas. Sin embargo, una etiqueta que identifica una imagen como generada por IA no sustituye a la prevención ni resuelve por sí sola la responsabilidad por su creación o difusión. La investigación irlandesa sobre Grok y la petición española a la Fiscalía representan vías diferentes: una supervisión regulatoria y una valoración penal de posibles hechos. Son mecanismos complementarios, no una sentencia anticipada ni una garantía automática de protección.

El criterio decisivo será cómo se traduzcan esas normas y actuaciones en controles concretos: si se bloquean las solicitudes abusivas, si las alertas reciben una respuesta diligente, si las copias dejan de reaparecer y si las empresas cooperan con las autoridades cuando existe una base legal para hacerlo. También importa que se pueda comprobar qué funcionó y qué falló, en vez de medir la seguridad solo por el número de reglas publicadas. La transparencia permite distinguir una promesa de una medida que realmente reduce el riesgo.

La protección se demuestra antes de la siguiente copia

Las plataformas cuentan con herramientas de detección, políticas contra la explotación sexual infantil y procedimientos para retirar contenidos. Pero el caso de Grok y los anuncios investigados en Meta revelan una brecha entre las reglas escritas y lo que puede llegar a producirse o circular en sus servicios. La respuesta no se demuestra con una declaración de tolerancia cero, sino con la capacidad de anticipar usos dañinos y actuar cuando los controles fallan. La prueba está en lo que la tecnología impide, no solo en lo que promete eliminar.

Para las autoridades, el reto es esclarecer responsabilidades sin confundir una solicitud de investigación con una condena. Para las empresas, consiste en hacer que la seguridad intervenga antes de que una imagen se convierta en publicación viral y en demostrar que las restricciones son eficaces también frente a nuevas versiones y canales. Para quienes difunden el material, la naturaleza sintética de la imagen no borra el impacto sobre la persona representada. La cadena completa debe poder investigarse, desde la generación hasta el reenvío.

El giro que marcan España e Irlanda es que la protección de menores ya no se plantea únicamente como una cuestión de moderación privada. Se examinan también el diseño de las herramientas, la diligencia de las compañías y las consecuencias legales de las conductas implicadas. Las políticas internas seguirán siendo necesarias, pero su valor dependerá de que se traduzcan en prevención efectiva, respuestas rápidas y explicaciones verificables. La línea roja solo existe de verdad cuando el sistema evita que el daño se reproduzca.