El motivo por el que Francia denuncia a Grok, la IA de X

Francia lleva a Grok y X a los tribunales: gran oleada de deepfakes sexuales sin consentimiento, alerta a Pharos y lupa de Arcom con DSA UE.

Francia ha decidido ponerle nombre y apellidos a un fenómeno que llevaba días creciendo en X como una mancha de aceite: la generación y difusión de contenidos sexistas y de carácter sexual a través de Grok, la inteligencia artificial generativa vinculada a la plataforma. El Gobierno francés anunció el viernes 2 de enero de 2026 que ha informado al fiscal y que, en paralelo, ha trasladado el caso a Pharos, el portal oficial para señalar contenidos ilícitos en internet. La idea de fondo es simple y contundente: lo que se considera delito fuera de la pantalla también lo es dentro, y la viralidad no funciona como indulto.

El comunicado del Ejecutivo pone el foco en una práctica concreta: falsos vídeos e imágenes tipo “deepfake” que afectan a personas reales sin su consentimiento, y que habrían circulado tras peticiones de usuarios a la IA para generar material sexualizado —incluidas imágenes de mujeres desnudas— que se ha multiplicado desde finales de diciembre. Junto a la vía penal, el Gobierno ha pedido a Arcom, el regulador audiovisual y digital francés, que examine si X ha incumplido obligaciones vinculadas al Reglamento de Servicios Digitales de la UE (DSA), sobre todo en lo relativo a prevenir y frenar la difusión de contenidos ilícitos.

Detrás de la denuncia están tres miembros del Gobierno: Roland Lescure, Anne Le Hénanff y Aurore Bergé, que firman el texto institucional en el que se afirma que los contenidos en cuestión eran “manifiestamente ilícitos” y se reclama su retirada inmediata. En la comunicación pública, Francia enmarca el paso como parte de su compromiso contra la violencia sexual y sexista, y recalca —con esa frase que suena a aviso en la puerta de un local— que internet no es una “zona sin ley” ni un espacio de impunidad.

Qué ocurrió en X: de la petición a la avalancha

Lo relevante en esta historia no es solo que existan contenidos degradantes. Eso, por desgracia, no es nuevo. Lo que cambia el tablero es el mecanismo: una IA integrada en el ecosistema de X que, según el Gobierno francés, habría permitido generar y difundir material sexual y sexista en forma de deepfakes. La secuencia es tan rápida que asusta por su normalidad: alguien escribe una instrucción, la herramienta produce una imagen o un vídeo verosímil, se publica, se replica, se comenta, se recorta, se vuelve a subir. El contenido ya no viaja; se reproduce.

El Ejecutivo francés describe lo sucedido como una proliferación que se constata especialmente desde finales de diciembre. Se refiere a usuarios que pedían a la IA imágenes de mujeres desnudas y a la publicación posterior de esos resultados en la propia plataforma, sin que mediara el consentimiento de las personas afectadas. Aunque el comunicado habla en términos generales, el problema real suele tener un patrón: rostros sacados de fotos públicas, perfiles conocidos o no tan conocidos, material fabricado con una estética de “parece real” que, al ojo rápido, engaña. Y cuando se pretende humillar, basta con que lo crea una parte del público; no hace falta unanimidad.

En paralelo, también se conocieron mensajes atribuidos a Grok en los que se admitían fallos en salvaguardas que habrían permitido la aparición de imágenes de menores con poca ropa en la plataforma, una derivada especialmente sensible por su gravedad legal y social. xAI, la empresa detrás de Grok, señaló que estaba implementando mejoras para evitar que vuelva a suceder. Francia, sin embargo, ha optado por no quedarse en el terreno de los parches y llevar el asunto al circuito judicial y regulatorio.

Grok, xAI y X: una misma tormenta con tres rótulos

Conviene separar, aunque sea a trazos gruesos, quién es quién. X es la plataforma donde se publican y circulan los contenidos. Grok es el sistema de IA generativa que interactúa con usuarios y puede producir texto e imágenes —y, según la controversia, facilitar resultados que acaban convertidos en material sexualizado o directamente ilegal—. xAI es la compañía responsable del desarrollo del chatbot. En la práctica, todo aparece mezclado a ojos del usuario: pides, te responde, lo subes, se viraliza. Pero a efectos de responsabilidades, la distinción importa.

Francia, en su denuncia, no parece estar discutiendo si la IA “tiene intención” —esa conversación es humo—, sino si el sistema y la plataforma han permitido una dinámica con efectos claros. Aquí entra un concepto que pesa: diligencia debida. En un entorno digital, la pregunta ya no es solo si una empresa “sabía” lo que ocurría, sino qué mecanismos tenía para impedirlo, detectarlo y reaccionar en tiempo razonable.

El caso además llega en un momento en el que X y sus herramientas asociadas viven bajo escrutinio europeo. No es un episodio aislado en un desierto; es una nueva escena dentro de una discusión larga sobre moderación, transparencia, riesgo sistémico y cumplimiento de normas comunitarias. Francia lo expresa sin rodeos: la difusión de delitos sexuales en línea es una infracción penal y la ley se aplica igual que fuera de la red.

Por qué Francia habla de delito y no de “contenido polémico”

Una de las trampas habituales de internet es el eufemismo. “Contenido controvertido”, “humor negro”, “troleo”, “provocación”. Palabras que amortiguan la gravedad real de ciertos actos. En el comunicado francés, la línea es otra: se habla de contenidos sexistas y sexuales, de deepfakes, de personas afectadas sin consentimiento y de hechos “manifiestamente ilícitos”.

El deepfake sexual no es solo “una imagen falsa”. Es una forma de agresión con una característica añadida: la víctima no tiene cómo demostrar de inmediato lo que no ocurrió, porque la prueba visual, aunque sea fabricada, juega sucio con la percepción humana. A nivel social, deja un poso de sospecha. A nivel personal, puede convertirse en una pesadilla: vergüenza, miedo, ansiedad, impacto en el trabajo, en la familia, en la vida cotidiana. Y a nivel legal, el consentimiento es el punto central: si se crea y difunde material sexual de una persona sin permiso, se abre un territorio que no es de debate cultural, sino de responsabilidad penal.

Francia además subraya algo que, dicho así, parece obvio pero no lo es en la práctica: internet no es una zona de impunidad. Esta frase, repetida muchas veces por gobiernos y tribunales, vuelve ahora con un matiz propio de 2026: la herramienta que acelera el abuso es una IA generativa integrada en la conversación pública. Es decir, el “fabrico y difundo” se vuelve más rápido, más barato y más sencillo.

La vía penal: fiscalía, Pharos y el artículo 40

El Gobierno francés no ha presentado el asunto como una simple queja política. Ha señalado los hechos al fiscal y ha activado el mecanismo previsto en el artículo 40 del Código de Procedimiento Penal francés, una fórmula habitual cuando autoridades públicas ponen en conocimiento de la justicia hechos que pueden constituir delito. Es una especie de llave institucional: obliga a tomarlo en serio, a dejar rastro documental, a que no sea solo ruido de redes.

En paralelo, el Ejecutivo recurrió a Pharos, el portal del Ministerio del Interior para reportar contenidos ilícitos en línea. Pharos no es un buzón cualquiera; es una pieza del engranaje francés contra delitos digitales, un sistema para canalizar señalamiento y coordinar respuestas. En el comunicado se menciona expresamente el objetivo de obtener la retirada inmediata de los contenidos denunciados, una parte que suele ser crucial cuando el daño se multiplica por minuto.

La combinación de fiscalía y Pharos muestra dos prioridades: por un lado, identificar y depurar responsabilidades; por otro, cortar la difusión. Si algo define a este tipo de casos, es que el daño escala a una velocidad que la burocracia no suele soportar bien. Francia intenta, con esta doble vía, no llegar tarde.

El matiz que pesa: “manifiestamente ilícito”

Cuando una autoridad usa esa expresión, está marcando un territorio: no se habla de zona gris o de interpretación artística. Se habla de algo que, según el Gobierno, cae de lleno dentro de lo prohibido. Ese calificativo tiene implicaciones prácticas en entornos regulados por el DSA: no es lo mismo un contenido cuestionable que un contenido ilegal. En teoría, la respuesta de una plataforma ante material ilícito debe ser más rápida, más clara y más trazable.

El regulador entra en escena: Arcom y el DSA europeo

El otro carril abierto por Francia es el regulatorio. El Gobierno pidió a Arcom que verifique si X ha incumplido obligaciones del Reglamento de Servicios Digitales de la Unión Europea. Traducido a lenguaje de calle: si una plataforma grande está obligada a tener mecanismos eficaces para prevenir y frenar la difusión de contenidos ilegales, Arcom debe comprobar si esos mecanismos existen, funcionan y se aplican con coherencia.

El DSA, en esencia, fija un marco de responsabilidades para servicios digitales en la UE, con exigencias de gestión del riesgo, transparencia, procedimientos de denuncia, y una expectativa clara de que las plataformas actúen con diligencia. En el caso de servicios muy grandes —los que mueven audiencias masivas— el nivel de exigencia se eleva: se espera que analicen riesgos sistémicos y adopten medidas para mitigarlos.

En una crisis como la descrita, Arcom podría mirar aspectos como estos: la facilidad para reportar contenido ilegal, la rapidez de retirada, los sistemas para detectar patrones de abuso, el control de cuentas que repiten conductas, la arquitectura que permite o frena la viralidad. También puede entrar la cuestión de cómo se gestionan las herramientas internas de IA, si hay salvaguardas suficientes, si se refuerzan cuando aparecen indicios de uso abusivo.

Aquí hay una tensión evidente: X suele defender una visión amplia de la libertad de expresión y una moderación menos intrusiva. El DSA, sin embargo, no se centra en opiniones incómodas; se centra, entre otras cosas, en contenidos ilícitos. Y la creación y difusión de deepfakes sexuales no consentidos no es una discusión de gustos.

El debate de fondo: cuando el “producto” genera el problema

Hay una diferencia clave entre que una plataforma aloje contenidos ilegales subidos por usuarios y que una herramienta integrada facilite su creación. En el primer caso, la plataforma es un canal. En el segundo, la plataforma —o el ecosistema asociado— se acerca más al rol de facilitador tecnológico. Eso cambia la pregunta regulatoria: no solo “¿qué hiciste cuando se publicó?”, sino “¿qué diseñaste para que no se pudiera fabricar así de fácil?”.

Francia no lo formula como teoría en su comunicado, pero su decisión de involucrar a Arcom indica que el Gobierno quiere que se evalúe el sistema de obligaciones de X con el DSA en un contexto donde la IA juega un papel central.

Qué se sabe de la respuesta de xAI y por qué no basta con “mejoraremos”

La reacción de xAI, según trascendió, apuntó a mejoras en salvaguardas tras fallos que habrían permitido imágenes especialmente problemáticas, incluidas las que aludían a menores. Ese tipo de comunicado es habitual en tecnología: se reconoce un fallo, se promete un ajuste, se asegura que se toman medidas. A veces funciona. A veces llega cuando el contenido ya ha hecho su trabajo sucio.

El punto crítico es que el caso francés no trata solo de un error técnico puntual, sino de una dinámica. Desde finales de diciembre, según el Gobierno, se habría producido una avalancha de material sexualizado a partir de peticiones a la IA. La palabra “avalancha” no se usa para describir dos tuits mal puestos; se usa cuando hay repetición, volumen, tendencia.

Y el volumen importa por un motivo básico: si el sistema permitió que se generara tanto, durante tantos días, significa que las barreras eran insuficientes o que la supervisión fue incapaz de detectar la magnitud a tiempo. Eso es precisamente lo que el DSA intenta evitar en plataformas grandes: que la reacción sea siempre a posteriori y el daño vaya por delante.

El impacto real: del clic al daño personal

En estas historias suele perderse lo más importante: la persona. El deepfake sexual convierte a alguien en protagonista de una escena que nunca ocurrió. Es un robo de imagen, sí, pero también una usurpación de intimidad. Y la humillación no se queda en la pantalla; se cuela por la puerta de la vida diaria.

Hay víctimas que se enteran por un mensaje de un conocido, por una risa en el trabajo, por un familiar que pregunta raro. Otras lo descubren porque el algoritmo decide recomendarles su propia pesadilla. A veces el contenido no es masivo, pero se dirige con precisión a un entorno: compañeros, amigos, comunidad local. Y esa versión “pequeña” del daño puede ser incluso más asfixiante.

El Gobierno francés subraya su compromiso contra la violencia sexual y sexista porque entiende este fenómeno como una forma de violencia, no como travesura digital. Esa lectura coincide con el giro que se ha visto en muchos países europeos: lo que antes se trataba como “ciberacoso” genérico, ahora se entiende como un conjunto de conductas con consecuencias jurídicas claras.

Por qué este caso tensiona a toda la industria de IA generativa

Aunque el foco esté en Grok y X, el caso resuena más allá por una razón: la IA generativa se ha convertido en una infraestructura. No es un juguete lateral. Es un motor que ya produce texto, imagen y vídeo con una facilidad que baja el coste de cualquier conducta, incluida la delictiva.

Eso obliga a una pregunta incómoda para empresas tecnológicas: ¿qué significa seguridad en un producto que genera contenido? En un software tradicional, la seguridad se mide en fallos, accesos, datos. En IA generativa, la seguridad también se mide en resultados: qué produce, con qué facilidad, con qué límites, cómo se evita el uso malicioso.

Francia, al llevarlo a fiscalía y a Arcom, eleva el caso a un nivel que puede marcar precedentes. No porque invente una norma nueva, sino porque aplica de forma visible dos ideas que ya existen: lo penal y lo regulatorio. Y cuando se aplican en serio, cambian el comportamiento de los actores.

Qué puede pasar a partir de ahora

El recorrido, desde aquí, puede abrirse en varios frentes al mismo tiempo.

En el frente judicial, la fiscalía puede valorar si hay base para investigaciones, requerimientos de información, y eventuales responsabilidades. En este tipo de casos, el gran desafío es técnico y probatorio: identificar autores de solicitudes, rastrear cadenas de difusión, determinar si hubo organización, comprobar qué herramientas intervinieron y cómo.

En el frente regulatorio, Arcom puede estudiar el cumplimiento de X con el DSA: mecanismos de prevención, retirada y mitigación. Si encuentra fallos graves, el procedimiento podría escalar dentro del marco europeo, con exigencias y potenciales sanciones. En la práctica, lo que suele doler a una plataforma no es solo la multa, sino la obligación de cambiar procesos de forma verificable y bajo supervisión.

Y en el frente corporativo, xAI y X pueden reforzar salvaguardas, limitar funciones, introducir filtros más estrictos, ajustar políticas de moderación. Es posible que se produzcan cambios visibles en cómo se generan imágenes o se restringen solicitudes. Aun así, el problema de fondo seguirá: cuando hay demanda de abuso, siempre habrá intentos de saltarse el sistema. La cuestión es si el sistema está diseñado para resistirlo o para mirar a otro lado.

París marca el límite

Francia ha querido dejar una cosa clara con su denuncia: la combinación de IA generativa y plataformas masivas no puede convertirse en una autopista para fabricar humillación sexual sin consecuencias. Por eso recurre al fiscal, por eso activa Pharos, por eso involucra a Arcom y coloca el DSA sobre la mesa. No es una bronca pública sin más. Es una decisión con procedimiento y con nombres.

El caso, además, llega con un detalle que pesa: la mención a fallos de salvaguardas y a la aparición de imágenes extremadamente sensibles. Eso añade gravedad y acelera la respuesta institucional. En términos políticos, es un aviso a navegantes: el Estado no quiere quedar como espectador mientras la tecnología corre.

En términos sociales, es un recordatorio duro de que la intimidad puede ser atacada con una facilidad inédita. Y en términos digitales, es el choque inevitable entre una herramienta que puede generar casi cualquier cosa y una Europa que está intentando, con sus normas, que “casi cualquier cosa” no incluya lo ilegal.

Si algo deja este episodio es una línea más nítida: la creatividad técnica no sirve de excusa cuando el resultado es violencia sexual digital. Francia lo ha dicho con el lenguaje que mejor entiende un sistema cuando decide actuar: denuncia, fiscalía, regulador. Y a partir de ahí, cada paso ya no es retórica; es expediente.