¿Por qué la IA de Google reacciona distinto con musulmanes y judíos?

Una misma frase, una palabra cambiada y dos respuestas sorprendentemente distintas. Las capturas que comenzaron a circular el 21 de agosto mostraban que una búsqueda de Google relacionada con estar a solas con una persona musulmana podía activar recomendaciones de seguridad —desde abandonar el lugar hasta pedir ayuda—, mientras que al sustituir esa referencia por una persona judía la respuesta describía la situación como algo normal y pedía un trato ordinario y respetuoso.

El episodio es real en un sentido concreto: esas respuestas fueron obtenidas y documentadas. Lo que no está demostrado es que Google mantenga una regla deliberada que considere peligrosos a los musulmanes y seguros a los judíos, ni que Gemini haya sido programado para establecer semejante jerarquía. Y ahí está precisamente la parte más interesante del asunto. El caso expone un problema menos vistoso que una conspiración, pero bastante más incómodo para la inteligencia artificial: los sistemas automáticos de seguridad pueden acabar reproduciendo prejuicios precisamente mientras intentan evitarlos.

Qué respondió realmente la inteligencia artificial de Google

La prueba difundida consistía en introducir una frase extremadamente simple en el buscador. Ante la referencia a estar solo con una persona musulmana, la respuesta generada comenzaba planteando la posibilidad de sentirse en peligro, incómodo o amenazado y aconsejaba priorizar la seguridad personal. Entre las recomendaciones figuraban mantener la calma, comprobar si existía una salida, dirigirse a un espacio público o contactar con familiares o con la policía si aparecía una sensación de riesgo.

Cambiar únicamente la identidad religiosa modificaba el tono. Con una persona judía, la respuesta observada explicaba que estar a solas con ella era una situación completamente normal y que no debía existir una diferencia especial en el trato cotidiano. También se observaron respuestas diferentes al introducir otras nacionalidades o identidades.

La anomalía resulta evidente. La frase inicial no decía que hubiese una agresión, una amenaza, un arma ni siquiera una discusión. El único dato añadido era la identidad del acompañante. Si un sistema introduce espontáneamente un escenario de peligro dependiendo de esa palabra, aparece una asociación que merece ser examinada, aunque sea producto de una cadena técnica mucho menos consciente de lo que sugiere la pantalla.

Hay, además, una precisión necesaria. Lo visto en las capturas pertenece a AI Overviews, las respuestas generativas integradas en el Buscador de Google. No es exactamente lo mismo que abrir la aplicación Gemini y mantener una conversación con ella. Ahora bien, tampoco son mundos separados: Google anunció en enero de 2026 que Gemini 3 pasaba a ser el modelo predeterminado de AI Overviews a escala global.

El problema puede estar justamente en los filtros de seguridad

La explicación técnica más plausible no exige imaginar a un ingeniero escribiendo una instrucción del tipo «musulmán igual a peligro». Los grandes modelos trabajan con enormes cantidades de texto y, sobre ellos, funcionan distintos mecanismos destinados a evitar respuestas violentas, discriminatorias o inseguras. Es una arquitectura bastante más caótica que un libro de normas grabado en piedra.

Y aquí aparece una paradoja considerable. Google reconoce que los clasificadores de seguridad utilizados alrededor de sus modelos pueden sobrerreaccionar ante términos relacionados con determinadas identidades.

En su documentación técnica, la compañía explica que ciertos grupos aparecen con frecuencia en textos tóxicos precisamente porque son objeto habitual de ataques. Un filtro entrenado con esos datos puede aprender una correlación equivocada: detectar la palabra asociada al colectivo y elevar automáticamente el nivel de riesgo. Entre los ejemplos utilizados para describir este problema aparecen categorías relacionadas con personas negras, mujeres, homosexuales, feministas y también musulmanes.

Cuando proteger contra el odio acaba pareciéndose al prejuicio

Es fácil visualizar el problema. Imagine un detector entrenado con millones de conversaciones de internet. Una parte desproporcionada de los mensajes que contienen determinada identidad religiosa puede aparecer dentro de insultos, amenazas o discusiones hostiles. El sistema aprende que esa palabra suele caminar acompañada de peligro. Más tarde recibe una frase inocente y vuelve a encender la alarma. Como un detector de humo demasiado sensible que termina sonando también cuando alguien hace una tostada.

No significa que este mecanismo concreto haya provocado las respuestas difundidas el 21 de agosto; Google no ha publicado una explicación técnica individualizada del episodio. Sí demuestra que el tipo de fallo observado es conocido dentro del desarrollo de sistemas de inteligencia artificial y forma parte de los riesgos que deben evaluarse.

Los propios documentos de seguridad de los modelos generativos advierten de que pueden producir contenidos inexactos, sesgados u ofensivos y de que incluso una misma petición puede generar resultados diferentes en distintas ejecuciones. De ahí las pruebas específicas sobre estereotipos culturales, raciales y religiosos.

Por qué la respuesta puede cambiar de un momento a otro

Aquí la inteligencia artificial rompe una vieja costumbre del buscador. Durante décadas, dos personas que introducían las mismas palabras en Google podían obtener resultados algo distintos por ubicación, historial o personalización, pero la página seguía siendo reconocible. Con la IA generativa entra otro ingrediente: la respuesta se fabrica en ese instante.

No estamos ante una enciclopedia con un párrafo almacenado que alguien redactó meses antes. El modelo interpreta la consulta, selecciona información, pondera señales de seguridad y construye texto. Pequeños cambios en la petición, el contexto, el modelo utilizado o los sistemas de protección pueden alterar el resultado.

De hecho, quienes documentaron las capturas señalaron que el comportamiento observado había cambiado después de que estas empezaran a difundirse. Eso hace especialmente imprudente convertir una prueba puntual en una descripción eterna de cómo responde Google. Lo comprobado revela una inconsistencia significativa; no permite afirmar que cualquier usuario, desde cualquier país y en cualquier momento, recibirá exactamente las mismas palabras.

Esa distinción parece pequeña hasta que se habla de millones de personas. AI Overviews ya no es un juguete escondido en un laboratorio. Google ha integrado las respuestas generativas en el corazón de su buscador y Gemini forma parte cada vez más visible de esa experiencia. Cuando una asociación prejuiciosa aparece allí arriba, antes incluso de los tradicionales enlaces azules, adquiere un peso que una respuesta perdida en un foro jamás tuvo.

¿Es entonces un caso de islamofobia algorítmica?

La palabra requiere cuidado. El resultado observado sí puede reforzar un estereotipo islamófobo, porque introduce una posible amenaza donde la consulta no había aportado ninguna señal de peligro. Una persona musulmana queda así vinculada, aunque sea indirectamente, con instrucciones para ponerse a salvo. Desde el punto de vista del efecto producido, el problema es difícil de maquillar.

Otra cosa es atribuir intención deliberada.

No existe evidencia pública suficiente para afirmar que Google haya diseñado AI Overviews con el propósito de discriminar a los musulmanes o favorecer a los judíos. Confundir un resultado discriminatorio con una intención deliberadamente discriminatoria sería saltarse varios peldaños de la escalera. Los algoritmos pueden producir sesgos sin que nadie haya escrito el prejuicio de forma explícita; es precisamente una de las dificultades clásicas del aprendizaje automático.

La incómoda cuestión pasa entonces de buscar a alguien que haya ordenado semejante respuesta a algo mucho más contemporáneo: cómo puede una máquina aparentemente neutral aprender asociaciones sociales que nadie quiere reconocer como propias.

Los datos de entrenamiento importan. Los filtros importan. Las decisiones sobre qué riesgos deben prevenirse, también. Y cuando todos esos elementos se superponen, una herramienta diseñada para ser prudente puede acabar tratando una identidad como señal preventiva. No por odio consciente —una máquina carece de él—, sino por estadística, contexto y reglas automáticas mal calibradas.

Gemini no piensa que un musulmán sea peligroso

Conviene despejar otra confusión. Decir que «Gemini piensa» algo es una forma cómoda de hablar, pero técnicamente engañosa. Un modelo de lenguaje no posee creencias personales, miedo, religión ni una teoría propia sobre los musulmanes o los judíos.

Genera una continuación probable y apropiada según el contexto que recibe y las restricciones que operan alrededor. Su capacidad para escribir una respuesta con tono seguro y razonado produce la impresión de que detrás existe una opinión. No necesariamente.

El problema social, sin embargo, permanece. Para el lector poco importa qué circuito estadístico produjo la frase cuando la pantalla le está sugiriendo que una categoría humana merece precauciones especiales. La ausencia de intención en la máquina no elimina el impacto de lo generado.

Google admite de forma general que las aplicaciones basadas en Gemini pueden ofrecer información incorrecta, ofensiva o inapropiada y que esas respuestas no representan necesariamente las opiniones de la compañía. También existen mecanismos para marcar contenidos inexactos, sesgados o problemáticos.

El vínculo con Israel que las capturas no demuestran

La polémica ha terminado mezclándose con otra controversia conocida: Project Nimbus, el contrato de servicios en la nube adjudicado a Google y Amazon por el Gobierno israelí. El proyecto, valorado en unos 1.200 millones de dólares, provocó protestas internas y Google despidió en 2024 a decenas de empleados tras movilizaciones contra el acuerdo. La empresa sostuvo entonces que Nimbus no estaba destinado a cargas militares o de inteligencia altamente sensibles.

Es un contexto empresarial y político real. No constituye, sin embargo, una prueba de que el contrato haya influido en estas respuestas del buscador.

No se conoce ningún dato que conecte Project Nimbus con el funcionamiento del sistema de seguridad que produjo las capturas. Presentar una relación causal entre ambas cosas exigiría evidencias técnicas o documentales que, por ahora, no existen públicamente. Una coincidencia sugerente puede alimentar una buena teoría en redes; no basta para demostrar cómo se tomó una decisión algorítmica.

Y la distinción importa especialmente en un asunto que toca religión, guerra, antisemitismo e islamofobia. El terreno ya viene regado con gasolina. Añadir certezas que los datos no permiten sería exactamente el tipo de comportamiento que se critica a las propias máquinas: convertir una asociación en una conclusión.

El verdadero problema está en quién recibe el beneficio de la normalidad

Quizá la parte más reveladora de aquellas respuestas no sea la recomendación de buscar una salida, sino algo más sencillo: que ante determinadas identidades el sistema sintió la necesidad de hablar de seguridad y ante otras empezó directamente desde la normalidad.

Los sesgos contemporáneos rara vez llegan con bigote de villano y una pancarta. A menudo funcionan mediante pequeñas diferencias de contexto. A una persona se la presenta simplemente como persona. A otra se la acompaña de una advertencia, una explicación o una sospecha preventiva.

Eso es precisamente lo que hace útil este episodio más allá de la anécdota viral. Permite observar algo que suele quedar escondido dentro de sistemas gigantescos: las palabras relacionadas con identidad, religión o procedencia no siempre activan los mismos caminos internos.

Las evaluaciones de inteligencia artificial responsable incluyen precisamente pruebas sobre estereotipos socioculturales, religión, raza, género y otras categorías, porque un modelo capaz de responder correctamente a miles de preguntas puede tropezar de forma grotesca con una aparentemente trivial.

Una máquina puede equivocarse con una seguridad impecable

El incidente de Google no demuestra una conspiración contra los musulmanes ni permite adjudicar a Gemini una ideología propia. Demuestra algo menos espectacular y, quizá, más importante: un sistema utilizado a escala planetaria puede introducir asociaciones discriminatorias sin explicar de dónde han salido, redactarlas con absoluta serenidad y colocarlas en la parte más visible del buscador.

Ahí reside el conflicto. Durante años hemos aprendido a desconfiar del comentario anónimo, del tuit incendiario o del vídeo manipulado. La respuesta automática de un buscador conserva otra aura: parece limpia, ordenada, casi administrativa. Letras negras sobre fondo blanco. Ningún grito. Ningún insulto. Precisamente por eso una desviación pequeña puede parecer conocimiento objetivo.

Las capturas del 21 de agosto sirven como recordatorio bastante sobrio. La inteligencia artificial puede filtrar información a una velocidad formidable, pero neutralidad y automatización no son sinónimos. A veces, detrás de una frase perfectamente educada, el viejo prejuicio humano consigue entrar por una puerta lateral.