¿Por qué los promedios engañan? Así funciona la paradoja de Simpson

Un promedio puede ser matemáticamente impecable y, aun así, llevarnos a una conclusión equivocada. No porque las cifras mientan —los números tienen otros defectos, pero no ese—, sino porque al juntar grupos diferentes podemos borrar una información decisiva. Incluso puede ocurrir algo bastante más desconcertante: que una tendencia visible dentro de cada grupo cambie de sentido cuando todos los datos se mezclan.

Eso es la paradoja de Simpson, uno de los fenómenos más llamativos de la estadística. Aparece cuando una relación observada en varios grupos separados desaparece o se invierte al combinar esos grupos. Un tratamiento puede obtener mejores resultados que otro entre pacientes comparables y, sin embargo, parecer peor al mirar únicamente el porcentaje total. Una universidad puede mostrar una determinada diferencia global en las admisiones y ofrecer una imagen muy distinta cuando los datos se separan por departamentos.

No hay magia. Tampoco una grieta en las matemáticas. Lo que cambia es el peso de cada grupo dentro del promedio general. Y ahí, bajo una cifra aparentemente sencilla, puede esconderse medio elefante.

Qué es realmente la paradoja de Simpson

La paradoja aparece cuando una asociación entre dos variables cambia al introducir una tercera variable relevante. En términos sencillos, vemos una tendencia al observar los datos completos, pero encontramos otra —incluso la contraria— cuando los separamos en categorías comparables.

Imaginemos dos tratamientos médicos, A y B. Al juntar a todos los pacientes, B consigue un porcentaje de éxito mayor. Parece asunto resuelto: B funciona mejor. Pero dividimos a los pacientes según la gravedad de su enfermedad y descubrimos que A obtiene mejores resultados tanto entre los casos leves como entre los graves.

¿Cómo puede A ser mejor en los dos grupos y, al mismo tiempo, peor en el conjunto? Porque los porcentajes globales no se construyen con los mismos pesos. Si el tratamiento A se utilizó sobre todo con pacientes graves y B principalmente con pacientes leves, el resultado agregado estará condicionado por esa distribución.

El porcentaje final mezcla dos cosas distintas: la eficacia del tratamiento y la composición de los pacientes tratados. La paradoja no demuestra que los promedios sean inútiles. Demuestra algo bastante menos cómodo: que un promedio necesita contexto.

El ejemplo médico que convierte la teoría en algo muy concreto

Uno de los casos reales más citados procede del tratamiento de los cálculos renales. Un estudio comparó la cirugía abierta con la nefrolitotomía percutánea y, al observar todos los pacientes juntos, el segundo procedimiento parecía superior.

La cirugía abierta había tenido éxito en 273 de 350 pacientes, un 78%, mientras que el otro tratamiento alcanzaba 289 éxitos de 350, aproximadamente un 83%. Con esos números sobre la mesa, la elección parecería bastante sencilla.

Hasta que se separaron los casos según el tamaño de los cálculos. Entre los pacientes con cálculos pequeños, la cirugía abierta obtuvo un éxito de aproximadamente el 93%, frente a cerca del 87% del procedimiento percutáneo. Entre quienes tenían cálculos grandes también fue superior: alrededor del 73% frente al 69%.

Es decir: la cirugía abierta daba un porcentaje mejor en ambos tipos de pacientes, pero su porcentaje global era peor. El motivo estaba en quién recibía cada tratamiento. La cirugía abierta se utilizaba proporcionalmente mucho más en los casos difíciles, mientras que el otro procedimiento acumulaba una gran cantidad de pacientes con cálculos pequeños.

Los resultados generales estaban comparando poblaciones diferentes. El promedio no estaba mal calculado. La interpretación era el problema.

Los pesos importan tanto como los porcentajes

Aquí está el mecanismo que suele pasar inadvertido. Un promedio total funciona, en realidad, como un promedio ponderado. Los grupos con más observaciones pesan más. Por eso no basta con comparar un 78% con un 83%; hay que saber de dónde salen esos porcentajes.

Dos empresas pueden tener cada una una tasa de conversión mejor que su rival tanto en ordenadores como en móviles y, pese a ello, registrar una conversión global inferior si reciben proporciones muy distintas de usuarios desde cada dispositivo.

Parece absurdo hasta que se mira la distribución. Entonces deja de ser paradoja y se convierte, sencillamente, en aritmética.

El famoso caso de Berkeley y las admisiones universitarias

La paradoja de Simpson adquirió especial notoriedad por un análisis de las admisiones de posgrado de la Universidad de California en Berkeley correspondiente a 1973.

Los datos globales mostraban una diferencia importante: aproximadamente el 44% de los hombres solicitantes fueron admitidos frente al 35% de las mujeres. Una lectura únicamente agregada podía sugerir una desventaja para las aspirantes.

Pero el panorama cambiaba al examinar las solicitudes por departamentos. Las mujeres habían presentado proporcionalmente más solicitudes en programas con tasas de admisión especialmente bajas, mientras que los hombres estaban más concentrados en departamentos en los que entrar resultaba más sencillo.

El departamento funcionaba así como una variable esencial para interpretar los porcentajes generales. La comparación agregada juntaba procesos selectivos con dificultades distintas.

El caso se convirtió en un ejemplo clásico precisamente porque ilustra una advertencia incómoda: desagregar los datos puede cambiar radicalmente la historia que parecen contar.

Eso tampoco significa que dividir siempre sea mejor. La estadística no entrega semejantes comodines. Significa que debemos identificar qué variables son relevantes para la comparación y qué relación guardan entre sí.

Por qué ocurre: la variable que el promedio deja fuera

En muchos casos, detrás de la paradoja aparece una variable de confusión: un factor relacionado tanto con el grupo que estamos comparando como con el resultado.

En medicina puede ser la gravedad de la enfermedad. En educación, el tipo de centro o la dificultad del programa. En una tienda online, el dispositivo utilizado, el país o el canal por el que llega el cliente. En datos laborales, la experiencia o el tipo de ocupación.

Al ignorar esa variable, mezclamos categorías que no parten de las mismas condiciones. Es como comparar el consumo medio de dos coches después de probar uno casi siempre en autopista y el otro principalmente por el centro de Madrid un viernes a las siete. El cálculo de litros por cada 100 kilómetros puede ser exacto; la comparación, bastante menos.

Hay algo contraintuitivo en todo esto. Estamos acostumbrados a pensar que cuantos más datos reunamos, más fiable será la respuesta. En términos de tamaño de muestra puede ser cierto, pero agregar observaciones también puede borrar estructura.

Si mezclamos grupos cuya tasa de partida es muy distinta, desaparecen las diferencias internas. Una estadística global comprime la realidad hasta convertirla en un solo número. A veces es justamente lo que necesitamos. Otras, estamos haciendo puré con los datos y luego preguntándonos dónde quedaron los ingredientes.

Por eso la paradoja de Simpson aparece en debates sobre inferencia causal, el campo que intenta distinguir una mera asociación estadística de una verdadera relación de causa y efecto. Ver que dos variables se mueven juntas no basta. Hay que entender qué factores intervienen, cuál precede a cuál y qué mecanismo podría conectarlas.

No basta con dividir los datos hasta encontrar algo bonito

La paradoja tiene también una lectura menos popular, pero importante. La solución no consiste en segmentar una base de datos una y otra vez hasta obtener el resultado que nos guste.

Separar por una variable incorrecta puede confundir tanto como agregar demasiado. Para decidir qué comparación tiene sentido hace falta conocer el fenómeno estudiado. En un ensayo médico importa la gravedad inicial del paciente porque puede afectar simultáneamente al tratamiento recibido y al resultado. En otras situaciones, controlar determinadas variables puede introducir nuevos sesgos en lugar de eliminarlos.

La estadística, dicho de otro modo, no sustituye al conocimiento del problema. Una hoja de cálculo sabe dividir 289 entre 350 con una obediencia admirable; no sabe por qué un médico eligió un tratamiento para un paciente concreto. Ahí aparece la frontera entre calcular y comprender.

Aunque lleva el apellido de Edward H. Simpson, el fenómeno había sido estudiado antes. Karl Pearson señaló problemas relacionados a finales del siglo XIX y George Udny Yule analizó asociaciones engañosas a comienzos del XX.

Simpson publicó en 1951 un influyente trabajo sobre la interpretación de interacciones en tablas de contingencia, y su nombre terminó quedando unido al fenómeno. Así que tampoco aquí el nombre cuenta toda la historia. Apropiado, casi con mala leche estadística.

Desde entonces, la paradoja se ha convertido en una referencia habitual para explicar los peligros de interpretar porcentajes sin estudiar cómo están construidos. Su importancia ha crecido, más que disminuir, en una época dominada por paneles de métricas, experimentos A/B, clasificaciones, algoritmos y toneladas de datos resumidas en indicadores de aspecto tranquilizador.

Una empresa anuncia que ha mejorado su satisfacción media. Un hospital presenta una mortalidad superior a otro. Un colegio consigue una nota promedio menor. Una campaña publicitaria obtiene peor conversión. Dos equipos comparan porcentajes de victorias.

Ninguna de esas cifras explica por sí sola quién forma cada grupo, en qué condiciones compite o trabaja y cómo se distribuyen los casos.

Un hospital especializado en pacientes extremadamente graves podría mostrar peores resultados globales que otro que recibe cuadros más sencillos, incluso aunque obtuviese mejores resultados al comparar pacientes con riesgos similares. Del mismo modo, una campaña podría funcionar mejor dentro de cada tipo de audiencia y acabar con una conversión general menor porque concentra más tráfico en el segmento que convierte peor.

Aquí es donde la intuición tropieza. Nuestro cerebro ve dos porcentajes y quiere declarar un ganador. Rápido, limpio, cómodo. La realidad suele tener más columnas.

Cuando el dato correcto cuenta una historia equivocada

La paradoja de Simpson no obliga a desconfiar de cualquier promedio. Obliga a desconfiar de las conclusiones automáticas que extraemos de él.

Los porcentajes agregados son útiles para describir poblaciones enteras. Pero cuando queremos explicar por qué ocurre algo, comparar rendimientos o decidir si una relación puede ser causal, importa conocer cómo se compone cada grupo y qué variables están alterando sus pesos.

El dato puede ser correcto hasta el último decimal y, sin embargo, responder a una cuestión distinta de la que creíamos estar planteando.

Esa es probablemente la parte más interesante de la paradoja: los números no cambian; cambia la historia cuando aprendemos a mirarlos mejor.