Síguenos

Salud

¿Pueden los chatbots sustituir al médico? Oxford responde

Oxford prueba chatbots de IA con 1.298 personas y avisa: no mejoran el triaje de síntomas, y a veces mezclan aciertos con errores peligrosos.

Foto del avatar

Publicado

el

chatbots sustituir al médico

Oxford prueba chatbots de IA con 1.298 personas y avisa: no mejoran el triaje de síntomas, y a veces mezclan aciertos con errores peligrosos.

Un ensayo con 1.298 personas en Reino Unido pone números a una intuición incómoda: los chatbots de IA pueden sonar médicos, pero no están ayudando a decidir mejor qué hacer cuando aparecen síntomas.

El golpe de realidad llega desde Nature Medicine este lunes 9 de febrero de 2026: un estudio liderado por el Oxford Internet Institute y el Departamento Nuffield de Ciencias de la Salud de Atención Primaria de la Universidad de Oxford concluye que apoyarse en modelos de lenguaje de gran tamaño (LLM) para valorar síntomas y elegir el siguiente paso —médico de familia, urgencias o esperar— no mejora el resultado frente a métodos tradicionales como buscar información en internet o fiarse del propio criterio. En el mejor de los casos, se empata; en el peor, se añade ruido con aspecto de certeza.

La investigación va al hueso del problema que tantas veces se pasa por alto: una cosa es que un modelo responda bien “en teoría” cuando se le examina en condiciones perfectas, y otra que funcione cuando entra la gente real, con sus prisas, su ansiedad, su manera de contar a medias y su tendencia a quedarse con la frase que más tranquiliza. El equipo revisó conversaciones entre participantes y LLM y detectó fallos en ambas direcciones: usuarios que daban datos incompletos y sistemas que devolvían respuestas inexactas, inconsistentes o engañosas, a veces con recomendaciones que mezclaban aciertos con errores, como una receta con ingredientes buenos y otros que sobran… pero todo revuelto en el mismo plato.

Un estudio que pincha el globo de la “consulta rápida” con IA

Durante meses, incluso años, se ha repetido la promesa de que los LLM podrían servir como herramienta preliminar para orientar a pacientes antes de ir a consulta. No hablamos solo de curiosidad doméstica; también de propuestas de proveedores sanitarios que han explorado estas tecnologías como apoyo para evaluaciones de salud iniciales. En ese contexto, el trabajo de Oxford no llega con un “no” histérico ni con moralina: llega con un “todavía no” respaldado por un diseño experimental y por un dato central que cuesta digerir en plena fiebre de la IA: cuando los ciudadanos usan chatbots para decidir sobre la gravedad de un problema de salud, sus decisiones no mejoran.

El texto describe una “brecha enorme” entre lo que se promete de los LLM y su utilidad real para personas que intentan entender sus síntomas. Y aquí conviene parar un segundo en el concepto: un LLM no es un buscador al uso, ni un médico con estetoscopio, ni un algoritmo que calcule una probabilidad con números visibles. Es, sobre todo, un sistema entrenado con cantidades descomunales de texto para generar respuestas que “encajan” con el lenguaje humano. Eso le permite explicar, resumir, ordenar ideas. Pero, en salud, esa habilidad tiene una cara B: puede sonar convincente incluso cuando patina, puede completar huecos con frases plausibles y, lo más delicado, puede ser inconsistente: hoy recomienda una cosa, mañana otra, con el mismo tono seguro.

Los autores rematan con una frase operativa: los LLM actuales no están listos para implementarse en la atención directa al paciente. No es un matiz menor. Es decir que, tal y como se usan hoy, con chats abiertos y usuarios improvisando su historia clínica en un cuadro de texto, el sistema no ofrece la fiabilidad que se le exigiría a una herramienta que influye en decisiones de riesgo.

1.298 participantes, diez casos y una pregunta que no admite maquillaje

El ensayo se hizo con casi 1.300 participantes en Reino Unido, concretamente 1.298. A cada persona se le presentaron diez escenarios clínicos preparados por médicos, con casos que van de lo cotidiano a lo inquietante. Ahí están ejemplos mencionados por los investigadores: un joven con fuerte dolor de cabeza tras una salida nocturna, una madre primeriza que se siente agotada y sin aliento de manera persistente; situaciones que podrían corresponder a cuadros relativamente comunes, desde un resfriado hasta una anemia o unos cálculos biliares, y otras combinaciones que obligan a pensar en opciones más serias. El objetivo no era jugar a “adivina qué tengo”, sino medir dos cosas distintas: si se identificaba bien la posible condición y si se elegía bien el paso siguiente, lo que el estudio llama “disposición” o decisión de actuación.

La muestra se dividió de forma aleatoria. Un grupo recibió ayuda de un LLM durante la toma de decisiones; otro grupo, de control, usó fuentes tradicionales, como consultar internet, webs oficiales u otros recursos a elección. Además, el estudio no se quedó en un solo modelo: probó sistemas punteros del momento, incluidos GPT-4o, Llama 3 y Command R+. La comparación buscaba evitar la excusa fácil de “era un modelo antiguo” o “era uno malo”: aquí se ponen sobre la mesa nombres de primera fila.

Los resultados, traducidos a cifras comprensibles, son el tipo de cosa que rompe el hechizo. En pruebas aisladas, sin humanos formulando preguntas a trompicones, los modelos fueron capaces de identificar condiciones con tasas cercanas al 95%. Sin embargo, cuando quienes debían interactuar con el chatbot eran los participantes, el acierto al identificar la condición relevante cayó por debajo del 34,5%, y la recomendación de una actuación adecuada se quedó por debajo del 44,2%. No solo es bajo: es que, además, esos resultados no fueron mejores que los del grupo que tiró de métodos tradicionales. El mensaje se vuelve cristalino: el conocimiento “dentro” del modelo no se traduce, automáticamente, en utilidad “fuera”, cuando entra la conversación humana.

Dónde se rompe la conversación: información incompleta y respuestas que confunden

Una de las partes más reveladoras del trabajo es la revisión manual de las interacciones. Ahí aparece el problema real, el que no se ve cuando solo se evalúa al modelo con preguntas perfectas: el diálogo entre persona y chatbot no es un cable limpio por el que viaja información, es un pasillo lleno de puertas entreabiertas. Muchos participantes ofrecían poca información o la daban de forma incompleta. No es un reproche: es una constatación de cómo funciona la vida. La gente no sabe qué dato es clínicamente clave; dice lo que recuerda, lo que le preocupa, lo que le parece importante. Y justo en salud, el orden y el detalle importan más de lo que apetece admitir.

En paralelo, los LLM devolvían en ocasiones información errónea o engañosa, con un patrón especialmente peligroso: respuestas que mezclaban consejos buenos con malos, sin separar con claridad dónde termina la prudencia y dónde empieza el salto al vacío. Esa mezcla, en texto, es traicionera. Un bot puede acertar al recomendar reposo e hidratación y, a la vez, minimizar un signo que debería disparar una consulta urgente; puede sugerir una explicación plausible y empujar a una falsa tranquilidad. El estudio habla, precisamente, de recomendaciones que combinaban piezas correctas e incorrectas, como si la respuesta llevara dos voces en una sola garganta.

Hay otro detalle que pesa como plomo: la inconsistencia. Un mismo tipo de caso puede generar respuestas diferentes según cómo se formule la pregunta o según qué información falte. En un entorno doméstico, eso se convierte en lotería lingüística. Un síntoma contado con una palabra distinta puede cambiar la dirección de la respuesta. Y ese es el tipo de fragilidad que hace que un sistema parezca útil un día y fallido al siguiente, sin que cambie el problema de salud, solo el relato.

El mix de consejos buenos y malos: el riesgo no siempre se ve venir

En salud, el error no siempre es un disparate evidente. A veces es una frase suave, un “parece” que se lee como certeza, un “no suele ser grave” sin el asterisco de las excepciones. El estudio detecta que los chatbots podían generar contenido convincente pero equivocado, y eso es más peligroso que la respuesta claramente absurda. La respuesta absurda se descarta; la respuesta razonable se cree. Y cuando se cree, influye.

Aquí se entiende la preocupación expresada por la médica de cabecera Rebecca Payne, líder del estudio. Su advertencia es directa: pese a la expectativa, la IA no está lista para asumir el papel del médico, y consultar a un modelo de lenguaje sobre síntomas puede ser peligroso porque puede dar diagnósticos erróneos y no reconocer cuándo se necesita ayuda urgente. No es una discusión académica; es una discusión sobre decisiones concretas: ir o no ir, esperar o no esperar, restar importancia o no restarla.

La otra voz que sobresale es la de Andrew Bean, autor principal e investigador doctoral en el Oxford Internet Institute. Bean insiste en que diseñar pruebas robustas es clave para entender cómo aprovechar esta tecnología, y remarca un punto que atraviesa todo el estudio: la interacción con humanos supone un reto incluso para los mejores modelos. En otras palabras, no basta con un modelo “listo”; hace falta un sistema que resista el barro de la conversación real.

Autoridad de texto: cuando el tono pesa más que la evidencia

Un chatbot tiene un superpoder sencillo: escribe con seguridad. Y la seguridad, en medicina, es seductora. Frente a una búsqueda en internet que devuelve resultados contradictorios, foros, anuncios y experiencias ajenas, un LLM ofrece una respuesta ordenada, con estructura, con frases que parecen un informe. Esa autoridad de texto puede inclinar decisiones aunque el contenido no sea más fiable.

El estudio, al mostrar que los usuarios no mejoran sus decisiones con IA, sugiere que esa autoridad no está compensando los problemas de fondo. El usuario no solo necesita información; necesita saber qué información es relevante, qué falta, qué señal cambia el rumbo. En una consulta, un profesional repregunta, corta, vuelve atrás, observa. El chatbot no observa; interpreta texto. Y cuando el texto llega incompleto, la interpretación se vuelve frágil. La autoridad, entonces, no es un valor; es un riesgo añadido: puede fortalecer una conclusión errónea.

Del despacho a la calle: por qué el “triatge doméstico” con IA seduce tanto

La tentación de convertir un chatbot en “primera parada” sanitaria no nace de la nada. Los sistemas de salud están tensionados, la atención primaria va con el agua al cuello en muchos lugares, y la gente busca atajos: entender qué le pasa sin esperar, sin pedir cita, sin navegar por una selva de enlaces. En ese contexto, la idea de un triaje automatizado —un filtro previo— parece lógica. El estudio de Oxford entra justo ahí y demuestra que, al menos hoy, esa lógica no se cumple en resultados.

Los autores lo plantean con una comparación que suena contundente sin necesidad de dramatizar: igual que se exigen ensayos clínicos para nuevos medicamentos antes de ponerlos en el mercado, los sistemas de IA deberían probarse en el mundo real antes de implementarse. Es una forma de decir que aquí no basta con demos, ni con titulares sobre exámenes médicos aprobados, ni con pruebas de laboratorio. La prueba de uso es otra cosa: es gente real tomando decisiones reales.

En España, la conversación tiene un eco inmediato aunque el estudio se haya hecho en Reino Unido. Basta pensar en cómo se usa el móvil para todo, en la facilidad con la que se consulta un chatbot para dudas que antes se dejaban para el médico de familia, y en el efecto dominó que puede tener una recomendación errónea: desde saturar urgencias por un susto mal calibrado hasta retrasar una consulta necesaria por una tranquilidad falsa. No hace falta imaginar ciencia ficción; basta imaginar un domingo por la tarde, un síntoma ambiguo y un texto persuasivo.

Y hay un matiz importante: el estudio no dice que la gente sea incapaz de usar la IA, ni que la IA sea inútil por definición. Dice algo más concreto y, por eso, más incómodo: en estas condiciones de uso, con estos modelos, con estos escenarios, no se decide mejor. Esa frase, seca, es la que pincha el globo.

Qué significa “brecha” en términos clínicos: del examen perfecto al mundo imperfecto

Una de las ideas que atraviesa todo el trabajo es la distancia entre rendimiento teórico y rendimiento práctico. En laboratorio, un modelo puede recibir un caso clínico bien redactado, con datos completos, con síntomas ordenados, con antecedentes claros. En la vida real, el caso llega desordenado: primero el miedo, luego el síntoma, después una anécdota, luego una omisión. Y ese desorden no es un fallo corregible con una advertencia tipo “describe mejor tu caso”. Es la condición normal de la conversación humana.

Por eso el estudio subraya que los benchmarks habituales —exámenes, pruebas de conocimiento médico, incluso simulaciones con pacientes sintéticos— no predicen los fallos que aparecen cuando intervienen usuarios. Un LLM puede acertar mucho cuando trabaja solo y fallar cuando trabaja “con” humanos. Dicho de forma llana: no basta con que el sistema sepa; hay que ver si sabe preguntar lo que falta, si sabe reconocer el límite, si sabe no empujar a una conclusión.

La investigación también abre una puerta relevante para lo que viene: pide más pruebas en distintas regiones y lenguas. No es un detalle cosmético. Las formas de describir dolor, cansancio, falta de aire o mareo cambian por cultura, por idioma, por nivel educativo, por la manera local de hablar del cuerpo. Un modelo entrenado con mucho inglés puede rendir distinto en castellano coloquial; una expresión como “me da un vahído” o “estoy hecho polvo” no siempre se traduce a síntomas clínicos sin pérdida. Y ese tipo de pérdida, en salud, pesa.

En resumen —sin convertir esto en un cierre de manual— el trabajo sostiene que el problema no es solo técnico: es de interacción. Un chatbot no está “viendo” a nadie; está reconstruyendo un caso a partir de palabras. Si las palabras llegan rotas, el caso se reconstruye con grietas. Y las grietas, en medicina, importan.

La medicina no cabe en un chat

El estudio de Oxford deja una imagen clara, casi física: los modelos de lenguaje son muy buenos produciendo texto que parece una consulta, pero ese parecido no garantiza seguridad clínica. El equipo concluye que los LLM actuales no están listos para estar en la primera línea de atención directa al paciente, y lo dice después de medir decisiones, revisar conversaciones y comprobar que, al final, la IA no mejora lo que la gente decide hacer con sus síntomas.

Los nombres propios del trabajo —Andrew Bean como autor principal, Rebecca Payne como líder clínica, el Oxford Internet Institute y el Departamento Nuffield de Ciencias de la Salud de Atención Primaria— no aparecen aquí como adorno académico, sino como responsables de una advertencia con peso institucional. Publicar en Nature Medicine añade, además, ese sello de que no se trata de un debate de sobremesa tecnológica, sino de una cuestión sanitaria en serio: cómo evitar que una herramienta brillante para redactar se convierta en una herramienta peligrosa para decidir.

Queda un dato que resume el núcleo del problema: los modelos pueden rozar el sobresaliente cuando se les pone un caso perfecto delante, pero el rendimiento se desploma cuando la conversación es humana. Y la salud, guste o no, siempre es humana, con toda su imperfección: síntomas contados a medias, miedos, omisiones, intuiciones, frases sueltas. En ese terreno, hoy por hoy, el chatbot no está sosteniendo el peso que muchos quieren colgarle. La promesa existe, sí; el estudio sugiere que el camino para cumplirla pasa por pruebas más duras, más realistas y más centradas en cómo se usa de verdad la tecnología. Mientras tanto, el mensaje que deja Oxford es incómodo, pero nítido: consultar a un LLM sobre síntomas puede ser peligroso si se toma como sustituto de valoración médica, porque el texto puede sonar bien incluso cuando no lo está.

Newsletter

Fundador de DonPorqué y curioso empedernido. Escribe sobre tecnología, viajes, gastronomía, cultura y todo lo que le genera una pregunta con un buen «¿por qué?» detrás. En su tiempo libre es aficionado a los casinos online y aprovecha esa experiencia para compartir análisis y recomendaciones sobre el sector del iGaming.