¿De verdad fallan los chatbots médicos 7 de cada 10 veces?

Un estudio en patología revela fallos del 70% y citas falsas en chatbots de salud; útiles como apoyo sin sustituir criterio del especialista.

La nueva evidencia apunta a que los chatbots médicos cometen errores con una frecuencia demasiado alta para un uso diagnóstico rutinario. Un estudio reciente, galardonado por el Colegio de Médicos de Milán y publicado en la revista oficial de la Sociedad Europea de Patología, sometió a un modelo conversacional a 200 preguntas clínicas reales en anatomía patológica. El resultado es contundente: en torno al 70% de las respuestas contenían al menos un error y casi un 30% de las referencias bibliográficas citadas eran imprecisas o directamente inexistentes. Conclusión pragmática, sin adornos: hoy, la IA es un apoyo valioso, pero no sustituye el juicio del especialista.

El trabajo aporta cifras finas que completan la fotografía. El 62,2% de las respuestas fueron útiles en algún sentido práctico, pero solo el 32,1% estaban libres de errores. El resto —la mayoría— incluía fallos de diversa gravedad, desde imprecisiones conceptuales hasta conclusiones diagnósticas equivocadas. De 214 referencias aportadas, un 70,1% eran correctas, un 12,1% inexactas y un 17,8% simplemente no existían. Es la cara menos amable de los llamados alucinaciones de los modelos: textos fluidos, convincentes, a veces acompañados de citas “verosímiles” que no resisten la verificación. El mensaje que aterriza en hospitales y facultades es nítido: usar con cautela y con controles, nunca a ciegas.

Qué se ha probado exactamente y por qué nos interpela

El equipo de investigación creó cinco escenarios clínicos que simulan la práctica de un patólogo. En cada uno, se formularon preguntas abiertas y de opción múltiple —con y sin solicitud de fuentes— siguiendo las guías diagnósticas vigentes. La evaluación no quedó en manos de un algoritmo, sino de patólogos expertos que valoraron la utilidad, los errores y la calidad de las citas. El diseño, con sus limitaciones, reproduce una situación cada vez más habitual: un profesional que recurre al chatbot para afinar un diagnóstico, explorar diferenciales o localizar bibliografía.

La variabilidad por escenario fue notable y ayuda a interpretar los números. En algunos bloques, las respuestas aportaban un marco razonable para discutir; en otros, el modelo patinaba con desparpajo. Lo más inquietante, con todo, fue el doble fallo en ciertos casos: diagnóstico erróneo y referencias inventadas para sostenerlo. En patología —disciplina en la que un matiz histológico puede cambiar un tratamiento— ese desajuste entre forma brillante y fondo inexacto no es un detalle menor: compromete decisiones terapéuticas.

Qué significa “útil pero con errores” en términos clínicos

Un porcentaje significativo de salidas se consideró útil porque ordenaba ideas, recordaba criterios o sugería alternativas para revisar. Es un uso realista de los modelos de lenguaje en 2025: asistentes editoriales que ayudan a estructurar una discusión, a preparar un informe o a repasar guías, siempre bajo supervisión. Otra cosa es transformar esa utilidad en decisión clínica. Cuando el mismo sistema que redacta con soltura confunde un subtipo tumoral o cita un artículo que no existe, la línea roja queda clara: sin verificación humana, no hay paso a la práctica.

Esta distinción —apoyo frente a sustitución— debería guiar protocolos hospitalarios y políticas docentes. En tareas de bajo riesgo (redacción, resúmenes, lluvia de ideas con fuentes validadas) los chatbots ya pueden aumentar productividad. En alto riesgo (diagnóstico, indicación terapéutica, priorización clínica), la tasa de error y la opacidad sobre cómo se ha generado cada salida imponen cortafuegos. El “ojo clínico” del patólogo sigue siendo insustituible; la IA puede acercar literatura, recordar clasificaciones, plantear hipótesis. Decidir es otra cosa.

Las cifras duras, sin maquillaje

Hay tres números que conviene memorizar porque sostienen la discusión con hechos:

Primero, 200 preguntas revisadas en profundidad por especialistas, a través de cinco escenarios bien definidos. El tamaño muestral no pretende abarcar toda la práctica, pero basta para detectar patrones de comportamiento del sistema.

Segundo, 62,2% de utilidad frente a 32,1% sin errores. La diferencia importa: una respuesta puede servir para pensar y aun así contener un fallo que, trasladado a una decisión clínica, desenfoca. La utilidad —tomada aislada— no equivale a fiabilidad.

Tercero, calidad de la citación: 70,1% correcta, 12,1% inexacta, 17,8% inexistente. Este último dato delata un riesgo concreto: “convicción sin sustento”. La redacción es impecable, el tono es técnico, la bibliografía suena legítima… pero no está. Si el profesional no verifica, la ilusión de veracidad se impone al rigor.

Por qué los chatbots “alucinan” y cómo se agrava en medicina

El fenómeno tiene raíz técnica conocida. Los modelos conversacionales predicen la palabra más probable dada una secuencia previa; no “saben” hechos en el sentido clásico, sino que recombinan patrones estadísticos de texto. En dominios exigentes —clínica, derecho, contabilidad— esa estrategia tropieza cuando el prompt pide exactitud factual. Si el sistema no encuentra “el camino” hacia una respuesta sólida, completa con verosimilitud. Y lo hace con gran seguridad aparente, justo lo que puede inducir a error a quien no conozca a fondo el tema o no pase por una verificación externa.

En salud, el problema se multiplica. Un detalle histológico, un cambio en la nomenclatura de una clasificación tumoral o una nota metodológica que invalida un metaanálisis alteran la conclusión. Si, además, el sistema “confabula” una cita —la forma elegante de decir que la inventa— se desplaza una carga de trabajo silenciosa al clínico: verificar cada referencia. Y cuando no hay tiempo, aquello que suena correcto se cuela.

España: uso real, expectativas y límites razonables en 2025

El sistema sanitario español avanza en patología digital y gestión de datos clínicos. Cada vez más servicios trabajan con escáneres de portaobjetos, sistemas de información de laboratorio interoperables y comités multidisciplinares que comparten imágenes, biomarcadores y clínica. En ese ecosistema, los chatbots generalistas ya se utilizan para ordenar literatura, preparar sesiones, redactar borradores y simular preguntas de examen. En tareas de formación y documentación, el beneficio neto existe.

Pero la frontera práctica es clara. No hay validación homologada para emplear un modelo generalista como herramienta diagnóstica en anatomía patológica. Las normas europeas sitúan estos usos en la categoría de alto riesgo y exigen evaluación de seguridad, trazabilidad y supervisión humana. Traducido a la rutina: cualquier integración en el flujo asistencial debe pasar por pilotos controlados, métricas predefinidas, doble lectura y registro de prompts y salidas. La AEMPS y las direcciones médicas, por su parte, piden responsables clínicos claramente designados y documentación del alcance de los sistemas.

El estudio que hoy reabre el debate refuerza el estado del arte: sí a la IA como apoyo; no a la delegación de diagnósticos. En anatomía patológica, la lectura de láminas digitales, la correlación clínico-patológica y la interpretación de biomarcadores piden modelos específicos, entrenados y validados. Un chatbot de propósito general no ve la imagen microscópica; genera texto. El matiz no es retórico: es la diferencia entre describir con precisión lo que hay en un portaobjetos y redactar sobre ello.

Qué pueden hacer los hospitales hoy para no tropezar

La experiencia acumulada en servicios españoles y europeos sugiere cinco frentes operativos que reducen riesgos sin renunciar a la productividad. Primero, delimitar usos: información y documentación sí; decisión clínica no. Segundo, supervisión explícita: cada texto generado por IA se firma y revisa por un especialista, con constancia en el sistema. Tercero, fuentes en lista blanca: cuando se piden referencias, el asistente solo puede apoyarse en repositorios verificados (guías, revisiones sistemáticas, registros oficiales). Cuarto, registro de actividad: prompts, versiones y salidas quedan auditables. Quinto, formación interna: desde alucinaciones hasta sesgos y privacidad, con ejemplos reales del servicio.

Es un enfoque que no demoniza la tecnología y preserva la seguridad del paciente. Permite aprovechar lo que el modelo hace bien —sintetizar, ordenar, sugerir— sin convertirlo en árbitro de la verdad clínica. Para anatomía patológica, donde el detalle manda, el siguiente salto cualitativo no vendrá de un mejor “chat”, sino de sistemas multimodales que lean imágenes y dialoguen con la historia clínica bajo validaciones comparables a las de un dispositivo médico.

Casos que explican el riesgo mejor que cualquier gráfico

Los episodios descritos por los investigadores son didácticos. Un carcinoma cutáneo mal clasificado: una etiqueta errónea puede llevar a una cirugía inadecuada o a omitirse un tratamiento adyuvante. Un subtipo de cáncer de mama asignado de forma incorrecta: la consecuencia potencial es cambiar la terapia sistémica o desorientar la indicación de pruebas adicionales. Y en ambos, referencias bibliográficas inventadas. No se trata de un fallo “gramatical”. Es clínico.

Ante situaciones así, la política responsable es no aceptar citas “de oído”. Cualquier referencia debe existir, con DOI, y coincidir con lo afirmado. Cuando un hospital normaliza esa disciplina, baja drásticamente el riesgo de que un texto convincente, pero falso, se cuele en un informe o en una presentación que alimente una decisión terapéutica.

Qué nos dice este hallazgo sobre el futuro inmediato

Un matiz relevante: el estudio no pretende cerrar el debate. Evalúa un modelo concreto, con un flujo textual y en inglés, sin mostrar imágenes histológicas al sistema. Deja abierto el camino a nuevas versiones, modos multimodales y afinados clínicos. También sugiere, indirectamente, dónde invertir esfuerzos: conectores a bases de conocimiento verificadas, recuperación de documentos en tiempo real, citación estructurada y verificadores internos que señalen banderas rojas cuando el texto se excede en seguridad o omite alternativas diagnósticas plausibles.

Para docencia y formación continuada, los beneficios ya se ven. Los residentes usan asistentes para repasar clasificaciones, preparar casos de los clubes de anatomía y ensayar preguntas de exámenes. Con criterios y revisión, la herramienta ahorra tiempo. Para asistencia, la exigencia es otra: prospectiva, ensayos en entorno real, métricas acordadas con el servicio y —sobre todo— mecanismos claros de responsabilidad. Un chatbot no puede ser dueño de una decisión que impacta en un tratamiento; su output es un insumo. La firma y la rendición de cuentas siguen teniendo nombre y apellidos.

Mitos que conviene destensar para no equivocarse de batalla

Se repite que “la IA ya diagnostica mejor que los humanos”. Es una frase que mezcla avances reales —sobre todo en imagen médica con modelos entrenados y validados para tareas cerradas— con una extrapolación arriesgada a los modelos generativos de lenguaje. Un sistema que redacta muy bien no ve una lámina. Otra consigna habitual afirma lo contrario: “la IA no sirve en clínica”. Tampoco es cierto. Sirve —y cada día más— para eliminar tareas repetitivas, agrupar información, priorizar documentos y detectar patrones anómalos en texto o datos estructurados. La clave no es ideológica, sino metodológica: qué hace bien hoy, dónde añade valor y cómo se valida.

Entre ambos extremos, el estudio galardonado se coloca en el punto sensato: uso útil, sí, en su lugar; alto riesgo, no, sin pruebas sólidas. Y añade un añadido incómodo: las “alucinaciones” bibliográficas. Si un sistema se inventa un 17–18% de las fuentes que cita, cualquier implantación hospitalaria debe blindar cómo se generan y verifican las referencias que aparecen en un informe, una presentación o un protocolo.

Qué políticas públicas y normativas encajan con este retrato

El marco europeo empuja hacia una convivencia prudente entre innovación y seguridad. La legislación de productos sanitarios ya contempla que el software clínico se someta a evaluación de conformidad, gestión de riesgos y supervisión humana. La nueva regulación europea de IA refuerza este enfoque para sistemas de alto impacto, con requisitos de calidad de datos, trazabilidad, documentación técnica y gobernanza. España, con su agencia reguladora y las comunidades autónomas, traslada ese marco a la práctica con pilotos en entornos controlados y evaluaciones que cruzan eficiencia, seguridad del paciente y ética.

En anatomía patológica —el terreno de este estudio— la madurez regulatoria todavía está cristalizando para modelos multimodales que combinen imagen y texto. Mientras llega, conviene no forzar a un chatbot a un lugar para el que no fue diseñado. Su mejor versión hoy es la de editor asistido y agregador de conocimiento, no la de lector microscópico ni árbitro final.

Señales de progreso que merece la pena vigilar

La mejora no vendrá solo de “modelos más grandes”, sino de pipelines robustos: recuperación de documentos, vinculación de citas a fuentes verificadas, explicaciones breves que muestren por qué la respuesta apoya una opción u otra, y validaciones periódicas con casos locales. En paralelo, crece el interés por sistemas que reconocen su propia incertidumbre. Cuando un modelo admite que “no está seguro” y pide más datos o propone alternativas concretas —en lugar de completar con exceso de confianza— se reducen las “alucinaciones” dañinas. Es un comportamiento más acorde con la práctica clínica, donde la incertidumbre no es un fallo, sino materia prima.

Otra línea prometedora pasa por vincular los asistentes a catálogos hospitalarios y repositorios de guías internas, con control de versiones. Si la respuesta se construye solo con material validado por el servicio, la tasa de errores graves baja y la trazabilidad sube. ¿Precio? Menos cobertura de temas exóticos y más trabajo curatorial. ¿Beneficio? Seguridad.

El lugar de la universidad y la formación sanitaria

Las facultades y escuelas de especialización ya conviven con estudiantes y residentes que usan chatbots a diario. Ignorarlo no lo hace desaparecer; integrarlo con criterio reduce riesgos. Un programa sensato enseña a pedir (prompts precisos, con marcos y limitaciones), a verificar (fuentes, DOI, versiones), a citar y a documentar la participación de la IA en trabajos y presentaciones. En anatomía patológica, además, tiene sentido entrenar con casos simulados que muestren cómo y por qué el sistema falla, y qué banderas rojas deben encenderse en la práctica.

El estudio premiado funciona como material docente invaluable: cifra riesgos, ilustra errores típicos y apunta a buenas prácticas. En paralelo, anima a explorar modelos específicos con validación real para lectura de láminas digitales, correlación con biomarcadores y pronóstico. Ese es el terreno donde la IA sí puede aspirar a mejorar resultados clínicos, siempre bajo los estándares que se exigen a cualquier herramienta de práctica sanitaria.

Lo que está en juego en la consulta

Tras la ola informativa del 18 de octubre, queda un punto firme: la tasa de error observada en chatbots de propósito general no es compatible con la toma de decisiones diagnósticas en rutina. Los hallazgos sobre referencias inventadas cortan otras tentaciones: no sirve como motor de citación para aprender sin supervisión. En paralelo, el estudio reafirma la utilidad en tareas de bajo riesgo: ordenar información, preparar informes, resumir guías y generar un primer esquema de diferenciales para revisar con calma y criterio.

Para el sistema sanitario, el itinerario razonable pasa por protocolos claros, pilotos acotados y formación específica. Para los servicios de anatomía patológica, la prioridad tecnológica real es multimodal: integrar imagen, texto y biomarcadores con validación. Para la sociedad, la lección es práctica: evitar la fascinación por la fluidez y reconducir la conversación hacia lo que de verdad cambia la seguridad del paciente: métricas, trazabilidad, supervisión. La IA aporta, y mucho, cuando se le pide lo que sabe hacer. Cuando se le exige diagnosticar, de momento, responde demasiado a menudo como si supiera. Y eso, en medicina, no basta.