La última actualización de OpenAI de su gran modelo de lenguaje (LLM), ChatGPT 4.0, ha superado un examen de neurología clínica con un 85% de respuestas correctas en un estudio de prueba de concepto. Los autores de la investigación creen que, tras algunos ajustes, los LLM podrían tener "aplicaciones significativas" en neurología clínica. 

Los resultados del experimento, realizado por un grupo de investigadores del Hospital Universitario de Heidelberg y el Centro Alemán de Investigación Oncológica de Heidelberg, se publicaron el 7 de diciembre. La prueba, realizada el 31 de mayo, contó con dos LLM, ChatGPT 3.5 y su versión posterior, ChatGPT 4.0.

Los investigadores utilizaron el banco de preguntas de un examen de neurología de la Junta Americana de Psiquiatría y Neurología con un pequeño grupo de preguntas de la Junta Europea de Neurología.

Mientras que la versión más antigua de ChatGPT obtuvo una puntuación del 66.8%, respondiendo correctamente a 1,306 de 1,956 preguntas, el modelo más reciente, ChatGPT 4.0, obtuvo un 85% con 1,662 respuestas correctas. La puntuación humana media fue del 73.8%. ChatGPT 4.0 superó a los usuarios humanos en las preguntas relacionadas con el comportamiento, la cognición y la psicología y "aprobó" efectivamente el examen de neurología, ya que el 70% de respuestas correctas suele considerarse una puntuación de aprobado en las instituciones educativas.

Sin embargo, ambos modelos demostraron un rendimiento más débil en tareas que requerían un "pensamiento de orden superior" que en preguntas que sólo requerían un "pensamiento de orden inferior".

Según el grupo de investigadores que llevó a cabo el experimento, estos resultados sirven de recomendación para utilizar los LLM en neurología clínica tras algunas modificaciones:

"Estos hallazgos sugieren que, con más refinamientos, los grandes modelos de lenguaje podrían tener aplicaciones significativas en neurología clínica".

Los investigadores señalan que aún existen varias reservas. Aunque existe una perspectiva clara para aplicar los LLM en los sistemas de documentación y apoyo a la toma de decisiones, los neurólogos deben ser cautos sobre su uso en la práctica, ya que aún son imperfectas en lo que respecta a las tareas cognitivas de alto orden. En declaraciones a Cointelegraph, uno de los autores del estudio, el Dr. Varun Venkataramani, afirmó:

Consideramos nuestro estudio más como una prueba de concepto de las capacidades de los LLM. Aún es necesario desarrollar los LLM y, probablemente, perfeccionarlos para que puedan aplicarse correctamente en neurología clínica.

La IA ya está trabajando en algunas tareas importantes dentro de la sanidad, como encontrar la cura del cáncer para AstraZeneca o luchar contra la prescripción excesiva de antibióticos en Hong Kong.

Aclaración: La información y/u opiniones emitidas en este artículo no representan necesariamente los puntos de vista o la línea editorial de Cointelegraph. La información aquí expuesta no debe ser tomada como consejo financiero o recomendación de inversión. Toda inversión y movimiento comercial implican riesgos y es responsabilidad de cada persona hacer su debida investigación antes de tomar una decisión de inversión