En el campo de la investigación médica, extraer datos clínicos relevantes de artículos científicos es una tarea crucial pero desafiante. Un estudio realizado por Therapyte tuvo como objetivo evaluar varios modelos de procesamiento de lenguaje natural (NLP) para automatizar la extracción de información esencial sobre la enfermedad pulmonar obstructiva crónica (EPOC) de una amplia gama de literatura científica.
La EPOC engloba varias enfermedades que causan obstrucción de las vías respiratorias y dificultades para respirar, incluyendo condiciones como el enfisema y la bronquitis crónica. Aproximadamente 36.5 millones de personas en Europa sufren de dificultades respiratorias debido a la EPOC, y millones de personas no han sido diagnosticadas o no reciben tratamiento. El rápido crecimiento de la literatura médica ha hecho necesario el uso de herramientas eficientes para extraer datos clínicos relevantes. Por lo tanto, este estudio se centró en identificar y evaluar diferentes herramientas de NLP para analizar literatura sobre la EPOC y agilizar el proceso de extracción de datos y mejorar la precisión de la búsqueda.
Metodología
El estudio involucró varias etapas:
A. Extracción de Artículos: En esta etapa, se filtraron artículos y datos en base a la clasificación de enfermedades encontradas en diversas fuentes como PubMed, Google Scholar y clinicaltrials.gov.
B. Selección de Artículos: En esta etapa se aplicaron criterios adicionales, incluyendo opciones de tratamiento, edad, tipo de enfermedad, género y etapa de los ensayos clínicos.
C. Reconocimiento de Entidades y Relaciones: La calidad inicial de los modelos seleccionados no fue lo suficientemente alta como para cumplir con los objetivos del proyecto. Para mejorar la calidad, los modelos se sometieron a entrenamiento en conjuntos de datos especialmente preparados. Se utilizó INCEpTION para la anotación de entidades y relaciones. Los parámetros recopilados incluyeron espirometría, pruebas de alfa-1 antitripsina, pulsioximetría, análisis de gases en sangre arterial, dosificación dirigida de medicamentos y tipo de medicamento.
D. Ajuste y Entrenamiento: En esta etapa, los modelos se entrenaron en conjuntos de datos preparados y se ajustaron para maximizar su efectividad. Los siguientes modelos de NLP se probaron en el proyecto: ClinicalTransformer, SynSPERT, BioBERT, EHR, RoBERTa, Electra y GPT Models.
E. Inferencia y Evaluación: Los modelos ajustados se aplicaron a todos los artículos y se evaluaron los resultados. Si los resultados no fueron satisfactorios, se repitieron las etapas C y D.
Desafíos Enfrentados
El estudio encontró varios desafíos:
A. Presentación de Datos Tabulares: El análisis automático de datos tabulares resultó difícil y requirió intervención manual.
B. Detección de Eventos Clínicos: La diferenciación entre eventos clínicos y mejoras no fue significativamente efectiva entre los modelos.
C. Parámetros Raros: La rareza de ciertos términos médicos complicó el proceso de entrenamiento de los modelos.
Resultados
El presente estudio demostró que los modelos tuvieron un mejor desempeño en tipos específicos de tareas. No se observó un modelo universalmente mejor en todos los tipos de tareas. Sin embargo, el modelo BioBERT entrenado en datos de dominio médico logró los mejores resultados en el análisis de entidades, con una puntuación F1 promedio de 0.75. La calidad de la extracción de entidades dependió en gran medida de la frecuencia de aparición en los artículos, lo cual afectó la calidad del conjunto de datos de entrenamiento. Por ejemplo, la puntuación F1 fue significativamente mayor para las entidades de aparición frecuente, alcanzando una puntuación de 0.9. En cuanto al análisis de relaciones entre entidades populares, el modelo ClinicalTransformers mostró el mejor desempeño, logrando una puntuación F1 de 0.83. Este modelo fue respaldado por el modelo SynSPERT, que se destacó en el reconocimiento de relaciones únicas y logró una puntuación F1 de 0.76.
Resumen y Futuras Direcciones
En conclusión, los modelos BioBERT y ClinicalTransformers exhibieron el mayor grado de precisión. Los modelos GPT (previos a GPT 3.0) solo se utilizaron para tareas específicas en el estudio, ya que en ese momento no eran tan populares. El uso generalizado de modelos GPT en diversas tareas parece prometedor para el análisis de datos clínicos en artículos científicos.
Referencias:
1. Adam Benjafield, Daniela Tellez, Meredith Barrett, Rahul Gondalia, Carlos Nunez, Jadwiga Wedzicha, Atul Malhotra European Respiratory Journal 2021 58: OA2866; DOI: 10.1183/13993003.congress-2021.OA2866
2. Enfermedad Pulmonar Obstructiva Crónica (EPOC). Centers for Disease Control and Prevention. Recuperado el 20 de diciembre de 2023, de enlace
Sobre Therapyte
Therapyte ofrece una amplia gama de soluciones de evidencia del mundo real (RWE) a través del acceso a millones de registros de salud electrónicos. Therapyte desarrolla algoritmos de inteligencia artificial únicos para recopilar y seleccionar datos de millones de registros de salud electrónicos (EHRs). Herramientas internas basadas en IA se utilizan para la limpieza, selección, armonización y validación de datos con el fin de generar información para proyectos de investigación exhaustivos. Para extraer conjuntos de datos valiosos, la compañía construye una amplia red de organizaciones de atención médica y proveedores de datos de las regiones de la UE, UEEA, MENA y APAC. Para obtener más información, visite therapyte.com.
Sección de Preguntas Frecuentes (FAQ):
1. ¿Cuál es el objetivo del estudio presentado por Therapyte?
El objetivo del estudio es evaluar varios modelos de procesamiento de lenguaje natural (NLP) para automatizar la extracción de información esencial sobre la enfermedad pulmonar obstructiva crónica (EPOC) de una amplia gama de literatura científica.
2. ¿Cuáles son las principales enfermedades asociadas con la EPOC?
El conjunto de diversas enfermedades conocidas como EPOC incluye el enfisema, la bronquitis crónica y otras condiciones que causan constricción de las vías respiratorias y dificultades para respirar.
3. ¿Qué desafíos se encontraron en el estudio?
Los desafíos encontrados incluyeron el análisis automático de datos tabulares, la diferenciación entre eventos clínicos y mejoras, y la rareza de ciertos términos médicos.
4. ¿Qué modelos de NLP mostraron los mejores resultados?
El modelo BioBERT logró los mejores resultados en el análisis de entidades, mientras que el modelo ClinicalTransformers tuvo el mejor desempeño en el análisis de relaciones entre entidades.
5. ¿Cuáles son las futuras direcciones del estudio?
Las futuras direcciones del estudio implican una mayor aplicación de modelos GPT en el análisis de datos clínicos en artículos científicos.
6. ¿Qué referencias se proporcionaron en el artículo?
Las referencias proporcionadas son: 1. Adam Benjafield, Daniela Tellez, Meredith Barrett, Rahul Gondalia, Carlos Nunez, Jadwiga Wedzicha, Atul Malhotra European Respiratory Journal 2021 58: OA2866; DOI: 10.1183/13993003.congress-2021.OA2866 y 2. Enfermedad Pulmonar Obstructiva Crónica (EPOC). Centers for Disease Control and Prevention.
Definiciones de Términos Clave:
EPOC (Enfermedad Pulmonar Obstructiva Crónica): Un grupo de enfermedades pulmonares caracterizadas por el estrechamiento de las vías respiratorias, la restricción del flujo de aire y las dificultades para respirar.
NLP (Procesamiento de Lenguaje Natural): El campo de la informática que se ocupa del análisis, entendimiento y generación de lenguaje humano por parte de las computadoras.
PubMed: Una base de datos gratuita que contiene resúmenes y artículos científicos sobre medicina.
Google Scholar: Un motor de búsqueda en internet que indexa literatura académica de diversos campos.
ClinicalTrials.gov: Un registro de estudios de investigación clínica realizados por los Institutos Nacionales de Salud en Estados Unidos.
INCEpTION: Una herramienta utilizada para la anotación de entidades y relaciones en texto.
BioBERT: Un modelo de NLP basado en BERT (Bidirectional Encoder Representations from Transformers), entrenado específicamente para datos del dominio médico.
ClinicalTransformers: Un modelo de NLP basado en transformers, utilizado para el análisis de datos médicos.
Modelos GPT: Generative Pre-trained Transformers (GPT) es una familia de modelos de NLP
The source of the article is from the blog cheap-sound.com