Transcripción y extracción automáticas de información clave desde audios clínicos en español

Abstract

Los sistemas actuales de documentación clínica son ineficientes y costosos. Esta tesis propone un escriba digital, un sistema unificado de grabación, transcripción y anotación automática de audios clínicos en español en un entorno simulado. El proceso comienza con la transcripción del audio a texto y la aplicación de un modelo de extracción de información clave.

Se grabaron noventa audios en español de cuatro sujetos: treinta de dominio médico, treinta de dominio dental y treinta de dominio general. Los audios se transcribieron utilizando el servicio Google Cloud Speech-to-Text y luego se anotaron con un modelo de Reconocimiento de Entidades Nombradas (NER por sus siglas en inglés) desarrollado por el grupo de investigación. Evaluamos el rendimiento de las transcripciones mediante la tasa de error de palabras (WER por sus siglas en inglés) y la concordancia en la detección de entidades mediante la métrica F1-score.

Nuestra hipótesis plantea que el servicio Google Speech-to-Text puede tener un WER inferior al 30% y que el modelo NER, entrenado en un corpus de referencias de listas de espera, puede alcanzar una puntuación F1 superior a 0,75 en comparación con las anotaciones manuales.

Los resultados muestran una WER media entre los cuatro hablantes del 10,44%, 9,98% y 9,06% para los dominios dental, medico y general respectivamente. Existe una diferencia de medias significativa entre los tres tipos de grabación (prueba de Kruskal Wallis, valor P 0,010). En la transcripción, los errores típicos son las palabras cambiadas de plural a singular o viceversa, y un gran número de verbos cambiados de pronombre o de tiempo verbal.

Las palabras no reconocidas por el servicio de transcripción son específicas del ámbito médico-dental, como "nevo", "endogastrio", "mesiodens". Para el reconocimiento automático de entidades, la media para el F1-score es de 0,86 para textos del dominio médico y de 0,80 para el dominio dental. No se encontraron diferencias de medias significativas al comparar los distintos grupos de anotaciones.

Los resultados presentados pueden ser la base para el desarrollo de un escriba digital y su evaluación en el ámbito clínico chileno. La transcripción y el modelo NER se integraron en una plataforma. El trabajo futuro incluye la búsqueda de estrategias para mejorar la transcripción y la detección de entidades como, por ejemplo: utilizando sistemas para la eliminación de ruido ambiental o pre entrenar el reconocimiento de voz al usuario. Además, permitir que más profesionales de la salud utilicen la plataforma para obtener una retroalimentación sobre la usabilidad de esta plataforma.

Current clinical documentation systems are inefficient and costly. This thesis proposes a digital scribe, a unified system for automatic recording, transcription and annotation of clinical audios in Spanish in a simulated environment. The process starts transcribing audio into text and then applying a model for extracting key information.

Ninety audios were recorded in Spanish by four subjects: thirty medical, thirty dental, and thirty general domain. The audios were transcribed using the Google Cloud Speech-to-Text service and then annotated with a Named Entity Recognition (NER) model developed by the research group. We evaluated the performance of the transcriptions using Word Error Rate (WER) and the agreement in the detection of entities using F1-score.

We hypothesize that the Google Speech-to-text service can have a WER lower than 30% and that the NER model, trained on a corpus of waiting list referrals, can achieve an F1-score higher than 0.75 compared to manual annotations.

The results show an average WER among the four speakers of 10.44% (dental), 9.98% (medical), and 9.06% (general domain). These differences between the three types of recording are significant (Kruskal Wallis test, P-value 0.010). In the transcription, typical errors are words changed from plural to singular or vice versa, and a large number of verbs changed their pronouns or verb tenses. Words not recognized by the transcription service are clinical/dental-specific, such as "nevo", "endogastrio", "mesiodens". For the automatic recognition of entities, the average F1-score is 0.86 texts in the medical domain and 0.80 for the dental domain. No significant mean differences were found when comparing the different groups of annotations.

The presented results can be the foundation of a digital scribe developed and tested in the Chilean clinical domain. The transcription and the NER model were integrated into a platform. Future work includes finding ways to improve the transcription and detection of entities and having more health professionals using the platform.