Dissertação

{en_GB=Deep Learning for Automatic Classification of Multi-Modal Information Corresponding to Chest Radiology Reports} {} EVALUATED

{pt=Hospitais recorrem frequentemente a imagens de raio X, que fornece uma vista detalhada do tórax do paciente, como um método de radiologia para o diagnóstico de doenças cardíacas e pulmonares. Contudo, a interpretação destas imagens, que frequentemente resultam num relatório de radiologia em texto livre e/ou numa classificação, necessita de profissionais médicos especializados, originando altos custos de mão-de-obra e longas listas de espera. A inferência automática de doenças torácicas de radiografias ao tórax é ainda uma tarefa desafiante, embora alguns estudos recentes tenham proposto metodos de aprendizagem automática para esta especifica tarefa. Esta dissertação aborda esta tarefa, introduzindo um novo método multimodal para classificação automática de exames de radiologia torácica, combinando recentes redes neurais convolucionais pré-treinadas, juntamente com redes neurais recursivas com \textit{word embeddings} pré-treinados e atenção neuronal. Os resultados experimentais indicam padrões interessantes, e.g. validam o alto desempenho de cada componente individual, particularmente quando são pre-treinadas usando grandes datasets pre-existentes, e assinalam resultados promissores para o processamento multimodal de dados de exames de radiologia, confirmando a utilidade do uso de data multimodal. O melhor modelo alcançou 0.949 e 0.987 em termos da média macro e micro das AUROCs, respetivamente. , en=Hospitals frequently use chest X-ray images, which can provide a detailed view of a patient’s thorax, as a radiology examination technique for the diagnosis of cardiac and pulmonary diseases. However, the interpretation of these images, which often results in a free-text radiology report and/or a classification, requires specialized medical professionals, leading to high labor costs and waiting lists. Automatic inference of thoracic diseases from the results of chest radiography exams is still a challenging task, although several recent studies have proposed machine learning methods for this particular task. Deep neural network architectures can contribute to a more efficient indexing of radiology exams (e.g., associating the data to diagnostic codes), providing inexpensive, accurate, and interpretable classification results that can guide the domain experts. This dissertation addresses this task by introducing a novel multi-modal end-to-end neural network for automatically classifying chest radiology exams, combining state-of-the-art pre-trained Convolutional Neural Networks (CNNs) architectures, together with Recursive Neural Networks (RNNs) units, with clinical pretrained word embeddings and attention units. The experimental results show interesting patterns, e.g. validating the high performance of the individual components, particularly when pre-training these components of the model with large pre-existing datasets, and showing promising results for the multi-modal processing of radiology examination data, confirming the usefulness of using multi-modal data. The best model achieves 0.949 and 0.987 in macro and micro average AUROCs, respectively.}
{pt=Classificação de Relatórios de Radiologia, Classificação de Radiografias torácicas, Aprendizagem com Redes Neuronais, Aprendizagem com dados multimodais, en=Classification of Chest Radiology Exams, Deep Learning, Learning from Multi-Modal Data}

Novembro 25, 2019, 9:0

Orientação

ORIENTADOR

Bruno Emanuel Da Graça Martins

Departamento de Engenharia Informática (DEI)

Professor Auxiliar

ORIENTADOR

Mário Jorge Costa Gaspar da Silva

Departamento de Engenharia Informática (DEI)

Professor Catedrático