Deep Learning for Automatic Classification of Multi-Modal Information Corresponding to Chest Radiology Reports EVALUATED

Detalhes: Hospitais recorrem frequentemente a imagens de raio X, que fornece uma vista detalhada do tórax do paciente, como um método de radiologia para o diagnóstico de doenças cardíacas e pulmonares. Contudo, a interpretação destas imagens, que frequentemente resultam num relatório de radiologia em texto livre e/ou numa classificação, necessita de profissionais médicos especializados, originando altos custos de mão-de-obra e longas listas de espera. A inferência automática de doenças torácicas de radiografias ao tórax é ainda uma tarefa desafiante, embora alguns estudos recentes tenham proposto metodos de aprendizagem automática para esta especifica tarefa. Esta dissertação aborda esta tarefa, introduzindo um novo método multimodal para classificação automática de exames de radiologia torácica, combinando recentes redes neurais convolucionais pré-treinadas, juntamente com redes neurais recursivas com \textit{word embeddings} pré-treinados e atenção neuronal. Os resultados experimentais indicam padrões interessantes, e.g. validam o alto desempenho de cada componente individual, particularmente quando são pre-treinadas usando grandes datasets pre-existentes, e assinalam resultados promissores para o processamento multimodal de dados de exames de radiologia, confirmando a utilidade do uso de data multimodal. O melhor modelo alcançou 0.949 e 0.987 em termos da média macro e micro das AUROCs, respetivamente.

Discussão: novembro 25, 2019, 9:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

AUTOR

Nelson Filipe Rodrigues Nunes (ist181159)

ORIENTADOR

Bruno Emanuel Da Graça Martins

Departamento de Engenharia Informática (DEI)

Professor Auxiliar

ORIENTADOR

Mário Jorge Costa Gaspar da Silva

Departamento de Engenharia Informática (DEI)

Professor Catedrático