Dissertação
Deep Learning for the Automatic Generation of Medical Imaging Reports EVALUATED
Neste trabalho é abordada a tarefa de geração automática de relatórios médicos para imagens de raios-X ao tórax. Nomeadamente, são exploradas diferentes arquitecturas encoder-decoder. A principal contribuição consiste em perceber o impacto de substituir a camada final softmax do decoder. Ao invés de se calcular a probabilidade de gerar cada uma das palavras do vocabulário, é explorada a possibilidade de se utilizar um decoder que gere vectores contínuous contidos no espaço dos word embeddings que representam as palavras do relatório médico. Esta técnica permite também a criação de funções de perda que considerem diferentes componentes, além da habitual componente ao nível das palavras. Desta forma, são quantificados os efeitos da utilização de uma função de perda que opere também ao nível da frase, bem como uma função que force representações dos relatórios gerados a estarem relacionadas com as representações visuais extraidas do encoder. São exploradas também diferentes técnicas de pré-treino do encoder. Os resultados mostram que a tarefa de geração de longos parágrafos que diagnosticam correctamente o paciente é mais complexa do que o esperado, especialmente para o dataset usado, o MIMIC-CXR. Os modelos contínuos têm dificuldade em acompanhar o desempenho dos modelos baseados em decoding com a camada de softmax, independentemente da função de perda utilizada para treinar os modelos contínuos. De todos os métodos de pré-treino implementados, utilizar um pré-treino na tarefa de classificação de predição de doenças nas imagens permite que os modelos contínuos obtenham melhores métricas a nível de linguagem.
novembro 12, 2020, 16:30
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Bruno Emanuel Da Graça Martins
Departamento de Engenharia Informática (DEI)
Professor Auxiliar
