FenixEdu™

Dissertação

Neural Models for Generating Clinically Accurate Chest X-Ray Reports EVALUATED

Detalhes: Os modelos de legendagem de imagens têm vindo a aumentar o seu desempenho, tendo demonstrado que a inteligência artificial pode alcançar resultados relevantes em tarefas de visão por computador. No entanto, existem algumas tarefas dentro da gama de legendagem de imagens que requerem mais atenção, incluindo a geração automática de relatórios clínicos. A geração automática de relatórios clínicos com base em imagens radiológicas tem vindo a reunir um número crescente de focos nos últimos anos. Isto é apoiado pelo trabalho repetitivo e exaustivo que estes relatórios clínicos exigem. As redes neurais artificiais que abordam esta tarefa têm vindo a mudar ao longo dos anos, começando como redes neurais convolucionais, mudando para modelos baseados em transformers. Estas metodologias existentes centram-se mais num de dois aspetos, que é a fluência e a legibilidade do texto gerado, sobre a eficiência clínica do modelo. Consequentemente, nesta dissertação propomos um modelo que gere resultados competitivos no que diz respeito à legibilidade humana dos relatórios, bem como de melhorar a eficiência clínica. Propomos adaptar o modelo MedCLIP para ter um encoder de imagem-texto capaz de concatenar a imagem com texto. Propomos ainda que este modelo funcione com um mecanismo de retrieval, para recuperar relatórios resultantes de uma avaliação da semelhança feita por um raio-x de input, obtendo os relatórios mais semelhantes. No MIMIC-CXR, o nosso modelo melhorou tanto a métrica de processamento da língua natural como a eficiência clínica. Finalmente, mostramos que o nosso modelo pode conduzir a relatórios mais legíveis, mantendo a factualidade clínica.
Keywords: Redes Neuronais, Redes Convolucionais, Transformers, Processamento de Linguagem Natural, Image Captioning, Mecanismo de Recuperação de Informação

Discussão: novembro 14, 2022, 16:30