Dissertação
Assessing the use of Eye Gaze in Chest X-Ray Pathology screening EVALUATED
A radiografia do tórax é a imagem médica mais utilizada em todo o mundo. Com o surgimento do machine learning, o processo de triagem desses exames tornou-se um esforço conjunto entre médicos e sistemas inteligentes que inferem novos conhecimentos a partir de dados. Recentemente, foram lançados dois datasets disponíveis publicamente que introduzem uma nova modalidade no campo, os padrões de fixação dos radiologistas durante a triagem de cada imagem de Raio-X do tórax. No entanto, a investigação feita até ao momento apresenta visões contraditórias sobre a utilidade desta modalidade de dados no treinamento de modelos de deep learning. Nesta dissertação, foi realizada uma análise aprofundada do dataset REFLACX, sendo os insights gerados na análise exploratória incorporados no treino de modelos de deep learning, para detecção de objetos em imagens de Raio-X. As experiências realizadas usaram uma nova arquitetura multimodal que insere imagens de Raio-X e mapas de calor derivados dos dados ET para prever a localização da caixa delimitadora e o rótulo da lesão de uma determinada imagem. O tamanho da pupila mostrou potencial no treino de tais modelos, pois fornece informação sobre a carga cognitiva dos radiologistas, enquanto os resultados gerais sugerem que, se considerarmos apenas o desempenho, os dados de eye tracking não são úteis na supervisão destes modelos. No entanto, se formos mais longe e focarmos na explicabilidade, os dados de eye tracking provam fornecer resultados mais explicáveis, devido às suas propriedades temporais e de localização.
novembro 17, 2022, 13:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Departamento de Engenharia Informática (DEI)
Professor Catedrático
ORIENTADOR
Queensland University of Technology, Brisbane, Australia
Professor Associado