FenixEdu™

Dissertação

{en_GB=Multi-task training of Transformer language models for processing radiology reports } {} EVALUATED

Detalhes: {pt=Nos últimos anos, modelos pré-treinados baseados na arquitetura de "Transformers" têm atingido resultados verdadeiramente impressionantes no que toca a tarefas de processamento biomédico de linguagem. Em particular, a área de radiologia ganhou especial relevância. Os relatórios de radiologia têm por norma o fim de captar duas seções especialmente relevantes, a descrição e as observações de um determinado exame de radiologia. Neste trabalho propomos um modelo de linguagem multitarefas baseado no "Text-to-Text Transfer Transformer", conhecido como T5. Realizámos uma abordagem de treino em diversas tarefas como geração de texto, classificação e inferência, relacionadas com relatórios de radiologia. O modelo multitarefas proposto obteve resultados promissores, próximos do estado da arte, nas tarefas de sumarização, inferência de linguagem natural, classificação de semelhança semântica e deteção de paráfrases. Os resultados obtidos confirmam o potencial de modelos multitarefas e de transferência de aprendizagem num contexto de processamento biomédico de linguagem natural. , en=Pre-trained language models based on the Transformer architecture have achieved impressive results in biomedical natural language processing tasks. One specific area that has raised interest in recent years is radiography, where textual reports are usually generated to describe findings and impressions from radiography exams. There are several practical applications related to the processing of these documents, such as automated classification, summarization or extraction of key findings. This work proposes a multi-task language model based on the Text-to-Text Transfer Transformer, commonly known as T5, that was trained on different text generation, classification, and inference tasks involving text from radiology reports. We discuss the data pre-processing and the model training strategy together with its evaluation. The proposed multi-task model achieved very good results, close to state-of-the-art results from models that were individually trained for the summarization, natural language inference, semantic text similarity, and paraphrase identification tasks. The results confirm the potential of multi-task and transfer learning for biomedical natural language processing.}
Keywords: {pt=Relatórios de Radiologia, Modelos de Linguagem Transformers, Aprendizagem Multitarefas, Transferência de Aprendizagem, en=Radiology Reports, Transformer-Based Language Models, Multi-Task Learning, Transfer Learning}

Discussão: dezembro 6, 2021, 16:30