Dissertação
Natural Language Processing Leveraging Entity-Aware Representations EVALUATED
RecentesModelosdeLinguagemPre ́-treinados(MLPs),baseadosnaatenc ̧a ̃opro ́pria e na arquitetura Transformer, produzem representac ̧o ̃es de palavras contextualizadas. A utilizac ̧a ̃o destas representac ̧o ̃es permitiu atingir resultados estado-de-arte em difer- entes tarefas de Processamento de Linguagem Natural (PLN). Uma nova linha de investigac ̧a ̃o foca-se no estudo de como incoporar nomes de entidades em MLPs. A ideia e ́ que as entidades possuem informac ̧a ̃o essencial que pode aumentar o de- sempenho de um modelo numa tarefa de PLN, quando estas sa ̃o tidas em conta. No entanto, os atuais modelos focados em entidades apresentam limitac ̧o ̃es, tal como a incapacidade de processar documentos longos. Isto e ́ especialmente nota ́vel em tarefas complexas recentes que dependam de uma boa compreensa ̃o do contexto ao longo de sequeˆncias extensas de texto. Esta dissertac ̧a ̃o de mestrado apresenta o Long-LUKE, um novo modelo descendente de modelos existentes que lidam com en- tidades e possuem atenc ̧a ̃o pro ́pria, como e ́ o caso do LUKE. Estes modelos propo ̃em te ́cnicas para solucionar as limitac ̧o ̃es existentes nas tarefas relacionadas com enti- dades. Em particular, o nosso modelo obte ́m resultados interessantes em 4 conjuntos de dados relevantes: OpenEntity, FIGER e DocRED (classificac ̧a ̃o de entidades), e TACRED e ReDocRED (extrac ̧a ̃o de relac ̧o ̃es entre entidades).
março 31, 2023, 14:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Bruno Emanuel Da Graça Martins
Departamento de Engenharia Electrotécnica e de Computadores (DEEC)
Professor Associado