Dissertação

Watson Versus the World EVALUATED

Desde que a IBM teve a ideia de desenvolver um sistema que seria capaz de ser o melhor no concurso Jeopardy!, em 2004, o sistema Watson já sofreu muitas alterações. Após ter ganho, em 2011, contra os melhores concorrentes que já estiveram no programa, o Watson mudou de um sistema desenvolvido apenas para responder a pistas de um certo formato, para um sistema capaz de responder a quase qualquer questão, quer escrita, quer falada. Neste momento o sistema Watson está disponível em várias línguas, ao contrário do sistema original que foi construído apenas para Inglês. Para além disto, o sistema consegue responder a perguntas e analisar metadados em poucos segundos, conseguindo transmitir aos seus utilizadores conhecimentos sobre quase qualquer área de conhecimento, como, por exemplo, medicina, finanças, ou cozinha. Apesar do seu sucesso e popularidade, não existe nenhuma comparação entre o Watson e outras ferramentas de Processamento de Língua Natural. Por esta razão, propomos uma avaliação formal das capacidades do sistema Watson, comparando o seu desempenho com o que é atingido utilizando outra ferramenta, sobre um conjunto pré-definido de tarefas de PLN. A IBM dá acesso à API do Watson através de uma plataforma online chamada Bluemix, que foi usada para desenvolver parte da solução, e vai ser apresentada em mais detalhe. Uma discussão sobre as ferramentas de PLN já existentes é apresentada. Detalhes sobre a implementação das tarefas escolhidas também vão ser apresentados, para além da metodologia de avaliação que foi seguida e os resultados que foram alcançados.
IBM Watson, PLN, Bluemix, Ferramentas de PLN

Junho 4, 2018, 14:30

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Maria Luísa Torres Ribeiro Marques da Silva Coheur

Departamento de Engenharia Informática (DEI)

Professor Auxiliar

ORIENTADOR

Pável Pereira Calado

Departamento de Engenharia Informática (DEI)

Professor Associado