Dissertação
{en_GB=Watson Versus the World} {} EVALUATED
{pt=Desde que a IBM teve a ideia de desenvolver um sistema que seria capaz de ser o melhor no concurso Jeopardy!, em 2004, o sistema Watson já sofreu muitas alterações. Após ter ganho, em 2011, contra os melhores concorrentes que já estiveram no programa, o Watson mudou de um sistema desenvolvido apenas para responder a pistas de um certo formato, para um sistema capaz de responder a quase qualquer questão, quer escrita, quer falada. Neste momento o sistema Watson está disponível em várias línguas, ao contrário do sistema original que foi construído apenas para Inglês. Para além disto, o sistema consegue responder a perguntas e analisar metadados em poucos segundos, conseguindo transmitir aos seus utilizadores conhecimentos sobre quase qualquer área de conhecimento, como, por exemplo, medicina, finanças, ou cozinha. Apesar do seu sucesso e popularidade, não existe nenhuma comparação entre o Watson e outras ferramentas de Processamento de Língua Natural. Por esta razão, propomos uma avaliação formal das capacidades do sistema Watson, comparando o seu desempenho com o que é atingido utilizando outra ferramenta, sobre um conjunto pré-definido de tarefas de PLN. A IBM dá acesso à API do Watson através de uma plataforma online chamada Bluemix, que foi usada para desenvolver parte da solução, e vai ser apresentada em mais detalhe. Uma discussão sobre as ferramentas de PLN já existentes é apresentada. Detalhes sobre a implementação das tarefas escolhidas também vão ser apresentados, para além da metodologia de avaliação que foi seguida e os resultados que foram alcançados., en=Ever since IBM came up with the idea of developing a system capable of being the best at Jeopardy, back in 2004, Watson has been through many changes. After its victory against the best players ever on the show, in 2011, Watson has changed from a system built only to answer to clues in a certain format, to a system capable of answering almost any question, whether written or spoken. Watson now supports several different languages, unlike the original system built for English only. It can answer questions and analyze meta-data in a matter of seconds, providing insights about almost any field of expertise, like medicine, finance or food. But, despite its success and popularity, no actual comparison between Watson and other NLP toolkits has been performed. Because of this, we propose a formal evaluation of Watson’s capabilities, comparing its performance with that of another toolkit, over a set of predefined NLP tasks. IBM provides access to Watson's API through an online platform called Bluemix, which was used to develop part of the solution, and addressed in more detail later. Insights over the existing NLP tools are presented. Details about the implementation of the chosen tasks are discussed, along with the evaluation methodology that was followed and the results that were obtained. }
junho 4, 2018, 14:30
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Maria Luísa Torres Ribeiro Marques da Silva Coheur
Departamento de Engenharia Informática (DEI)
Professor Auxiliar
