FenixEdu™

Dissertação

Finding What To Wear: Product Retrieval on a Structured Multimodal Catalog EVALUATED

Detalhes: O boom do comércio online, intensificado nos dias que correm, e consequente necessidade de materializar a experiência de compra em loja física no paradigma da compra online, reforçou a procura de agentes de conversação incorporáveis nos já modernos websites e aplicações de comércio online. Os agentes de conversação multimodais permitem a interação entre o utilizador e o sistema através de imagem e texto, tendo a capacidade de realizar diversas tarefas, como, por exemplo, a procura de produtos. Com foco no mercado de moda, pretende-se a construção de um chatbot capaz de realizar a procura de produtos com base em duas modalidades distintas: dados visuais e textuais. Para encontrar e retornar com eficácia os items mais adequados, cuja correspondência é a mais próxima possível com o desejado pelo cliente, é necessário estabelecer um catálogo multimodal devidamente estruturado para que o resultado apresentado contenha instâncias relevantes dada a pesquisa do utilizador. Esta tese propõe-se a gerar um espaço multimodal que pode ser visto como o catálogo da loja e inclui milhares de artigos de moda, a partir dos quais é possível procurar peças dada tanto uma das duas modalidades apresentadas, como ambas. Assim, neste espaço devem coexistir dados visuais e textuais, e a sua estruturação deve ser condicionada por conhecimentos prévios inspirados na estruturação dos catálogos de artigos de moda. Combinando relaxamento de labels com regularização baseada na taxonomia, a proposta apresentada diminui a penalização atribuída a casos aceitáveis, aumentado a performance de procura do sistema.
Keywords: Espaço Multimodal, Procura de Produto, Conhecimento Prévio, Estruturação Espacial, Representações Visuais e Textuais

Discussão: dezembro 7, 2021, 17:0