Dissertação

Geographically-aware Cross-media Retrieval for Associating Photos to Travelogues   EVALUATED

Neste trabaho são propostos diferentes métodos para a associação automática de fotos a documentos texutais, como por exemplo relatos de viagem. Em particular, são propostos métodos automáticos para colectar, selecionar e ordenar fotos com base na similaridade entre as estas e o texto. A recolha de fotos foi obtida através da API do Flickr, um serviço Web popular usado para a partilha de fotos, e onde muitas das fotos partilhadas se encontram geo-referênciadas (i.e., contêm associações para as coordenadas geoespaciais dos locais onde foram tiradas). A selecção e a ordenação de fotos é baseada num conjunto de estimadores de relevância entre as fotos colectadas e os documentos textuais (e.g., similaridade textual, proximidade geográfica, coesão temporal, polaridade sentimental e agrupamentos de fotos). A proximidade geográfica é baseada na distância entre os locais reconhecidos no texto e os locais onde as fotos foram tiradas. Assim, por forma a reconhecer os locais mencionados nos textos, foi utilizado o serviço Web Yahoo! Placemaker. OS estimadores de relevância considerados foram depois combinados através de duas abordagens, nomeadamente uma abordagem supervisionada usando métodos de aprendizagem automática (e.g., o algoritmo Coordinate Ascent) e uma abordagem não-supervisionada, usando métodos de agregação de rankings (e.g., o método CombSUM).
Recuperação de Informação Geográfica, Cross-Media Retrieval, Associação Automática de Fotos a Textos, Aprendizagem Automática

Novembro 7, 2011, 0:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

ORIENTADOR

Bruno Emanuel Da Graça Martins

Departamento de Engenharia Informática (DEI)

Professor Auxiliar