{en_GB=Unsupervised Online Concept Discovery in Structured Musical Streams} {} EVALUATED

Detalhes: {pt=Uma peça narrativa pode vir acompanhada de música como forma de enfatizá-la. Neste trabalho, abordamos o problema de modelação da estrutura temática da música para conteúdo cinematográfico num cenário de \textit{streaming}. Isto é concretizado por meio do mapeamento das relações entre conjuntos de personagens e locais em diferentes janelas temporais, elementos que afirmamos serem marcadores narrativos. Ao conectar situações semelhantes a partir da música que lhes está associada, relacionamos eventos narrativos por meio de sua similtude temática. Apresentamos um método totalmente automático para gerar, a partir de um ou mais filmes e dos seus meta dados (guião e legendas), uma versão de qualidade do áudio que é reproduzida, associado a um conjunto de etiquetas. Estas podem ser usados de forma a mapear a narrativa do filme e, de forma mais geral, como uma verdade fundamental que pode ser aplicada a outros estudos. Generalizamos a verdade fundamental em termos da coocorrência de etiquetas. Isto permite-nos ter uma perspectiva topológica das diferentes diretrizes narrativas que ocorrem ao longo do filme. Grupos de eventos semelhantes atuam como um ponto de ancoragem ao qual associamos a música que é tocada. Por ter uma etiqueta singular para descrever grupos de características musicais, podemos construir associações entre estes grupos e dar-lhes nomes. Usamos estes grupos para construir um mapa global de relações entre eventos cinematográficos semelhantes, dadas as suas características musicais compartilhadas., en=A narrative piece can be accompanied by music as a way of emphasizing it. In this work, we approach the problem of modelling the thematic structure of music for film content in a streaming scenario. This is achieved through the mapping of relationships between sets of characters and locations in different time windows, elements that we claim to be narrative markers. By connecting similar situations based on the music that is associated with them, we relate narrative events though their thematic similarity. We introduce a fully automatic method to generate, from one or more movies and their metadata material (script and subtitles), a quality version of the audio that is played together with a set of labels. These can be used to map the narrative of the movie and more generally, as a ground truth that can be applied to other studies, acting as the semantic to the material that they are associated with. We generalize the ground truth in terms of the co-occurrence of labels. This allows us to have a higher level overview of the different narrative guidelines that occur through the movie. Clusters of similar events act as an anchor point in to which we associate the music that is played. By having a hard label to describe groups of musical features, we can build associations between these groups and give them names. We use these groups to build a global map of relationships between similar movie events, given their shared musical characteristics.}

Discussão: janeiro 20, 2021, 9:0

Publicação

Obra sujeita a Direitos de Autor

Orientação

AUTOR

Duarte de Matos Soeiro Correia Teles (ist424754)

ORIENTADOR

David Manuel Martins de Matos

Departamento de Engenharia Informática (DEI)

Professor Associado