FenixEdu™

Dissertação

From Music to Animations, A Computational Creativity Approach EVALUATED

Detalhes: A visualização musical expande sensações musicais para a esfera visual. Se os domínios áudio e visual estiverem alinhados, a experiência fica aprimorada. Apresentamos um sistema que cria animações abstratas bidimensionais baseadas em ficheiros áudio, usando uma abordagem de Criatividade Computacional. Começamos por segmentar o áudio, tal que cada secção de áudio gera uma animação. Estas são criadas a partir de expressões matemáticas dependentes do áudio, cujos resultados são traduzidos para cores através de esquemas de cores. As funções são obtidas através da organização aleatória em árvore de funções elementares e variáveis. As variáveis dependem das intensidades das frequências e do andamento do áudio, e das coordenadas dos píxeis. Desenvolvemos três métodos para selecionar os esquemas de cores e funções, dado um conjunto gerado aleatoriamente. O primeiro método procura correspondências entre áudio e animação através do humor. O segundo método aprende a preferência estética do utilizador com base em classificações prévias de pares áudio-animação, tendo obtido uma precisão de 84.6%. O terceiro método corresponde a um processo de co-criação, onde o utilizador escolhe os esquemas de cores e funções dado um conjunto de amostras consideradas adequadas. Os métodos foram avaliados utilizando formulários online. Os participantes consideraram os vídeos criativos, e que os visuais alinhavam com o áudio. O modelo de preferência superou o método baseado em humor, e a seleção manual demontrou potencial para ser usada como ferramenta de co-criação para gerar visualizações musicais. Os resultados encorajam a continuação do estudo de sistemas de Criatividade Computacional baseados na modelação de preferência.
Keywords: Criatividade computacional, Visualização musical, Métricas computacionais de estética, Modelação de preferência humana

Discussão: novembro 24, 2021, 16:30