FenixEdu™

Dissertação

Automatic Detection of Profile Features EVALUATED

Detalhes: Corpora de fala coletado usando crowdsourcing necessitam tipicamente de validações dispendiosas para verificar as características dos falantes, ou correta submissão. Adicionalmente, esta validação também deverá excluir gravações correspondentes a vários falantes que partilham a mesma conta, ou várias contas com o mesmo falante. Esta tese foca-se no uso de técnicas de reconhecimento de padrões de fala para realizar esta validação automática. Isto é efetuado treinando um sistema baseado no x-vector num corpus open-source e registando a primeira gravação de cada falante num trabalho de coleção de corpora, que é depois comparado com gravações subsequentes. Os embeddings resultantes são também utilizados para identificar género. Como teste, usou-se esta abordagem para validar diferentes datasets em 3 línguas, adotando técnicas de normalização de score. Os resultados mostram um EER abaixo dos 4% em todas as experiências, indicando a possibilidade de adotar o mesmo limiar sem perda substancial de performance. Isto permite a validação de tarefas de crowdsourcing imediatamente após submissão. Esta tese também envolveu a participação num desafio internacional de computação paralinguística, onde foi estudado a predição automática através da fala de sinais de respiração obtidos através de cintos respiratórios. Analisou-se os sinais originais e preditos e identificou-se um subset de sinais irregulares que resultaram na pior performance, mostrando como estes afetam os resultados. Propôs-se várias variantes do sistema base end-to-end, como o BiLSTM e a decomposição AM/FM como input, mostrando que estes são capazes de predizer padrões respiratórios e parâmetros clinicamente relevantes, como a taxa de respiração, em sessões simuladas de videoconferência.
Keywords: Crowdsourcing, Paralinguística, Verificação do Falante, Verificação de Género, Deteção da respiração.

Discussão: dezembro 9, 2020, 9:0