Dissertação

Automatic Detection of Profile Features EVALUATED

Corpora de fala coletado usando crowdsourcing necessitam tipicamente de validações dispendiosas para verificar as características dos falantes, ou correta submissão. Adicionalmente, esta validação também deverá excluir gravações correspondentes a vários falantes que partilham a mesma conta, ou várias contas com o mesmo falante. Esta tese foca-se no uso de técnicas de reconhecimento de padrões de fala para realizar esta validação automática. Isto é efetuado treinando um sistema baseado no x-vector num corpus open-source e registando a primeira gravação de cada falante num trabalho de coleção de corpora, que é depois comparado com gravações subsequentes. Os embeddings resultantes são também utilizados para identificar género. Como teste, usou-se esta abordagem para validar diferentes datasets em 3 línguas, adotando técnicas de normalização de score. Os resultados mostram um EER abaixo dos 4% em todas as experiências, indicando a possibilidade de adotar o mesmo limiar sem perda substancial de performance. Isto permite a validação de tarefas de crowdsourcing imediatamente após submissão. Esta tese também envolveu a participação num desafio internacional de computação paralinguística, onde foi estudado a predição automática através da fala de sinais de respiração obtidos através de cintos respiratórios. Analisou-se os sinais originais e preditos e identificou-se um subset de sinais irregulares que resultaram na pior performance, mostrando como estes afetam os resultados. Propôs-se várias variantes do sistema base end-to-end, como o BiLSTM e a decomposição AM/FM como input, mostrando que estes são capazes de predizer padrões respiratórios e parâmetros clinicamente relevantes, como a taxa de respiração, em sessões simuladas de videoconferência.
Crowdsourcing, Paralinguística, Verificação do Falante, Verificação de Género, Deteção da respiração.

Dezembro 9, 2020, 9:0

Documentos da dissertação ainda não disponíveis publicamente

Orientação

ORIENTADOR

Rui Pedro dos Santos Correia

Defined Crowd

Doutor

ORIENTADOR

Isabel Maria Martins Trancoso

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Catedrático