Dissertação

{en_GB=Hybrid Generative-Discriminative Learning} {} EVALUATED

{pt=Esta tese apresenta um algoritmo híbrido generativo-discriminativo para aprendizagem supervisionada ou semi-supervisionada, inspirado em redes de funções de base radial ( radial basis functions network). A rede e composta por duas camadas: (1) uma camada com modelos de mistura que mapeia a entrada; (2) uma camada de saída com um modelo logistico-linear que classifica os dados. As misturas podem incluir componentes gaussianas e/ou categoricas (também chamadas de multinoullis), sendo capaz de lidar com dados reais e/ou categoricos. É também possível realizar aprendizagem com dados contendo entradas em falta, sendo que a camada de mistura estima os valores ausentes em cada iteração. O esquema de aprendizagem proposto combina o algoritmo esperança-maxização (expectation-maximization–EM) (nao supervisionado) para misturas finitas (executado na primeira ca-mada) com a (supervisionada) regressao logística (executado na camada de saída); alem disso, permite que a camada de saída influencie os pesos das componentes da primeira camada (de acordo com sua importancia/peso no problema de classificação), sendo interpretável como uma forma de retropropagação (sem gradientes). O algoritmo lida com a aprendizagem semi-supervisionada e, como subproduto, estima a densidade, agrupa e possibilita a redução de dimensionalidade dos dados de entrada. Os resultados experimentais apresentados foram obtidos em conjuntos de dados classicos (envolvendo valores reais, categoricos e mistos) e mostraram-se competitivos e promissores. , en=This work presents a hybrid generative-discriminative algorithm for supervised or semi-supervised learning, inspired by radial basis function network classifiers. The network is composed of two layers: (1) a layer with mixture models that creates an embedding of the input; (2) an output layer with a log-linear model that classifies the embedded data. The mixtures may include Gaussian and/or categorical components (also called multinoullis), thus being able to handle real, categorical, and mixed data. It can also learn from datasets containing missing entries, where the mixture layer can estimate the missing values at each iteration. The proposed learning scheme intertwines the (unsupervised) expectation maximization algorithm for finite mixtures (running in the first layer) with (supervised) logistic regression (running in the output layer); moreover, it allows the output layer to influence the weights of the components in the first layer (according to their importance/weight for the classifier), thus being interpretable as a form of back-propagation (without gradients). The algorithm handles semi-supervised learning and, as a by-product, performs density estimation, clustering, and dimensionality reduction of the input data. The experimental results reported in this work on some classical datasets (involving real-valued, categorical, and mixed data) show competitive and promising results.}
{pt=embutimento de dados, redes de função de base radial, classificação, estimação de densidade, aprendizagem semi-supervisionada, en=embeddings, radial basis function networks, classification, density estimation, semisupervised learning}

Julho 25, 2018, 17:0

Orientação

ORIENTADOR

Mário Alexandre Teles de Figueiredo

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Catedrático