Dissertação
Discretization Aware Differentiable ARchiTecture Search EVALUATED
Neural Architecture Search (NAS) tem democratizado o acesso às Deep Neural Networks (DNNs) ao reduzir os custos de criação de novas arquiteturas de redes neuronais. Esses custos foram minimizados por meio de algoritmos eficientes que reduzem a dependência de especialistas e estratégias de tentativa e erro. No entanto, os tempos de treino desses algoritmos podem ser consideravelmente longos. Differentiable ARchiTecture Search (DARTS) surgiu como uma solução eficiente e elegante, sendo diferenciável em todo o seu processo de treino e permitindo o uso de mecanismos convencionais de treino das DNN. Apesar disso, o DARTS tem enfrentado problemas de robustez, os quais eu argumento serem decorrentes de heurísticas contra-intuitivas ao próprio algoritmo. Nesta tese, apresento três técnicas que eliminam a necessidade de uma dessas heurísticas, melhorando a robustez do algoritmo para aplicação em diversos contextos. Os resultados mostram que estas três técnicas conseguem de facto eliminar a necessidade desta heurística.
junho 19, 2024, 13:0
Documentos da dissertação ainda não disponíveis publicamente
Orientação
ORIENTADOR
Bruno Emanuel Da Graça Martins
Departamento de Engenharia Electrotécnica e de Computadores (DEEC)
Professor Associado