Dissertação

Discretization Aware Differentiable ARchiTecture Search EVALUATED

Neural Architecture Search (NAS) tem democratizado o acesso às Deep Neural Networks (DNNs) ao reduzir os custos de criação de novas arquiteturas de redes neuronais. Esses custos foram minimizados por meio de algoritmos eficientes que reduzem a dependência de especialistas e estratégias de tentativa e erro. No entanto, os tempos de treino desses algoritmos podem ser consideravelmente longos. Differentiable ARchiTecture Search (DARTS) surgiu como uma solução eficiente e elegante, sendo diferenciável em todo o seu processo de treino e permitindo o uso de mecanismos convencionais de treino das DNN. Apesar disso, o DARTS tem enfrentado problemas de robustez, os quais eu argumento serem decorrentes de heurísticas contra-intuitivas ao próprio algoritmo. Nesta tese, apresento três técnicas que eliminam a necessidade de uma dessas heurísticas, melhorando a robustez do algoritmo para aplicação em diversos contextos. Os resultados mostram que estas três técnicas conseguem de facto eliminar a necessidade desta heurística.
NAS; DARTS; Deep learning.

junho 19, 2024, 13:0

Documentos da dissertação ainda não disponíveis publicamente

Orientação

ORIENTADOR

Paolo Romano

Departamento de Engenharia Informática (DEI)

Professor Associado

ORIENTADOR

Bruno Emanuel Da Graça Martins

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Associado