FenixEdu™

Dissertação

Supporting Posits in Deep Learning Frameworks: A PyTorch Implementation EVALUATED

Detalhes: Reduzir o consumo de energia de implementações de aprendizagem profunda tem vindo a atrair um interesse crescente nos últimos anos. Isto é particularmente relevante em aplicações onde existem limitações de energia, como dispositivos espaciais e aéreos. Com esta finalidade, o formato numérico posit tem mostrado resultados promissores como uma alternativa ao sistema de vírgula flutuante IEEE para cálculos de aprendizagem profunda. Investigação recente sugere que posits de 16 bits atingem resultados semelhantes a números de vírgula flutuante IEEE-754 de 32 bits e que mesmo posits com menos bits podem ser usados para treinar e avaliar modelos de aprendizagem profunda. No entanto, para estudar a utilização de posits em aprendizagem profunda, é necessário desenvolver funções específicas, uma vez que as ferramentas mais populares ainda não suportam este formato numérico. Este trabalho pretende colmatar essa lacuna, integrando posits de forma nativa no PyTorch, a ferramenta mais popular para investigação em aprendizagem profunda. A implementação proposta torna os posits um tipo de dados base da ferramenta, o que significa que podem ser usados da mesma forma que qualquer outro tipo de dados já suportado. Para validar a implementação, a rede neuronal convolucional LeNet-5 foi treinada e testada utilizando posits nas bases de dados MNIST e FashionMNIST. Os resultados obtidos com posits de 16 bits foram semelhantes aos de números de vírgula flutuante IEEE-754 de 32 bits, sugerindo que a implementação dos operadores considerados para posits está correta. Para difundir esta contribuição, o código e documentação produzidos foram disponibilizados num repositório de GitHub público.
Keywords: Formato numérico posit, aprendizagem profunda, redes neuronais, PyTorch

Discussão: novembro 29, 2021, 10:0