Dissertação

{pt_PT=Deep Learning with approximate computing: an energy efficient approach} {} CONFIRMED

{pt=Implementações de aprendizagem profunda mais rápidas e energeticamente eficientes beneficiarão certamente várias áreas, especialmente aquelas com sistemas que possuem limitações de energia e de carga, tais como dispositivos aéreos e espaciais. Sob esta premissa, os formatos de baixa precisão demonstram ser uma forma eficiente de reduzir não só a utilização de memória, mas também os recursos de hardware e respetivo consumo energético em aprendizagem profunda. Particularmente, o formato numérico posit parece ser um substituto altamente viável para o sistema de vírgula flutuante IEEE, mas ainda pouco explorado para o treino de redes neuronais. Alguns resultados preliminares mostram que posits de 8 bits (ou menos) podem ser utilizados para inferência e posits de 16 bits para treino, mantendo a precisão do modelo. O trabalho apresentado visa avaliar o treino de redes neuronais convolucionais com posits de precisão inferior ou igual a 16 bits. Para tal, foi desenvolvida uma software framework que permite utilizar posits e quires para aprendizagem profunda. Em particular, permitiu treinar e testar modelos com qualquer tamanho de bits e ainda com configurações de precisão mista, adequado a diferentes requisitos de precisão. Foi ainda avaliada uma variação do formato posit com underflow. Os resultados obtidos sugerem que o posit de 8 bits consegue substituir o formato simples de vírgula flutuante de 32 bits numa configuração de treino mista com posits de baixa precisão, sem qualquer impacto na precisão resultante. Além disso, a precisão obtida para testes com posits de muito baixa precisão aumentou com a introdução de underflow., en=Faster and energy-efficient deep learning implementations will certainly benefit various application domains, especially those deployed in systems with energy and payload limitations, such as aerial and space devices. Under this premise, low-precision formats have proven to be an efficient way to reduce not only the memory footprint but also the hardware resources and power consumption of deep learning computations. For this purpose, the posit numerical format stands out as a highly viable substitute for the IEEE floating-point, but its application to neural networks training still requires further research. Some preliminary results have shown that 8-bit (and even smaller) posits may be used for inference and 16-bit for training while maintaining the model accuracy. The presented work aims to evaluate the feasibility to train deep convolutional neural networks using posits, focusing on precisions less than or equal to 16 bits. For such purpose, a software framework was developed to use simulated posits and quires in end-to-end deep learning training and inference. This implementation allowed to train and test deep learning models using any bit size, configuration, and even mixed-precision, suitable for different precision requirements in various stages. Additionally, a variation of the posit format able to underflow was also evaluated for low-precision posits. The obtained results suggest that 8-bit posits can replace 32-bit floats in a mixed low-precision posit configuration for the training phase, with no negative impact on the resulting accuracy. Moreover, enabling posits to underflow increased their testing accuracy for very low precisions.}
{pt=Formato numérico posit, aritmética de baixa precisão, redes neuronais profundas, treino, inferência, en=Posit numerical format, low-precision arithmetic, deep neural networks, training, inference}

Janeiro 5, 2021, 16:0

Orientação

ORIENTADOR

Nuno Filipe Valentim Roma

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Associado

ORIENTADOR

Pedro Filipe Zeferino Tomás

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Auxiliar