FenixEdu™

Dissertação

Deep Learning with approximate computing: an energy efficient approach EVALUATED

Detalhes: Implementações de aprendizagem profunda mais rápidas e energeticamente eficientes beneficiarão certamente várias áreas, especialmente aquelas com sistemas que possuem limitações de energia e de carga, tais como dispositivos aéreos e espaciais. Sob esta premissa, os formatos de baixa precisão demonstram ser uma forma eficiente de reduzir não só a utilização de memória, mas também os recursos de hardware e respetivo consumo energético em aprendizagem profunda. Particularmente, o formato numérico posit parece ser um substituto altamente viável para o sistema de vírgula flutuante IEEE, mas ainda pouco explorado para o treino de redes neuronais. Alguns resultados preliminares mostram que posits de 8 bits (ou menos) podem ser utilizados para inferência e posits de 16 bits para treino, mantendo a precisão do modelo. O trabalho apresentado visa avaliar o treino de redes neuronais convolucionais com posits de precisão inferior ou igual a 16 bits. Para tal, foi desenvolvida uma software framework que permite utilizar posits e quires para aprendizagem profunda. Em particular, permitiu treinar e testar modelos com qualquer tamanho de bits e ainda com configurações de precisão mista, adequado a diferentes requisitos de precisão. Foi ainda avaliada uma variação do formato posit com underflow. Os resultados obtidos sugerem que o posit de 8 bits consegue substituir o formato simples de vírgula flutuante de 32 bits numa configuração de treino mista com posits de baixa precisão, sem qualquer impacto na precisão resultante. Além disso, a precisão obtida para testes com posits de muito baixa precisão aumentou com a introdução de underflow.
Keywords: Formato numérico posit, aritmética de baixa precisão, redes neuronais profundas, treino, inferência

Discussão: janeiro 5, 2021, 16:0