FenixEdu™

Dissertação

{en_GB=Exploiting non-conventional DVFS on GPUs: application to Deep Learning} {} EVALUATED

Detalhes: {pt=Atualmente, as unidades de processamento gráfico (do inglês GPUs) são um dos principais dispositivos computacionais usados para acelerar aplicações de cariz paralelo. Contudo, esse imenso desempenho acarreta um alto consumo energético. Diversas soluções podem ser adotadas para aumentar a eficiência energética desses dispositivos. Porém, o escalonamento de tensão-frequência (T-F) tem sido a solução que obtém o melhor resultado, permitindo melhorar as métricas de eficiência energética automaticamente e independente das aplicações executadas. As implementações atuais de escalonamento dinâmico de tensão e frequência (do inglês DVFS) em GPUs são unidimensionais, ajustando a frequência dentro dos pares padrão de tensão-frequência. No entanto, este ajuste é insuficiente, pois não garante o par mais adequado à aplicação a ser executada. Esta dissertação apresenta uma metodologia para caraterizar o impacto do DVFS não convencional em GPUs, capaz de colmatar o carácter unidimensional das implementações actuais. A abordagem proposta define um espaço de parametrização que determina a faixa de tensão tolerável para cada frequência. A mesma foi testada em duas GPUs da AMD com os resultados a mostrarem que estes dispositivos são ambos capazes de operar em segurança com até menos 20% do valor padrão de tensão. O espaço de parametrização definido é usado pelo mecanismo de otimização T-F desenvolvido para selecionar automaticamente a configuração de maior eficiência-energética. Quando aplicado a aplicações de Aprendizagem Profunda e, especificamente CNNs, o mecanismo de otimização demonstra ser capaz de melhorar a eficiência-energética da GPU em até 44% sem qualquer deterioração relevante da precisão do modelo de rede neural treinado., en=Nowadays, Graphics Processing Units (GPUs) are the primary computational devices used to accelerate highly parallel applications. However, this immense performance comes at the cost of high energy consumption. Several solutions can be adopted to increase the energy-efficiency of these devices. Though, Voltage-Frequency (V-F) scaling has been the one that achieves the best results, by allowing to automatically improve this metric and independently of the workload. However, current implementations of Dynamic Voltage and Frequency Scaling (DVFS) on GPUs are still one-dimensional, by simply adjusting frequency while relying on default voltage settings. To overcome this limitation, this dissertation introduces a new methodology to fully characterize the impact of non-conventional DVFS on GPUs. To attain this objective, the proposed approach defines a Usable Execution Space (UES) that determines the tolerable voltage range allowed by each frequency. The conducted experimental evaluation, using two out-of-the-shelf AMD GPUs, demonstrated that these particular devices are able to be safely undervolted by more than 20%. The devised UES is then used by a conceived V-F optimization mechanism, which was created to automatically select the most energy-efficiency configuration. When applied to Deep Learning applications and, specifically, Convolutional Neural Networks (CNNs), the proposed optimization mechanism can improve the GPU energy efficiency by up to 44% without any measured deterioration of the CNN model accuracy.}
Keywords: {pt=Unidade de Processamento Gráfico, Escalonamento Dinâmico Tensão-Frequência, Redução da Tensão, Mecanismo de Optimização, Aprendizagem Profunda, Redes Neuronais Profundas, en=Graphics Processing Unit, Dynamic Voltage and Frequency Scaling, Undervoltage, Optimization Mechanism, Deep Learning, Deep Neural Networks}

Discussão: outubro 27, 2020, 17:0