FenixEdu™

Dissertação

Deep Neural Network Characterization with Cache-Aware Roofline Modeling in Tensor Cores EVALUATED

Detalhes: De modo a atingirem uma precisão adequada, redes neuronais profundas podem atingir grandes complexidades, com milhões de parâmetros a treinar, e tornando-se extremamente intensivos a nível de computação e de memória. Atualmente, CPUs e GPUs não são capazes de processar estes modelos de forma eficiente, e assim, aceleradores especializados para Inteligência Artificial, como o NVIDIA Tensor Core, são usados para treinar e executar estas redes. No entanto, em contraste com os CPUs e GPUs, existe uma urgente necessidade de desenvolver uma metodologia para hardware orientado a IA para orientar os utilizadores a atingirem o desempenho e eficiência desejados, sobretudo na otimização de redes neuronais. Considerando as grandes diferenças da arquitetura, escolher a técnica a usar não é uma tarefa fácil. Este trabalho visa a resolução deste problema ao propor um modelo Roofline com vista em caches e focado em tensores para caracterizar o desempenho e eficiência de redes neuronais. Para permitir uma melhor compreensão do uso eficiente do Tensor Core, vários modelos de desempenho, potência e eficiência energética são desenvolvidos através da micro-caracterização deste, permitindo um aumento da eficiência energética em 20%. Estes modelos são validados experimentalmente em dois dispositivos da architetura NVIDIA Ampere, e a informação que disponibilizam é explorada através da caracterização de diferentes camadas de redes neuronais, através do uso de cuDNN que possibilita a maioria das ferramentas de IA atuais. Por fim, o potêncial de otimização das estratégias propostas é demonstrado através da otimização de um modelo VGG, resultando num aumento da eficiência energética em 9.74%.
Keywords: Aprendizagem Profunda, Modelo Roofline com Caches, GPU, Tensor Core, Micro-Caracterização.

Discussão: novembro 27, 2024, 14:0

Documentos da dissertação ainda não disponíveis publicamente