FenixEdu™

Dissertação

Optimising Sparse Computing on GPU and Tensor Cores EVALUATED

Detalhes: Informação esparsa está presentes em diversos domínios, tornando-se ainda mais predominante com o crescimento exponencial da relevância de redes neuronais. A maioria da informação esparsa é estruturada em matrizes esparsas. Devido à distribuição irregular dos elementos não nulos nessas matrizes, a maioria das operações esparsas sofre de baixa localidade de dados e problemas de balanceamento de trabalho. A reordenação das linhas e colunas de uma matriz esparsa, assim como o formato em que ela é armazenada, tem um grande impacto no desempenho das operações esparsas, com acelerações que podem atingir 2x. No entanto, algoritmos de reordenação e formatos podem ter impactos diferentes quando aplicados a diferentes matrizes esparsas devido às suas características distintas; resultados experimentais mostram variações que vão de 1,3x a 0,4x. Uma das principais contribuições deste trabalho é esclarecer a relevância dessas diferentes características. A introdução de Tensor Cores para operações esparsas também criou novas oportunidades para melhorias de desempenho, embora a sua natureza em blocos torne a otimização complexa. Em particular, este estudo concerta-se na avaliação de desempenho de operações esparsas executadas no GPU, comparando CUDA Cores e Tensor Cores. A principal contribuição é a introdução de uma nova abordagem para computação esparsa em Tensor Cores, demonstrando acelerações de até 11x. Este trabalho também incluirá contribuições para a biblioteca de software SparseBase, atualmente em desenvolvimento.
Keywords: Sparse, GPU, Tensor Cores, SPMV, SPMM

Discussão: novembro 20, 2024, 15:30

Documentos da dissertação ainda não disponíveis publicamente