Disciplina Curricular
Processamento de Big Data PBDat
Minor em Indústria 4.0 Sustentável - Min-I4.0S 2021
Contextos
Grupo: Min-I4.0S 2021
Período:
Peso
6.0 (para cálculo da média)
Pré-requisitos
Probabilidades e Estatística, Álgebra Linear e Cálculo. Conhecimentos de Python, Julia ou R
Objectivos
1. Compreensão da necessidade da validação de modelos e estimação do erro de generalização a partir de grandes volumes de dados reais. Compreensão do papel da análise exploratória para Big Data. 2.Compreensão das assunções e das implicações dos métodos de aprendizagem quando aplicados a Big Data. 3. Aquisição de conhecimentos sobre métodos de otimização para aprendizagem em larga escala.
Programa
1. Teoria da generalização, Análise exploratória de dados (2h) 2. Redução de dimensionalidade: PCA (10h) a) SVD; b) Redução de dimensionalidade para Big Data: Modelos de low rank, considerando dados omissos e com tipos de dados heterogéneos; c) Redução de dimensionalidade para Big Data Streams: Matrix sketching 3. Clustering (6h) a) Revisão dos métodos tradicionais de clustering b) Clustering para Big Data: extreme clustering, clustering distribuído 4. Aprendizagem supervisionada (6h) a) Revisão de métodos de Regressão e classificação b) Aprendizagem supervisionada para Big Data: Losses para dados de tipos heterogéneos, método de descida de gradiente, métodos de gradiente estocástico, métodos em batch. 5. Tópicos avançados (escolha a)+b) ou c)+d)) (4h) a) Modelos Gráficos Probabilisticos (PGM) b) PGM para Big Data streams: streaming variational inference c) Aprendizagem com dados não balanceados d) Aprendizagem não balanceada para Big Data Streams
Metodologia de avaliação
50% de avaliação continua/50% de avaliação não continua
Componente de Competências Transversais
Os estudantes terão de se coordenar para elaborar o projeto em grupo. Terão de exercitar capacidades de comunicação para produzir relatórios e apresentações eficazes. O peer review é um momento de avaliação muito relevante, pois os alunos serão expostos a outros temas de projeto e terão de julgar a sua qualidade científica e comunicacional, uma competência fundamental para um Engenheiro.
Componente Laboratorial
NA
Componente de Programação e Computação
NA
Princípios Éticos
Todos os membros de um grupo são responsáveis pelo trabalho do grupo. Em qualquer avaliação, todo aluno deve divulgar honestamente qualquer ajuda recebida e fontes usadas. Numa avaliação oral, todo aluno deverá ser capaz de apresentar e responder a perguntas sobre toda a avaliação.