Disciplina Curricular

Processamento de Big Data PBDat

Diploma de Estudos Avançados em Engenharia Electrotécnica e de Computadores - DEAEEC2006

Contextos

Grupo: DEAEEC2006 > 3º Ciclo

Período:

Peso

6.0 (para cálculo da média)

Pré-requisitos

Probabilidades e Estatística, Álgebra Linear e Cálculo. Conhecimentos de Python, Julia ou R

Objectivos

1. Compreensão da necessidade da validação de modelos e estimação do erro de generalização a partir de grandes volumes de dados reais. Compreensão do papel da análise exploratória para Big Data. 2.Compreensão das assunções e das implicações dos métodos de aprendizagem quando aplicados a Big Data. 3. Aquisição de conhecimentos sobre métodos de otimização para aprendizagem em larga escala.

Programa

1. Teoria da generalização, Análise exploratória de dados (2h) 2. Redução de dimensionalidade: PCA (10h) a) SVD; b) Redução de dimensionalidade para Big Data: Modelos de low rank, considerando dados omissos e com tipos de dados heterogéneos; c) Redução de dimensionalidade para Big Data Streams: Matrix sketching 3. Clustering (6h) a) Revisão dos métodos tradicionais de clustering b) Clustering para Big Data: extreme clustering, clustering distribuído 4. Aprendizagem supervisionada (6h) a) Revisão de métodos de Regressão e classificação b) Aprendizagem supervisionada para Big Data: Losses para dados de tipos heterogéneos, método de descida de gradiente, métodos de gradiente estocástico, métodos em batch. 5. Tópicos avançados (escolha a)+b) ou c)+d)) (4h) a) Modelos Gráficos Probabilisticos (PGM) b) PGM para Big Data streams: streaming variational inference c) Aprendizagem com dados não balanceados d) Aprendizagem não balanceada para Big Data Streams

Metodologia de avaliação

50% de avaliação continua/50% de avaliação não continua

Componente de Competências Transversais

Os estudantes terão de se coordenar para elaborar o projeto em grupo. Terão de exercitar capacidades de comunicação para produzir relatórios e apresentações eficazes. O peer review é um momento de avaliação muito relevante, pois os alunos serão expostos a outros temas de projeto e terão de julgar a sua qualidade científica e comunicacional, uma competência fundamental para um Engenheiro.

Componente Laboratorial

NA

Componente de Programação e Computação

NA

Princípios Éticos

Todos os membros de um grupo são responsáveis pelo trabalho do grupo. Em qualquer avaliação, todo aluno deve divulgar honestamente qualquer ajuda recebida e fontes usadas. Numa avaliação oral, todo aluno deverá ser capaz de apresentar e responder a perguntas sobre toda a avaliação.

Disciplinas Execução

2022/2023 - 2º semestre

2020/2021 - 2º Semestre

2019/2020 - 2º Semestre

2018/2019 - 2ºSemestre

2017/2018 - 2ºSemestre