Laboratórios

Os laboratórios decorrerão para apoio à realização dos projetos. Em cada um com avaliação, cada grupo deve apresentar os resultados atingidos no projeto para as questões/fases dos projetos assinaladas no enunciado, e de acordo com a seguinte calendarização. 

Nos laboratórios com avaliação, cada grupo terá aproximadamente 10 minutos para mostrar, discutir e receber feedback dos seus resultados.

Assim, e de modo a evitar aglomerações de alunos na sala, os grupos podem apresentar-se na sala 10 minutos antes da hora marcada para a sua apresentação.

Aulas

  • No evaluation (30 Sep) - Basic Programming
  • No evaluation (7 Oct) - Object-orienting Programming
  • No evaluation (12 Oct) - ER Model and Relational Model
  • No evaluation (14 Oct) - SQL Queries
  • No evaluation (19 Oct) - Multidimensional model and OLAP
  • No evaluation (21 Oct) - Pandas and Matplot.lib
  • Evaluation 1 (26 Oct) - Data profiling 
  • No evaluation (28 Oct) 
  • Evaluation 2 (2 Nov) - Missing values imputation, Scaling, Dummification, KNN and Naive Bayes
  • Evaluation 3 (4 Nov) - Balancing, KNN and Naive Bayes sudies
  • Evaluation 4 (9 Nov)  -  Decision trees studies (optional - overfitting for DTs and KNN)
  • Evaluation 5 (11 Nov) - Ensembles studies (optional - feature selection impact for all techniques + overfitting study for RF)
Podem consultar aqui a distribuição dos grupos pelos laboratórios nas aulas de avaliação.

Material de Apoio

Software

O software para esta disciplina é composto por duas partes:
  • MySQL para apoio à parte de Bases de Dados
  • Python para apoio à parte de Ciência de Dados (segunda parte da matéria)

Máquina Virtual

De forma a facilitar a instalação do mesmo foi criada uma máquina virtual previamente instalada com todo o software. Os alunos são fortemente aconselhados a descarregar o software de virtualização VirtualBox, e a descarregar a máquina virtual aqui.
Notem que, caso o vosso computador seja um Macbook com o novo chip M1, não será possível executar a máquina virtual, tendo de instalar as ferramentas listadas a seguir. 
Os alunos que optem por não instalar a máquina virtual também deverão instalar as ferramentas listadas a seguir.

As credenciais de acesso à máquina virtual são as seguintes:
user: aluno
pass: aluno
---
user: root
pass: root
---
O mysql já se encontra ativo e o workbench configurado para se ligar à base de dados.
A password to utilizador "root" da base de dados é também "root".

Para se ligar à linha de comandos mysql pelo terminal, terá de correr o seguinte comando:
   mysql -u root -p

MySQL

Recomendações:
  • No sistema Windows, recomenda-se a utilização do MySQL Installer para instalar os componentes acima.
  • A instalação do MySQL Connector/Python tem como requisito a existência de uma distribuição de Python no sistema. Para isso, convém deixar a instalação do MySQL Connector/Python para depois da instalação de Python.
  • Depois de instalar o MySQL Server, poderá ser necessário configurá-lo antes de o arrancar. Para além da password do utilizador root, recomenda-se a criação de um utilizador pcd com password pcd.

Python

Instalar a versão 3.9 do Python e depois instalar os packages abaixo:Ambiente de desenvolvimentoRecomendações:
  • A instalação daqueles pacotes é facilmente conseguida através do comando pip a partir de uma linha de comando, por exemplo pip install pandas instala o pacote pandas
  • Após a instalação de Python no sistema, é possível instalar o MySQL Connector/Python com: pip install mysql-connector-python. Esta é uma forma alternativa de instalar o MySQL Connector/Python.
  • Não se recomenda a utilização de notebooks

Problemas comuns

Em Windows, o MySQL Installer diz: "No Packages found - MySQL Installer did not find packages in the current bundle suitable for installation."A solução é:
  • desinstalar o MySQL Installer (isto é importante, antes de tentar uma nova instalação)
  • fazer download da versão completa do MySQL Installer (a que tem 400+ MB)
  • instalar a partir daí.
Em Windows, o comando python ou pip podem não ser reconhecidos. Os alunos devem adicionar as suas localizações à variável de ambiente PATH.
Em macOS, o MySQL Workbench não abre, diz "MySQLWorkbench fechou inesperadamente. Clique em Reabrir para abrir de novo a aplicação. Este relatório será enviado à Apple automaticamente."A solução é:

Attachments