Laboratórios
Os laboratórios decorrerão para apoio à realização dos projetos. Em cada um com avaliação, cada grupo deve apresentar os resultados atingidos no projeto para as questões/fases dos projetos assinaladas no enunciado, e de acordo com a seguinte calendarização.
Nos laboratórios com avaliação, cada grupo terá aproximadamente 10 minutos para mostrar, discutir e receber feedback dos seus resultados.
Assim, e de modo a evitar aglomerações de alunos na sala, os grupos podem apresentar-se na sala 10 minutos antes da hora marcada para a sua apresentação.
Aulas
- No evaluation (30 Sep) - Basic Programming
- No evaluation (7 Oct) - Object-orienting Programming
- No evaluation (12 Oct) - ER Model and Relational Model
- No evaluation (14 Oct) - SQL Queries
- No evaluation (19 Oct) - Multidimensional model and OLAP
- No evaluation (21 Oct) - Pandas and Matplot.lib
- Evaluation 1 (26 Oct) - Data profiling
- No evaluation (28 Oct)
- Evaluation 2 (2 Nov) - Missing values imputation, Scaling, Dummification, KNN and Naive Bayes
- Evaluation 3 (4 Nov) - Balancing, KNN and Naive Bayes sudies
- Evaluation 4 (9 Nov) - Decision trees studies (optional - overfitting for DTs and KNN)
- Evaluation 5 (11 Nov) - Ensembles studies (optional - feature selection impact for all techniques + overfitting study for RF)
Material de Apoio
- Databases - Google classroom - guias de laboratório com datasets de exemplo
- Data Science - DSLabs - Python Tutorial for Data Science by Cláudia Antunes
- Data
Software
O software para esta disciplina é composto por duas partes:- MySQL para apoio à parte de Bases de Dados
- Python para apoio à parte de Ciência de Dados (segunda parte da matéria)
Máquina Virtual
De forma a facilitar a instalação do mesmo foi criada uma máquina virtual previamente instalada com todo o software. Os alunos são fortemente aconselhados a descarregar o software de virtualização VirtualBox, e a descarregar a máquina virtual aqui.Notem que, caso o vosso computador seja um Macbook com o novo chip M1, não será possível executar a máquina virtual, tendo de instalar as ferramentas listadas a seguir.
Os alunos que optem por não instalar a máquina virtual também deverão instalar as ferramentas listadas a seguir.
As credenciais de acesso à máquina virtual são as seguintes:
user: aluno
pass: aluno
---
user: root
pass: root
---
O mysql já se encontra ativo e o workbench configurado para se ligar à base de dados.
A password to utilizador "root" da base de dados é também "root".
Para se ligar à linha de comandos mysql pelo terminal, terá de correr o seguinte comando:
mysql -u root -p
MySQL
- MySQL Community Server (servidor de bases de dados)
- MySQL Workbench (ferramenta de trabalho sobre MySQL)
- MySQL Connector/Python (componente de ligação a Python)
- No sistema Windows, recomenda-se a utilização do MySQL Installer para instalar os componentes acima.
- A instalação do MySQL Connector/Python tem como requisito a existência de uma distribuição de Python no sistema. Para isso, convém deixar a instalação do MySQL Connector/Python para depois da instalação de Python.
- Depois de instalar o MySQL Server, poderá ser necessário configurá-lo antes de o arrancar. Para além da password do utilizador root, recomenda-se a criação de um utilizador pcd com password pcd.
Python
Instalar a versão 3.9 do Python e depois instalar os packages abaixo:- pandas (para dados estruturados)
- matplotlib e seaborn (para visualização)
- scikit-learn (para aprendizagem)
- imblearn (para balanceamento de dados)
- spyder (para alunos com pouca experiência de programação)
- Visual Studio Code ou PyCharm (para alunos com boa experiência de programação)
- A instalação daqueles pacotes é facilmente conseguida através do comando pip a partir de uma linha de comando, por exemplo pip install pandas instala o pacote pandas
- Após a instalação de Python no sistema, é possível instalar o MySQL Connector/Python com: pip install mysql-connector-python. Esta é uma forma alternativa de instalar o MySQL Connector/Python.
- Não se recomenda a utilização de notebooks
Problemas comuns
Em Windows, o MySQL Installer diz: "No Packages found - MySQL Installer did not find packages in the current bundle suitable for installation."A solução é:- desinstalar o MySQL Installer (isto é importante, antes de tentar uma nova instalação)
- fazer download da versão completa do MySQL Installer (a que tem 400+ MB)
- instalar a partir daí.
Em macOS, o MySQL Workbench não abre, diz "MySQLWorkbench fechou inesperadamente. Clique em Reabrir para abrir de novo a aplicação. Este relatório será enviado à Apple automaticamente."A solução é:
- instalar uma versão anterior (p.ex. 8.0.22) do MySQL Workbench: https://downloads.mysql.com/archives/workbench/