Material de apoio
Publicam-se abaixo os capítulos referentes à matéria já leccionada. Solicita-se aos alunos que comuniquem eventuais gralhas detectadas ao Professor Francisco Melo. Como recompensa, cada aluno que detectar uma nova gralha será mencionado nos agradecimentos da versão publicada do livro.
- Introdução
- Cadeias de Markov
- Modelos de Markov escondidos
- Teoria da utilidade
- Problemas de decisão de Markov
- Problemas de decisão de Markov com observabilidade parcial
- Aprendizagem supervisionada
- Aprendizagem por reforço (excerto do livro "RL: An Introduction", dos autores R. Sutton e A. Barto, 2018)
- Exploration vs. exploitation
- Apêndices (background)
Nota Importante: O capítulo 8, sobre aprendizagem por reforço, não está ainda disponível. Em alternativa, disponibilizam-se alguns capítulos da 2ª edição do livro "Reinforcement Learning: An Introduction", de R. Sutton e A. Barto. De notar, no entanto, que esse livro utiliza recompensas (rewards) em vez de custos (para além de outras diferenças de notação), pelo que deverão ter o devido cuidado ao estudar esse material.
Disponibiliza-se ainda para consulta material diverso usado nas aulas.
- Slides aula 1 (introdução, probabilidades)
- Slides aula 2 (cadeias de Markov)
- Slides aula 3 (HMMs)
- Slides aula 4 (algoritmos FB e Viterbi)
- Slides aula 5 (teoria da decisão)
- Slides aula 6 (MDPs)
- Slides aula 7 (MDPs - continuação)
- Slides aula 8 (MDPs - continuação)
- Slides aula 9 (POMDPs)
- Slides aula 10 (POMDPs - continuação)
- Slides aula 11 (POMDPs - continuação)
- Slides aula 12 (aprendizagem supervisionada)
- Slides aula 13 (aprendizagem supervisionada - continuação)
- Slides aula 14 (aprendizagem supervisionada - continuação)
- Slides aula 15 (aprendizagem supervisionada - continuação)
- Slides aula 16 (aprendizagem supervisionada - continuação)
- Slides aula 17 (aprendizagem por reforço)
- Slides aula 18 (aprendizagem por reforço - continuação)
- Slides aula 19 (aprendizagem por reforço - continuação)
- Slides aula 20 (aprendizagem por reforço - continuação)
- Slides aula 21 (predição sequencial)
- Slides aula 22 (predição sequencial - continuação)