Planeamento

Aulas Teóricas

Introdução

Introdução à disciplina, seu funcionamento e conteúdo.


Fontes de Informação

Introdução ao estudo da compressão e codificação no contexto das telecomunicação. Introdução ao estudo das fontes de informação: os conceitos básicos de teoria da informação.

Axiomática da teoria da informação.

Axiomas de Kinchine para a teoria da informação de Shannon. Entropia de Shannon como única medida que satisfaz esses axiomas.

Propriedade fundamentais da entropia.

Estudo da entropia de fontes discretas sem memória e suas propriedade fundamentais (positividade, agrupamento, maximização pela distribuição uniforme, unidades na qual se expressa).

Outras quantidades da teoria da informação.

Outras quantidades da teoria da informação e suas relações: entropia condicional e conjunta, lei de Bayes para entropia, informação mútua como medida de dependência entre variáveis aleatórias.

Desigualdade fundamental da teoria da informação.

Desigualdade fundamental da teoria da informação: positividade da divergência de Kullback-Leibler e suas consequências. Positividade da informação mútua, redução de entropia pelo condicionamente, limite superior para a entropia.

Códigos: Introdução

Introdução ao estudo dos códigos: códigos como funções no fecho de Kleene de um alfabeto, códigos não singulares, códigos univocamente descodificáveis e códigos instantâneos. 

Códigos Óptimos.

Códigos instantâneos e a desigualdade de Kraft-McMillan. Códigos ideais e códigos óptimos. Códigos de Shannon e as desigualdades fundamentais da codificação instantânea.

Códigos de Huffman.

Algoritmo de Huffman para obter códigos instantâneos óptimos. Demonstração da optimalidade dos códigos obtidos pelo algoritmo de Huffman.

Extensão de Fonte

Extensão de fonte como forma de aproximar o limite teórico dado pela entropia da fonte.

Codificação de Shannon-Fano-Elias

Codificação de Shannon-Fano-Elias e suas vantagens sobre a codificação de Huffman para extensões de fonte de elevada ordem. Comprimento médio dos códigos de Shannon-Fano-Elias.

Codificação Aritmética

Codificação aritmética como implementação da codificação de Shannon-Fano-Elias. Versão binária e caso geral M-ário.

Fontes com Memória

Introdução ao estudo das fontes com memória: processos estocásticos discretos em tempo discreto, processos estocásticos estacionários, e processos de Markov.

Fontes com Memória (continuação)


Continuação do estudo das fontes com memória:  distribuição estacionária de fontes de  Markov e o teorema de Perron-Frobenius. Medidas de teoria da informação para fontes com memória (taxa de entropia e taxa de entropia condicional). Codificação para fontes com memória.

Codificação de Elias

Codificação instantânea de números inteiros arbitrariamente grandes: código gama de Elias e código delta de Elias e seus comprimentos médios.

Codificação de Lempel-Ziv.

Introdução à  codificação de Lempel-Ziv: Lempel-Ziv 77 e Lempel-Siv 78 e suas variantes. Algoritmos de Lempel-Ziv-Storer-Szymanski e Lempel-Siz-Welch.

Fontes Contínuas

Introdução ao estudo das fontes contínuas/analógicas: variáveis aleatórias contínuas e sua caractaerização à luz da teoria da informação. Entropia diferencial e suas propriedades.

Fontes Contínuas (continução)

ontinuação do estudo das fontes contínuas/analógicas. Relação entre a entropia diferencial e a discreta. Início do estudo da codificação de fontes analógicas: codificação, descodificação, quantização. Quantizadores escalares regulares.

Quantização Escalar

Estudo da quantização escalar: estrutura de um quantizador, code-book e regiões/células de quantização. Desempenho de quantizadores e erro quadrático médio. Desenho de quantizadores óptimos: algoritmos de Llod-Max e Linde-Buzo-Gray.


Quantização Escalar (continuação).

Continuação do estuda da quantização escalar: aproximação de alta resolução.

Quantização Vectorial

Introdução ao estudo da quantização vectorial: conceitos fundamentais, regiões, codebook, quantizadores regulares e de Voronoi.

Quantização Vectorial (continuação).

Continuação do estudo da quantização vectorial: quantizadores óptimos; algoritmos de Lloyd e de Linde-Buze-Gray para o caso vectorial.


Quantização Vectorial (continuação II)

Continuação do estuda da quantização vectorial. Aproximação de alta resolução e partições óptimas.

 

Teoria do Ritmo-Distorção

Introdução ao estuda da teoria do ritmo-distorção. Conceitos fundamentais: ritmo, medidas de distorção par fontes discretas e contínuas, famílias de códigos, plano ritmo-distorção, funções ritmo-distorção e distorção-ritmo.

Teoria do Ritmo-Distorção (continuação).

Continução do estudo da teoria do ritmo-distorção: função de ritmo-distroção de informação e o teorema fundamental do ritmo-distorção.

Teoria do Ritmo-Distorção (continuação).

Continução do estudo da teoria do ritmo-distorção: função de ritmo-distroção para fontes binárias e gaussianas.

Conclusão

Comentários finais aos temas estudados na disciplina.