Pular para o conteúdo principal
Nível
Graduação
Nome da disciplina
Teoria da Informação
Número de Créditos
5
Oferecimento
A Critério da Unidade
Pré-requisito
ME322
Equivalência
ME603
Ementa

Entropia, entropia relativa e informação mútua. Taxas de entropia de um processo estocástico: cadeias de Markov, taxas de entropia de um passeio aleatório. Compressão de dados. Exemplos de códigos. Desigualdade de Kraft. Código de Huffman. Shannon-Fano-Elias coding. Complexidade de Kolmogorov. Modelos de Computação. Complexidade de Kolmogorov e entropia. Algoritmos aleatórios e sequências incompreensíveis. A estatística suficiente de Kolmogorov. Introdução à Channel Capacity. Entropia máxima e estimação espectral. Introdução à teoria da taxa de distorção. Desigualdades em teoria da informação.         

Objetivo

"Objetivo:<br>Apresentar os conceitos de Teoria de Informação, de maneira introdutória, mas bem fundamentada nos conceito de probabilidade, proporcionando aos alunos condições de aplicar os conceitos vistos, bem como, se aprofundar em estudos futuros.<br><br> <br>

Conteúdo / Programa

Parte I - Introdução à teoria da informação<br><br>Entropia, entropia relativa e informação mútua.<br><br>Taxas de entropia de processos estocásticos<br><br>Codificação e compressão de dados.<br><br>Desigualdade de Kraft.<br><br>Codificação ótima.<br><br>Codificação universal.<br><br>Entropia diferencial.<br><br>Introducao a capacidade de canal<br><br> <br><br>Parte II - Teoria de informação e inferência<br><br>Codificação ótima, estimação e seleção de modelos.<br><br>Critério de informação Bayesiano.<br><br>Método dos tipos<br><br>Lei dos grandes números<br><br>Teorema de Sanov<br><br>Testes de hipóteses<br><br>Neyman pearson<br><br>Chernoff-Stein<br><br>Informação de Fisher<br><br>Distribuições de Máxima Entropia<br><br><br> 

Referência Bibliográfica

Cover e Thomas, (2006); Elements of Information Theory.<br><br>D. MacKay, (2005); Information Theory, Inference, and Learning Algorithms<br><br>R B Ash, (1977); Information Theory.<br><br>R M, Gray, (1990); Entropy And Information Theory.<br><br>G J Klir, (2006); Information Theory - Uncertainty and Information -<br><br>Foundations of Generalized Information Theory.<br><br> 

Forma de Avaliação

Por nota e frequência