Entropia, entropia relativa e informação mútua. Taxas de entropia de um processo estocástico: cadeias de Markov, taxas de entropia de um passeio aleatório. Compressão de dados. Exemplos de códigos. Desigualdade de Kraft. Código de Huffman. Shannon-Fano-Elias coding. Complexidade de Kolmogorov. Modelos de Computação. Complexidade de Kolmogorov e entropia. Algoritmos aleatórios e sequências incompreensíveis. A estatística suficiente de Kolmogorov. Introdução à Channel Capacity. Entropia máxima e estimação espectral. Introdução à teoria da taxa de distorção. Desigualdades em teoria da informação.
"Objetivo:<br>Apresentar os conceitos de Teoria de Informação, de maneira introdutória, mas bem fundamentada nos conceito de probabilidade, proporcionando aos alunos condições de aplicar os conceitos vistos, bem como, se aprofundar em estudos futuros.<br><br> <br>
Parte I - Introdução à teoria da informação<br><br>Entropia, entropia relativa e informação mútua.<br><br>Taxas de entropia de processos estocásticos<br><br>Codificação e compressão de dados.<br><br>Desigualdade de Kraft.<br><br>Codificação ótima.<br><br>Codificação universal.<br><br>Entropia diferencial.<br><br>Introducao a capacidade de canal<br><br> <br><br>Parte II - Teoria de informação e inferência<br><br>Codificação ótima, estimação e seleção de modelos.<br><br>Critério de informação Bayesiano.<br><br>Método dos tipos<br><br>Lei dos grandes números<br><br>Teorema de Sanov<br><br>Testes de hipóteses<br><br>Neyman pearson<br><br>Chernoff-Stein<br><br>Informação de Fisher<br><br>Distribuições de Máxima Entropia<br><br><br>
Cover e Thomas, (2006); Elements of Information Theory.<br><br>D. MacKay, (2005); Information Theory, Inference, and Learning Algorithms<br><br>R B Ash, (1977); Information Theory.<br><br>R M, Gray, (1990); Entropy And Information Theory.<br><br>G J Klir, (2006); Information Theory - Uncertainty and Information -<br><br>Foundations of Generalized Information Theory.<br><br>
Por nota e frequência