Unidad 1: Tratamiento probabilístico de la información. Variables estocásticas. Distribución de probabilidad. Probabilidad marginal, condicional y conjunta. Teorema de Bayes. Covarianza y correlación. Estimación de variables estocásticas. Simulación computacional de Monte Carlo. Aplicaciones.
Unidad 2: Fuentes de Información. Propiedades de las fuentes sin memoria. Fuentes con memoria. Características de los procesos estocásticos discretos. Cadenas de Markov. Grafos de estados. Vectores de estado. Equilibrio estadístico. Recurrencia. Fórmulas de Chapman-Kolmogorov. Indicadores de acople. Autocovarianza y autocorrelación. Correlación cruzada. Aplicaciones en reconocimiento de patrones.
Unidad 3: Información y codificación. Noción de Información. Particiones y árboles. Codificación. Longitud media de código. Concepto de Entropía. Información condicional. Clasificación de códigos. Condición de prefijo y códigos instantáneos. Inecuación de Kraft. Construcción de códigos compactos. Códigos de Huffman. Rendimiento y redundancia de un código. Extensión de fuentes. Propiedad extensiva de la Entropía. Primer Teorema de Shannon.
Unidad 4: Compresión de datos. Métodos de compresión sin pérdida. Esquemas de compresión adaptativos. Codificación dinámica de Huffman. Métodos basados en diccionario. Técnicas de compresión con pérdida. Compresión de texto, imágenes, sonido y video. Estándares.
Unidad 5: Canales de comunicación. Transmisión de la información y probabilidades condicionales. Entropías a-priori y a-posteriori. Ruido y pérdida. Clasificación de canales. Canales en serie. Balance de Entropías. Información Mutua. Capacidad del canal. Transmisión con repetición. Probabilidad de error.
Unidad 6: Método de máxima entropía. Probabilidades e inferencia. Clustering. Introducción a redes neuronales. Aplicaciones.
Abramson N. Teoría de la Información y Codificación, 5° ed. Ed. Paraninfo, 1981
Bell T., Cleary J., Witten I. Text Compression. Prentice Hall, 1990
Chiang C.L. An introduction to stochastic processes and their applications. Ed. R. E. Krieger, 1980
Cover T., Thomas J. Elements of Information Theory, 2nd edition Wiley, 2006
Gonzalez R., Woods R. Digital Image Processing (Cap.8), 2nd ed. Prentice Hall, 2002
Gray R.M. Entropy and Information Theory.Springer-Verlang 2009
MacKay D., Information Theory, Inference, and Learning Algorithms, Cambridge University Press 2003
Nelson M., Gailly J. The Data Compression Book. M&T Books, 1996
Papoulis A., Pillai, U. Probability Random Variables and Stochastic Processes. McGraw-Hill, 2002
Sayood K. Introduction to Data Compression. Morgan Kaufmann, 2005
Shannon C., Weaver W. Teoría Matemática de la Comunicación. Ed. Forja, 1981
Stone J. Information Theory: A Tutorial Introduction. Sebtel Press, 2015