Contenidos y bibliografía

Contenidos:

Unidad 1: Tratamiento probabilístico de la información. Variables estocásticas. Distribución de probabilidad. Probabilidad marginal, condicional y conjunta. Teorema de Bayes. Covarianza y correlación. Estimación de variables estocásticas. Muestreo computacional.

Unidad 2: Fuentes de Información. Fuentes sin memoria. Fuentes con memoria. Procesos estocásticos discretos. Cadenas de Markov. Grafos de estados. Equilibrio estadístico. Recurrencia. Fórmulas de Chapman-Kolmogorov. Autocovarianza y autocorrelación. Correlación cruzada.

Unidad 3: Información y su codificación. Noción de Información. Particiones y árboles. Codificación. Longitud media de código. Concepto de Entropía. Información condicional. Clasificación de códigos. Condición de prefijo y códigos instantáneos. Inecuación de Kraft. Construcción de códigos compactos. Códigos de Shannon, Fano y Huffman. Rendimiento y redundancia de un código. Extensión de fuentes. Propiedad extensiva de la Entropía. Primer Teorema de Shannon.

Unidad 4: Compresión de datos. Métodos de compresión sin pérdida. Esquemas de compresión adaptativos. Codificación dinámica de Huffman. Métodos basados en diccionario. Técnicas de compresión con pérdida. Compresión de texto, imágenes, sonido y video. Estándares.

Unidad 5: Canales. Transmisión de la información y probabilidades condicionales. Entropías a-priori y a-posteriori. Ruido y pérdida. Clasificación de canales. Canales en serie. Balance de Entropías. Información Mutua. Capacidad del canal. Probabilidad de error. Segundo Teorema de Shannon. Nociones de codificación para el control de errores en la transmisión y criptografía.

Unidad 6: Método de máxima entropía. Aplicaciones.

Bibliografía:

  • Abramson N. Teoría de la Información y Codificación, 5° ed. Ed. Paraninfo, 1981
  • Bell T., Cleary J., Witten I. Text Compression. Prentice Hall, 1990
  • Chiang C.L. An introduction to stochastic processes and their applications. Ed. R. E. Krieger, 1980
  • Cover T., Thomas J. Elements of Information Theory, 2nd edition Wiley, 2006
  • Gonzalez R., Woods R. Digital Image Processing (Cap.8), 2nd ed. Prentice Hall, 2002
  • Gray R.M. Entropy and Information Theory.Springer-Verlang 2009
  • MacKay D., Information Theory, Inference, and Learning Algorithms, Cambridge University Press 2003
  • Nelson M., Gailly J. The Data Compression Book. M&T Books, 1996
  • Papoulis A., Pillai, U. Probability Random Variables and Stochastic Processes. McGraw-Hill, 2002
  • Sayood K. Introduction to Data Compression. Morgan Kaufmann, 2005
  • Shannon C., Weaver W. Teoría Matemática de la Comunicación. Ed. Forja, 1981
  • Stone J. Information Theory: A Tutorial Introduction. Sebtel Press, 2015