Unidad 1: Tratamiento probabilístico de la información. Variables estocásticas. Distribución de probabilidad. Probabilidad marginal, condicional y conjunta. Teorema de Bayes. Covarianza y correlación. Estimación de variables estocásticas. Muestreo computacional.
Unidad 2: Fuentes de Información. Fuentes sin memoria. Fuentes con memoria. Procesos estocásticos discretos. Cadenas de Markov. Grafos de estados. Equilibrio estadístico. Recurrencia. Fórmulas de Chapman-Kolmogorov. Autocovarianza y autocorrelación. Correlación cruzada.
Unidad 3: Información y su codificación. Noción de Información. Particiones y árboles. Codificación. Longitud media de código. Concepto de Entropía. Información condicional. Clasificación de códigos. Condición de prefijo y códigos instantáneos. Inecuación de Kraft. Construcción de códigos compactos. Códigos de Shannon, Fano y Huffman. Rendimiento y redundancia de un código. Extensión de fuentes. Propiedad extensiva de la Entropía. Primer Teorema de Shannon.
Unidad 4: Compresión de datos. Métodos de compresión sin pérdida. Esquemas de compresión adaptativos. Codificación dinámica de Huffman. Métodos basados en diccionario. Técnicas de compresión con pérdida. Compresión de texto, imágenes, sonido y video. Estándares.
Unidad 5: Canales. Transmisión de la información y probabilidades condicionales. Entropías a-priori y a-posteriori. Ruido y pérdida. Clasificación de canales. Canales en serie. Balance de Entropías. Información Mutua. Capacidad del canal. Probabilidad de error. Segundo Teorema de Shannon. Nociones de codificación para el control de errores en la transmisión y criptografía.
Unidad 6: Método de máxima entropía. Aplicaciones.