Πληροφορίες μαθήματος

Η αρχή της Θεωρίας πληροφοριών. Η έννοια της πιθανότητας. Μέτρο πληροφορίας του Shannon και η έννοια της εντροπίας. Δεσμευμένα, από κοινού και αμοιβαία μέτρα πλη- ροφορίας. Αξιωματική θεμελίωση. Το μοντέλο επικοινωνίας. Η διακριτή πηγή πληρο- φορίας χωρίς μνήμη. Κωδικοποίηση πηγής. Μέθοδοι Κωδικοποίησης: Μέθοδος του Fano, μέθοδος του Shannon, μέθοδος του Huffman, μέθοδος των Gilbert-Moore. Πιο πιθανά μηνύματα. Το πρώτο θεώρημα κωδικοποίησης του Shannon. Η διακριτή πηγή πληροφορίας με μνήμη. Διαδικασίες Markov. Η πληροφορία μιας διακριτής πηγής με μνήμη. Θέματα κωδικοποίησης. Κώδικες διόρθωσης σφαλμάτων. Το φράγμα του Hamming, του Plotkin, και του Singleton. Κώδικες Hadamard. Κώδικες παραγόμενοι από block σχεδιασμούς. Κώδικες Reed-Muller. Κώδικες Golay. Κώδικες και Λατινικά τετράγωνα. Ισοδυναμία κωδίκων. Γραμμικοί κώδικες. Ισοδυναμία γραμμικών κωδίκων. Δυϊκοί κώδικες. Κώδικες Hamming. Τέλειοι Κώδικες. Κυκλικοί Κώδικες. Απαριθμητές βάρους.