Θεωρία της Πληροφορίας

Εντροπία, σχετική εντροπία. Ο δεύτερος νόμος της θερμοδυναμικής. Ιδιότητα «ασυμπτωτικής ισοκατανομής». Εντροπία και στοχαστικές διαδικασίες. Συμπίεση δεδομένων. Βέλτιστοι Κώδικες, Κώδικας Huffman, Κώδικας Shannon-Fano-Elias. Αλγοριθμική πολυπλοκότητα Kolmogorov. Χωρητικότητα καναλιού μετάδοσης. Θεμελιώδες θεώρημα Shannon. Διαφορική εντροπία. Δίαυλος Gauss. Θεωρία πληροφορίας και προηγμένα θέματα στατιστικής. Μέγιστη Εντροπία. Κωδικοποίηση πηγής. Προσέγγιση με διαδικασίες Markov. Σώματα Galois. Συνάρτηση ρυθμού-απώλειας. Σήματα και θόρυβος. Κώδικες διόρθωσης σφαλμάτων. Κώδικες Hamming, Κώδικες Reed-Muller. Εφαρμογές Θεωρίας Πληροφορίας στη θεωρία επενδύσεων.

Το μάθημα αποτελεί το βασικό εισαγωγικό μάθημα στην θεωρία της πληροφορίας

Η ύλη του μαθήματος στοχεύει στην εκμάθηση και κατανόηση της έννοιας της πληροφορίας, της εντροπίας, των διαύλων επικοινωνίας και των κωδίκων

Με την επιτυχή ολοκλήρωση του μαθήματος ο φοιτητής / τρια θα είναι σε θέση να:

• να κατανοεί την έννοια της πληροφορίας σε μία πηγή σημάτων.
• να κατανοεί την έννοια της εντροπίας της πηγή σημάτων.
• να κατανοεί την έννοια του διαύλου επικοινωνίας στις διάφορες μορφές του καθώς και την χωρητικότητα αυτού.
• να κατανοεί και να εφαρμόζει μεθόδους κωδικοποίησης σημάτων.
• να υλοποιεί την κωδικοποίηση Huffman

1. “Εισαγωγή στη θεωρία της πληροφορίας”, Αφράτη Φώτω, Εκδόσεις Συμμετρία, 1994
2. “Εισαγωγή στη θεωρία Πληροφοριών, Κωδίκων και Κρυπτογραφίας”, Ν. Αλεξανδρής, Β. Χρυσικόπουλος, Κ. Πατσάκης, Εκδόσεις Βαρβαρήγου, ISBN 978-960-7996-39-8, 2008