Section outline

    • Διάλεξη 28/2/2022: Διαδικαστικά θέματα. Εισαγωγή. 
    • Διάλεξη 6/5/2022: Εισαγωγή, online learning finite hypothesis classes, PAC learning, Empirical Risk Minimization (ERM), VC-dimension, το θεμελιώδες θεώρημα του Statistical Learning, Agnostic PAC Learning, Learning via uniform convergence. 
    • Διάλεξη 13/5/2022: Learning via uniform convergence, bias-complexity tradeoff, loss functions, ERM and convex optimization, online learning, online convex optimization, regret, no-regret αλγόριθμοι, Follow the Leader (ορισμός και ανάλυση του regret), ο ρόλος της ισχυρής κυρτότητας στην ευστάθεια αλγορίθμων της μορφής Follow the Leader, regularization, Follow the regularized Leader (ορισμός, παραμετροποίηση με βάση τον regularizer, ανάλυση του regret).
    • Διάλεξη 16/5/2022: Βασική ανάλυση της Gradient Descent για convex και strongly convex συναρτήσεις, Be the Regularized Leader και regret ανάλυση του Follow the Regularized Leader στη γενική περίπτωση του Online Convex Optimization, Online Gradient Descent, ανάλυση για convex και strongly convex συναρτήσεις, Stochastic Gradient Descent, ανάλυση με αναγωγή στην ανάλυση της Online Gradient Descent. 
    • Διάλεξη 23/5/2022: Επανάληψη ανάλυσης της Stochastic Gradient Descent, εφαρμογή της SGD σε ελαχιστοποίησης log-likelihood για την εκμάθηση μέσης τιμής κανονικής κατανομής και παραμέτρου Bernoulli κατανομής, σύντομη εισαγωγή σε multi-armed bandits.
    • Διάλεξη 30/5/2022: Εκμάθηση κατανομών, total variation distance και Kullback–Leibler divergence, log-likelihood για πολυδιάστατες κανονικές κατανομές, δειγματική πολυπλοκότητα εκμάθησης πολυδιάστατων κανονικών κατανομών, κατανομές κατάταξης, εκμάθηση Mallows κατανομών, εκμάθηση κανονικών κατανομών από coarse δείγματα, restricted Boltzmann machines. 
    • Διάλεξη 6/6/2022 από Παναγιώτη Μερτικόπουλο: From Convex Optimization to Learning in Games.