Αλληλεπίδραση ανθρώπου – υπολογιστή για την μετάδοση γνώσης με αξιοποίηση μηχανικής μάθησης και αισθητηριοκινητικών τεχνικών σε πολυτροπικό σήμα».

Στην παρούσα διδακτορική διατριβή παρουσιάζεται μία πρωτότυπη προσέγγιση για την εκπαίδευση ενός νέου ψάλτη (μαθητή) μέσα από μια διαδικασία συνεχούς βελτίωσης της ερμηνείας του, σε σχέση με την αντίστοιχη ερμηνεία του δασκάλου. Η προτεινόμενη προσέγγιση περιλαμβάνει τη διαχείριση πολυτροπικού - πολυμεσικού σήματος (ήχου και βίντεο) και τη συνδυασμένη αξιοποίηση καινοτόμων συσκευών για την επικοινωνία ανθρώπου - υπολογιστή. Ακόμη, περιλαμβάνει τη διαμόρφωση ενός συστήματος αναγνώρισης ύμνων από μία συλλογή η οποία προήλθε από καταγραφές ερμηνειών των δασκάλων και των μαθητών.Για τους σκοπούς της προσέγγισης αυτής διαμορφώθηκε μια πρωτότυπη μεθοδολογία εκπαίδευσης με αξιοποίηση τεχνικών μηχανικής μάθησης. Πιο συγκεκριμένα, οι μέθοδοι που χρησιμοποιούνται για την εκπαίδευση του συστήματος βασίζονται στη μοντελοποίηση του πολυτροπικού σήματος με χρήση των τεχνικών των Κρυφών Μαρκοβιανών Μοντέλων (ΗΜΜ) και της Δυναμικής Περιτύλιξης Χρόνου. (DTW). Έτσι, αφού αναγνωριστεί η ερμηνεία του μαθητή (ύμνος) σε σχέση με την αντίστοιχη του δασκάλου, επιχειρείται η σύγκριση των δύο ύμνων. Κατά τη διαδικασία της σύγκρισης εξετάζεται η μουσική ομοιότητα των δύο ύμνων ως προς την τονικότητα. Τα σήματα των δυο ύμνων τεμαχίζονται χρονικά βάσει του μουσικού χαρακτηριστικού τους beat. Για την εύρεση του μουσικού beat εφαρμόζονται κατάλληλες για την επικοινωνία ανθρώπου - υπολογιστή τεχνολογίες όρασης υπολογιστή. Έτσι, από την σύλληψη της κίνησης του δεξιού χεριού του δασκάλου ή του μαθητή εξάγεται το μουσικό beat της ερμηνείας του. Τα αποτελέσματα της σύγκρισης των δύο ύμνων εξάγονται ως ανάδραση του συστήματος. Στο πλαίσιο αυτής της αλληλεπίδρασης, ο νέος ψάλτης πληροφορείται για την ορθότητα της ερμηνείας του σε σχέση με την αντίστοιχη ερμηνεία του δασκάλου. Η αξιολόγηση του συστήματος που βασίζεται στην αναγνώριση των ύμνων με χρήση πολυτροπικού σήματος έγινε μέσω συγκριτικής μελέτης σχετικών ερευνητικών εργασιών και έδειξε υψηλότερα ποσοστά επιτυχούς αναγνώρισης ύμνων. Όσον αφορά τη διαδικασία σύγκρισης δύο αναγνωρισθέντων ύμνων με χρήση τεχνολογιών όρασης υπολογιστή, τα θετικά αποτελέσματα από την ανάδραση του συστήματος ως προς την τονική ομοιότητα των ύμνων επιβεβαιώνουν την αποδοτική χρήση της μεθοδολογίας εκπαίδευσης για την βελτίωση της ερμηνείας του μαθητή.Η προτεινόμενη μεθοδολογία εκπαίδευσης κινείται στο ευρύτερο πεδίο της αλληλεπίδρασης ανθρώπου – υπολογιστή και αναμένεται να συμβάλει σημαντικά στην διάσωση και διάδοση της πολιτιστικής κληρονομιάς μας και συγκεκριμένα της Βυζαντινής Μουσικής (ΒΜ).