Research Programs
80462: Εφαρμογή πολυτροπικής διεπαφής για άτομα με απώλεια φωνής για την αναπαραγωγή φυσικής ομιλίας
INNOVATION
Scientific Advisor: Έξαρχος Θεμιστοκλής
Εφαρμογή πολυτροπικής διεπαφής για άτομα με απώλεια φωνής για την αναπαραγωγή φυσικής ομιλίας
Financing Framework: HFRI ESPA 2014-2020
Call Code: 1η Προκήρυξη Ερευνητικών Έργων ΕΛΙΔΕΚ για την ενίσχυση των μελών ΔΕΠ και Ερευνητών/τριών και την προμήθεια ερευνητικού εξοπλισμού μεγάλης αξίας
Scientific Advisor's Department: Τμήμα Πληροφορικής
Budget: 190.000,00 €
Initials: Let's Talk!

Ο λάρυγγρας είναι ένα πολύ σημαντικό όργανο καθώς εξασφαλίζει την αναπνοή και τη φώνηση. Η παραγωγή της φωνής γίνεται από τον συντονισμό των φωνητικών χορδών κατά την εκπνοή. Κάθε άτομο έχει ξεχωριστό φωνητικό αποτύπωμα. Η απώλεια της φωνής, που μπορεί να οφείλεται σε βλάβες διαφόρων οργάνων του ανθρώπινου φωνητικού συστήματος και κατά συνέπεια η σημαντική δυσχέρεια στην επικοινωνία, αποτελεί σημαντική αναπηρία. Επηρεάζει την ικανότητα του ατόμου να επικοινωνεί, να εκφράζει τα συναισθήματά του, επηρεάζει τη δουλειά του, την καθημερινότητά του και τη σχέση με τους οικείους του.

Το έργο Let's talk στοχεύειστη δημιουργία μιας καινοτόμου προσωποποιημένης πολυτροπικής διεπαφής, που θα παρέχεται στους χρήσυες μέσω μιας εφαρμογής, βασισμένης σε υποδομή υπολογιστικού νέφους (για έξθπνα τηλέφωνα ή/και ταμπλέτες), με σκοπό να τους επιτρέπει την επικοινωνία με τη φυσική χροιά της φωνής τους. Οι πολυτροπικές διεπαφές θα δέχονται σαν είσοδο βίντεο από τα χείλη του χρήστη καθώς και τυχόν που παράγονται κατά την διάρκεια προσπάθειας του ατόμου για ομιλία. Μέσω της σύντηξης της πληροφορίας από τα χείλη (βίντεο) και τους ήχους πουα αναπαράγονται, η εφαρμογή, μετά από την κατάλληλη προσαρμογή στο προφίλ του χρήστη και μέσω της χρήσης λεξιλογίων (έτσι ώστε οι λέξεις πουα παράγονται να έχουν νόημα και οι προτάσεις λογική συνέχεια), θα παράγει σε κείμενο την ομολία του χρήστη. Στη συνέχεια, με τη χρήση υπαρχόντων εργαλείων, Praat, Mary, Google TTS) και δεδομένης της καταγραφής της ομιλίας (της φυσικής γλώσσας/χροιάς) του χρήστη πριν την απώλεια φωνής (είτε με προγραμματισμένη καταγραφή πτιν το χειρουργείο, είτε με χρήση παλαιότερης καταγεγραμμένης ομιλίας-βίντεο, θα παράγευαι το φωνητικό αποτέλεσμα.

Το έργο εκτελείται με την σύμπραξη του Ιονίου Πανεπιστημίου και του Εθνικού Καποδιστριακού Πανεπιστημίου Αθηνών


Back
<< <
March 2024
> >>
Mo Tu We Th Fr Sa Su
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
Today, Friday 29-03-2024
No results found for that day
Text To SpeechText To Speech Text ReadabilityText Readability Color ContrastColor Contrast
Accessibility Options