Επιστήμονες δημιούργησαν το πρώτο σύστημα που μεταφράζει άμεσα τα εγκεφαλικά σήματα της σκέψης σε ομιλία

Το πρώτο σύστημα που μπορεί να μεταφράσει τα εγκεφαλικά σήματα της σκέψης απευθείας σε καθαρή και κατανοητή συνθετική ομιλία από υπολογιστή, δημιούργησαν επιστήμονες στις ΗΠΑ. Οι μηχανικοί και νευροεπιστήμονες του Ινστιτούτου Ζuckerman του Πανεπιστημίου Columbia της Νέας Υόρκης, με επικεφαλής τον αναπληρωτή καθηγητή Nima Mesgarani (φωτογραφία), ανέπτυξαν ένα σύστημα τεχνητής νοημοσύνης που, αφού παρακολουθήσει τη δραστηριότητα στον ακουστικό φλοιό του εγκεφάλου, είναι σε θέση στη συνέχεια να ανακατασκευάσει ορισμένες από τις λέξεις που ο άνθρωπος ακούει.

Οι ερευνητές ανέπτυξαν ένα νέο αλγόριθμο που μπορεί να συνθέσει την ομιλία, έχοντας προηγουμένως εκπαιδευθεί αναλύοντας ηχογραφήσεις ομιλιών πολλών ανθρώπων, καθώς και την εγκεφαλική δραστηριότητα εθελοντών (επιληπτικών ασθενών που έκαναν νευροχειρουργική επέμβαση), οι οποίοι άκουγαν τις φωνές άλλων. Η ακρόαση των φωνών δημιουργεί ηλεκτρικά μοτίβα στον ακουστικό φλοιό του εγκεφάλου, τα οποία αντανακλούν την ομιλία που ο άνθρωπος ακούει. Ο αλγόριθμος (vocoder) μαθαίνει να συσχετίζει την ακουστική εγκεφαλική δραστηριότητα με την ομιλία και μετά να παράγει συνθετική φωνή. Στη συνέχεια, ένα νευρωνικό δίκτυο τεχνητής νοημοσύνης αναλαμβάνει να κάνει πιο καθαρή και κατανοητή τη συνθετική ομιλία.

Με τη βοήθεια του νευρωνικού δικτύου τεχνητής νοημοσύνης, που μιμείται τη δομή των νευρώνων στον ανθρώπινο εγκέφαλο, παράγεται τελικά μια ρομποτική φωνή, η οποία γίνεται κατανοητή στο 75% των περιπτώσεων, ποσοστό μεγαλύτερο από ανάλογες προσπάθειες στο παρελθόν. «Ουσιαστικά είναι η ίδια τεχνολογία που χρησιμοποιούν τα Amazon Echo και η Siri της Apple για να απαντάνε στις ερωτήσεις μας», είπε ο Mesgarani.

Σχηματική παρουσίαση της μεθόδου αναδόμησης του λόγου (Από τη δημοσίευση της μελέτης)

Το επίτευγμα αποτελεί σημαντικό βήμα προόδου για τη δημιουργία τεχνολογίας που θα διαβάζει το μυαλό των ανθρώπων και ειδικότερα για την ανάπτυξη νευροπροσθετικών συσκευών διεπαφής εγκεφάλου-υπολογιστή, που θα επιτρέψουν σε ανθρώπους με περιορισμένη ή χωρίς καθόλου ικανότητα ομιλίας, να επικοινωνήσουν με άλλους μέσω τεχνητής φωνής. Στο μέλλον, αυτή η τεχνολογία, εφόσον τελειοποιηθεί, θα βοηθήσει ανθρώπους που αδυνατούν να μιλήσουν, όπως όσους πάσχουν από αμυοτροφική πλευρική σκλήρυνση ή ALS (την πάθηση του Stephen Hawking) ή έχουν πάθει εγκεφαλικό.

Οι ερευνητές θέλουν να βελτιώσουν το σύστημα ώστε να «ακούει» και να συνθέτει πιο πολύπλοκες λέξεις και προτάσεις. Ο τελικός στόχος είναι η δημιουργία ενός εγκεφαλικού εμφυτεύματος, όπως αυτά που έχουν ορισμένοι ασθενείς με επιληψία, το οποίο θα μεταφράζει τις σκέψεις απευθείας σε λέξεις. Αν, για παράδειγμα, ο άνθρωπος σκέφτεται «θέλω ένα ποτήρι νερό», αλλά δεν μπορεί να μιλήσει, το εμφύτευμα θα είναι σε θέση να το πει με τη συνθετική φωνή του. «Θα πρόκειται για επανάσταση», είπε ο Mesgarani. «Ο καθένας που έχει χάσει την ικανότητα να μιλάει, είτε λόγω τραυματισμού είτε λόγω ασθένειας, θα έχει ξανά την ευκαιρία να έλθει σε επαφή με τον κόσμο γύρω του».

Πηγή: ΑΠΕ-ΜΠΕ, αλλά και Mortimer B. Zuckerman Mind Brain Behavior Institute.

Περισσότερα στη δημοσίευση: Towards reconstructing intelligible speech from the human auditory cortex. Scientific Reports.