Το SLT είναι ένας μεταφραστής, ή αλλιώς ένα σύστημα μετατροπής, του προφορικού λόγου σε νοηματική γλώσσα. Αποτελείται από ένα Raspberry Pi και ένα κινητό τηλέφωνο.

Τα δύο μέρη που επικοινωνούν μεταξύ τους δημιουργώντας ένα τοπικό δίκτυο. Το πρώτο μέρος είναι υπεύθυνο για να αναγνωρίζει και να στέλνει τις φράσεις που ακούει στο δεύτερο μέρος, το οποίο με τη σειρά του, θα το μεταφράζει στη νοηματική γλώσσα.

Για το πρώτο κομμάτι, αναπτύξαμε μία Android εφαρμογή χρησιμοποιώντας την πλατφόρμα AppInventor. Εκμεταλλευτήκαμε τη φωνητική αναγνώριση της google προκειμένου να μετατρέπουμε μία φωνητική φράση σε γραπτή. Από την άλλη μεριά, προκειμένου η εφαρμογή να μπορέσει να στείλει τη φράση που άκουσε στο Raspberry, δημιουργήσαμε στο τελευταίο έναν server σε python, χρησιμοποιώντας τη βιβλιοθήκη Flask. Ο server είναι υπεύθυνος για δύο πράγματα. Πρώτον να δέχεται και να αποθηκεύει τις φράσεις που στέλνονται από την εφαρμογή και δεύτερον, να τις αντιστοιχεί σε μία από τις 50 φράσεις που γνωρίζει.

Για την αποθήκευση των φράσεων, δημιουργήσαμε μία βάση δεδομένων, με τρεις πίνακες. Έναν πίνακα για τις φράσεις που ακούει το σύστημά μας, έναν για τις ήδη γνωστές 50 φράσεις και έναν για τις πληροφορίες των βίντεο που αντιστοιχούν σε κάθε μία από αυτές.

Τέλος, στο Raspberry δημιουργήσαμε μία διεπαφή χρήστη σε python χρησιμοποιώντας τη βιβλιοθήκη tkinter, η οποία ελέγχει περιοδικά τη βάση για νέες φράσεις που έχει ακούσει. Σε περίπτωση νέας φράσης, εάν η φράση αυτή είναι γνωστή, αναπαράγει το αντίστοιχο βίντεο.

Για περισσότερες πληροφορίες, επισκεφτείτε το github μας.

Αφιερώστε λίγο χρόνο να δείτε το video μας στο youtube.

Ελπίζουμε στο μέλλον να μας δοθεί η ευκαιρία να αναπτύξουμε περισσότερο το SLT. Θα χαρούμε να ακούσουμε τη γνώμη και τις παρατηρήσεις σας.