Σύστημα ΑΙ το οποίο αναγνωρίζει την νοηματική και μετατρέπει τα σύμβολα της νοηματικής, με τη χρήση κατάλληλου μηχανισμών σερβοκινητήρων σε «ακίδες» γραφής Braille. Με τον τρόπο αυτόν, ένα άτομο με προβλήματα ακοής θα μπορεί να επικοινωνεί live με ένα άτομο που αντιμετωπίζει προβλήματα όρασης.

Η συμμετοχή μας στον διαγωνισμό της ΕΛΛΑΚ 2026.

Η λογική του Project είναι απλή:

Δύο άτομα, το ένα προβλήματα ακοής και το άλλο με προβλήματα όρασης θέλουν να επικοινωνήσουν.

Το άτομο με προβλήματα ακοής βρίσκεται μπροστά σε μια κάμερα και επικοινωνεί στη νοηματική.

Η κάμερα συλλαμβάνει τις χειρονομίες και αναγνωρίζει τα γράμματα / χαρακτήρες.

Οι χαρακτήρες μεταδίδονται σε κατάλληλη συσκευή λήψης, η οποία τους αναγνωρίζει και τους μετατρέπει με τη βοήθεια κατάλληλης διάταξης με σερβοκινητήρες σε “ακίδες” γραφής Braille.

Το άτομο με προβλήματα όρασης ακουμπάει με το χέρι του τις “ακίδες” και αντιλαμβάνεται το μήνυμα.

Επικοινωνία μεταξύ ευάλωτων ομάδων.

• Γλώσσα Προγραμματισμού: Python

• Raspberry Pi 4/5.
• Κάμερα για ανάλυση εικόνας και αναγνώριση προτύπων.
• 6 σερβοκινητήρες.
• 3D printed εξαρτήματα για το σώμα του ρομπότ.

Πορεία Υλοποίησης

Η ανάπτυξη του συστήματος Sign2Braille οργανώθηκε και ολοκληρώθηκε σε τέσσερις βασικές φάσεις, με γνώμονα την ανοιχτή αρχιτεκτονική και τη χρήση προσβάσιμων τεχνολογιών:

1. Σχεδιασμός και Κατασκευή Μηχανικής Διάταξης (Hardware):

   • Σχεδιάστηκε σε περιβάλλον τρισδιάστατης μοντελοποίησης (3D CAD) ένας ειδικός μηχανικός «κύβος» Braille (6-dot cell). Στο εσωτερικό του τοποθετήθηκαν 6 σερβοκινητήρες (servos), καθένας από τους οποίους ελέγχει ανεξάρτητα μία ακίδα.

   • Τα εξαρτήματα εκτυπώθηκαν σε 3D printer και συναρμολογήθηκαν, με τις ακίδες να προεξέχουν ελαφρώς από την πάνω επιφάνεια όταν ενεργοποιούνται, ώστε να είναι εύκολα ψηλαφητές. Η όλη διάταξη συνδέθηκε στις ακίδες GPIO του Raspberry Pi.

2. Ανάπτυξη Μοντέλου AI & Αναγνώριση Νοηματικής (Software):

   • Αναπτύχθηκε κώδικας σε γλώσσα Python και χρησιμοποιήθηκαν βιβλιοθήκες υπολογιστικής όρασης (Computer Vision, π.χ. OpenCV, MediaPipe) για την ανίχνευση και καταγραφή των σημείων των χεριών (hand landmarks) σε πραγματικό χρόνο μέσω της κάμερας.

   • Το μοντέλο εκπαιδεύτηκε να αναγνωρίζει το δακτυλικό αλφάβητο της νοηματικής γλώσσας και να μεταφράζει τις χειρονομίες σε αντίστοιχους χαρακτήρες κειμένου (string).

3. Αλγόριθμος Μετατροπής και Έλεγχος Κίνησης (Integration):

   • Δημιουργήθηκε ένας αλγόριθμος χαρτογράφησης (mapping) στην Python, ο οποίος μεταφράζει κάθε αναγνωρισμένο γράμμα στον αντίστοιχο δυαδικό κώδικα Braille (π.χ. το γράμμα «Α» αντιστοιχεί στην ενεργοποίηση μόνο του πρώτου σερβοκινητήρα).

   • Ο κώδικας στέλνει σήματα PWM (Pulse Width Modulation) στους σερβοκινητήρες, αναγκάζοντάς τους να ανασηκώσουν τις σωστές ακίδες ανάλογα με τον χαρακτήρα που «διάβασε» η κάμερα.

4. Δοκιμές και Ρύθμιση Χρονισμού (Testing):

   • Πραγματοποιήθηκαν εκτενείς δοκιμές για τη διασφάλιση της ακρίβειας αναγνώρισης των χειρονομιών κάτω από διαφορετικές γωνίες λήψης.

   • Ρυθμίστηκε η ταχύτητα εναλλαγής των χαρακτήρων (refresh rate) στον μηχανικό κύβο, ώστε ο χρήστης με προβλήματα όρασης να προλαβαίνει να ψηλαφίσει και να αναγνώσει το μήνυμα με άνεση.

Αποτίμηση

Το project Sign2Braille πέτυχε να αποδείξει στην πράξη πώς οι τεχνολογίες ανοιχτού κώδικα και η Τεχνητή Νοημοσύνη μπορούν να λύσουν σύνθετα κοινωνικά προβλήματα:

• Λειτουργική Αξιολόγηση: Το πρωτότυπο ανταποκρίνεται επιτυχώς στον συνδυασμό δύο εντελώς διαφορετικών τεχνολογιών (Vision AI και Μηχατρονική). Η μετατροπή της κίνησης σε απτό αποτέλεσμα (tactile feedback) γίνεται με ικανοποιητική ταχύτητα, επιτρέποντας μια ροή ζωντανής επικοινωνίας.

• Κοινωνική Καινοτομία: Η αξία του έργου είναι τεράστια, καθώς εστιάζει στην ταυτόχρονη συμπερίληψη δύο ευάλωτων ομάδων (ατόμων με προβλήματα ακοής και όρασης), προσφέροντάς τους ένα αυτόνομο κανάλι επικοινωνίας χωρίς αποκλεισμούς.

• Παιδαγωγικά Οφέλη: Για την ομάδα μας, το project αποτέλεσε μια μοναδική πρόκληση ψηφιακής κατασκευής, καθώς χρειάστηκε να συνδυάσουμε τον προγραμματισμό με τη φυσική μηχανική (έλεγχος κινητήρων) και τη σχεδίαση 3D αντικειμένων.

• Ανοιχτή Φιλοσοφία & Επεκτασιμότητα: Το έργο βασίζεται εξολοκλήρου σε open-source εργαλεία και χαμηλού κόστους υλικά (Raspberry Pi, οικονομικοί σερβοκινητήρες). Ο κώδικας και τα 3D σχέδια θα διατεθούν ελεύθερα στο GitHub, δίνοντας τη δυνατότητα σε άλλα σχολεία ή makerspace να το εξελίξουν (π.χ. προσθέτοντας περισσότερους κύβους Braille για την ταυτόχρονη εμφάνιση ολόκληρων λέξεων).