Αυτόματη μετάφραση σε γλώσσα scratch

Αυτόματη μετάφραση σε γλώσσα scratch

Στο σχολείο μας εφαρμόζεται ένα πρότυπο πρόγραμμα σπουδών που προάγει την εκμάθηση
ξένων γλωσσών.
Φτιάχνοντας ένα έργο λογισμικού αυτόματης μετάφρασης θα μπορούν οι μαθητές των
μικρότερων τάξεων να μαθαίνουν ξένες γλώσσες παίζοντας και αλληλοεπιδρώντας με το
πρόγραμμα σε ένα ευχάριστο γραφικό περιβάλλον που θα είναι φτιαγμένο από παιδιά για
παιδιά.
Αναλυτικότερα στο περιβάλλον του scratch, τα παιδιά, μιλάνε και δίνουν εντολές στο
αντικείμενο στα γερμανικά, στην συνέχεια το αντικείμενο εμφανίζει την οθόνη την μετάφραση
των λέξεων και ακολουθεί κάποιες εντολές κίνησης, αν αυτές δοθούν, όπως δεξιά – αριστερά.

Αυτόματη μετάφραση σε γλώσσα scratch

 

Σε αυτό το έργο θα εκπαιδεύουμε τον υπολογιστή να κατανοήσει μια ξένη γλώσσα. Θα το χρησιμοποιήσουμε για να ελέγξουμε έναν αλλοδαπό χαρακτήρα, ώστε να καταλάβει τι του λέτε να κάνει.

1.   Μεταβαίνουμε στη διεύθυνση https://machinelearningforkids.co.uk/scratch3/  Τα επόμενα βήματα λειτουργούν μόνο με το Google Chrome. Εάν δεν έχετε πρόσβαση στο Google Chrome, προχωρήστε στο βήμα 5 και ξεκινήστε από εκεί.

2.   Φορτώνουμε το Speech to Textextension Κάντε κλικ στο κουμπί Extensions (plus) κάτω αριστερά και, στη συνέχεια, επιλέγουμε Speech to Text από τη λίστα.

3.   Χρησιμοποιώντας τα νέα μπλοκ ομιλίας σε κείμενο, δημιουργούμε τα ακόλουθα σενάρια.

4.   Κάνουμε κλικ στην πράσινη σημαία και δοκιμάζουμε το Πείτε «αριστερά» ή «δεξιά». Οι γάτα πρέπει να κινούνείται προς την κατεύθυνση στην οποία το λέτε. Δοκιμάζουμε και μετακινούμε το εμπρός-πίσω στην οθόνη χρησιμοποιώντας τη φωνή μας. Μπορεί να είναι δύσκολο να λειτουργήσει. Προσπαθούμε να μιλήσουμε ήρεμα και καθαρά. Εάν δεν λειτουργεί, τροποποιούμε το σενάριό μας για να δείξουμε τι πιστεύει ότι λέτε:

Τι έχουμε κάνει μέχρι τώρα;  Χρησιμοποιήσαμε την αναγνώριση ομιλίας για τον έλεγχο ενός χαρακτήρα στο Scratch. Για να δουλέψουμε γρήγορα, χρησιμοποιήσαμε ένα μοντέλο μηχανικής εκμάθησης που έχει ήδη εκπαιδευτεί για εμάς. Αυτό είναι ένα γενικό μοντέλο μηχανικής εκμάθησης που έχει εκπαιδευτεί να αναγνωρίζει λέξεις λεξικών στα Αγγλικά. Στη συνέχεια, θα εκπαιδεύσουμε ένα μοντέλο μηχανικής μάθησης για τον εαυτό σας για να δείτε πώς έγινε. Για το επόμενο μέρος του έργου, θα χρησιμοποιήσουμε τη φωνή μας για να ελέγξουμε έναν αλλοδαπό χαρακτήρα που δεν καταλαβαίνει τα Γερμανικά! Θα εφεύρουμε δύο με έξι νέες λέξεις, που είναι στα γερμανικά, για να ελέγξουμε τον χαρακτήρα μας και να εκπαιδεύσουμε ένα μοντέλο μηχανικής εκμάθησης για να τις αναγνωρίζει. 5.   Εφευρίσκουμε την ξένη γλώσσα μας! Χρειαζόμαστε έξι λέξεις – μια ξένη λέξη για «αριστερά» και μια ξένη λέξη για «δεξιά». Λέμε τις λέξεις που δεν θα εμφανίζονται σε ένα αγγλικό λεξικό, αλλά είναι στα γερμανικά!

6.   Μεταβαίνουμε στη διεύθυνση https://machinelearningforkids.co.uk/

7.   Κάνουμε κλικ στο «Σύνδεση»

8.   Κάνουμε κλικ στο «Δοκιμάζουμε το τώρα»

9.   Κάνουμε κλικ στο «Έργα» στην επάνω γραμμή μενού

10.     Κάνουμε κλικ στο «+ Προσθήκη νέου έργου Κουμπί. Αν υπάρχει ήδη το έργο μεταβαίνουμε κατευθείαν στο βήμα 13

11.   Το ονομάζουμε « Αυτόματη μετάφραση σε γλώσσα scratch » και το ρυθμίζουμε για να μάθουμε πώς να αναγνωρίζετε «ήχους«. Κάνουμε κλικ στο κουμπί «Δημιουργία»

12.   Τώρα θα πρέπει να βλέπουμε την «Αυτόματη μετάφραση σε γλώσσα scratch» στη λίστα των έργων σας. Κάνουμε κλικ σε αυτό.

 

13.   Κάνουμε κλικ στο κουμπί Train για να ξεκινήσουμε τη συλλογή παραδειγμάτων.

 

14.    Κάνουμε κλικ στο κουμπί Προσθήκη παραδείγματος στο παρασκήνιο noisebucket. Η καταγραφή θορύβου στο παρασκήνιο θα βοηθήσει το μοντέλο μηχανικής εκμάθησης να πει τη διαφορά μεταξύ των ήχων που θα εκπαιδεύσουμε να αναγνωρίζει και θόρυβος στο παρασκήνιο όπου βρισκόμαστε.

15.    Κάνουμε κλικ στο μικρόφωνο για εγγραφή 2 δευτερολέπτων θορύβου στο παρασκήνιο.

16.    Κάνουμε κλικ στο κουμπί Προσθήκη για να αποθηκεύσουμε την εγγραφή μας.

17.    Επαναλαμβάνουμε αυτό έως ότου έχουμε τουλάχιστον 8 παραδείγματα θορύβου στο παρασκήνιο.

18.    Κάνουμε κλικ στο κουμπί Προσθήκη νέας ετικέτας επάνω δεξιά και δημιουργουμε έναν νέο κάδο εκπαίδευσης που ονομάζεται «links»

19.    Κάνουμε κλικ στο κουμπί Προσθήκη παραδείγματος στο νέο αριστερό κάδο.

20.    Καταγράφουμε τουλάχιστον 8 παραδείγματα του εξωγήινου θορύβου μας για «αριστερά»

21.    Κάντε κλικ στο κουμπί Προσθήκη νέας ετικέτας επάνω δεξιά και δημιουργήστε έναν νέο κάδο εκπαίδευσης που ονομάζεται «rechts»

22.    Καταγράφουμε τουλάχιστον 8 παραδείγματα του εξωγήινου θορύβου μας για «δεξιά»

23.    Στην συνέχεια επαναλαμβάνουμε τα παραπάνω βήματα για τις εντολές «Oben», «unter», «Guten Morgen», «wie gehts».

24.    Κάνουμε κλικ στο σύνδεσμο «Επιστροφή στο έργο» πάνω αριστερά

25.    Κάνουμε κλικ στο κουμπί Learn & Test

26.    Κάνουμε κλικ στην επιλογή «Εκπαίδευση νέου μοντέλου μηχανικής εκμάθησης».

27.    Μόλις ολοκληρωθεί η εκπαίδευση, κάνουμε κλικ στο κουμπί Έναρξη ακρόασης για να δοκιμάσουμε το μοντέλο μηχανικής εκμάθησης. Κάνουμε έναν από τους ήχους που έχουμε εκπαιδεύσει τον υπολογιστή ώστε να αναγνωρίζει ότι σημαίνει «αριστερά» ή «δεξιά». Εάν το μοντέλο μηχανικής εκμάθησης το αναγνωρίζει, θα εμφανίσει αυτό που πιστεύουμε ότι κάναμε.

28.    Μόλις ολοκληρωθεί η εκπαίδευση, κάνουμε κλικ στο κουμπί Έναρξη ακρόασης για να δοκιμάσουμε το μοντέλο μηχανικής εκμάθησης. Κάνουμε έναν από τους ήχους που έχουμε εκπαιδεύσει τον υπολογιστή ώστε να αναγνωρίζει ότι σημαίνει «αριστερά» ή «δεξιά» και τις άλλες εντολές που αναφέραμε πιο πάνω. Εάν το μοντέλο μηχανικής εκμάθησης το αναγνωρίζει, θα εμφανίσει αυτό που πιστεύουμε ότι κάναμε.

29.    Εάν δεν είμαστε ικανοποιημένοι με το πώς λειτουργεί το μοντέλο, επιστρέφουμε στη σελίδα Εκπαίδευση και προσθέτουμε περισσότερα παραδείγματα και στους τρεις κάδους εκπαίδευσης Όταν είμαστε ικανοποιημένοι με το μοντέλο μηχανικής εκμάθησης, κάντε κλικ στο Makebutton

30.    Κάνουμε κλικ στο κουμπί Scratch 3 και, στη συνέχεια, κάνουμε κλικ στο Open στο Scratch 3

31.    Φτιάχνουμε το παρακάτω σκηνικό:

32.    Προσθέτουμε το ακόλουθο σενάριο .

33.    Ήρθε η ώρα να δοκιμάσουμε! Κάνουμε κλικ στην πράσινη σημαία Κάνουμε τους θορύβους σας για «αριστερά» και «δεξιά» για να πούμε στον αλλοδαπό με ποιον τρόπο να περπατήσει. Επίσης κάνουμε τους θορύβους για να μεταφράσει τις λέξεις «Oben», «unter», «Guten Morgen», «wie gehts».

Τι έχουμε κάνει;  Έχουμε εκπαιδεύσει το δικό μας μοντέλο μηχανικής εκμάθησης για να κάνουμε αναγνώριση ομιλίας. Το χρησιμοποιήσαμε για να ελέγξουμε έναν χαρακτήρα στο Scratch. Σε αντίθεση με το προ-εκπαιδευμένο μοντέλο που χρησιμοποιήσαμε προηγουμένως, το οποίο έχει εκπαιδευτεί να αναγνωρίζει δεκάδες χιλιάδες λέξεις, το έχουμε εκπαιδεύσει μόνο για να αναγνωρίζει τις παραπάνω γερμανικές λέξεις. Αλλά η αρχή είναι η ίδια. Έχουμε επίσης δει τη σημασία της εκπαίδευσης του μοντέλου μηχανικής εκμάθησης ώστε να λειτουργεί με συγκεκριμένο θόρυβο στο παρασκήνιο. Μπορούμε να σκεφτούμε ένα παράδειγμα συστήματος όπως αυτό που έχετε ξαναδεί; Για παράδειγμα, ορισμένα αυτοκίνητα χρησιμοποιούν συστήματα αναγνώρισης ομιλίας που έχουν εκπαιδευτεί για να αναγνωρίζουν τις διαφορετικές εντολές που μπορείτε να δώσαμε στον υπολογιστή του αυτοκινήτου. Ποια άλλα παραδείγματα έχουμε χρησιμοποιήσει;