Ένας σηματοδότης μοτίβου με φωνητικό έλεγχο, τύπου Μπράιγ: 4 βήματα (με εικόνες)

2024 Συγγραφέας: John Day | [email protected]. Τελευταία τροποποίηση: 2024-01-30 08:38

Ο Λόρδος Βετινάρι στάθηκε στο παράθυρό του και παρακολουθούσε τον πύργο με σημαία στην άλλη πλευρά του ποταμού. Και τα οκτώ μεγάλα παραθυρόφυλλα που κοιτούσαν προς το μέρος του, έλαμπαν με μανία - μαύρο, άσπρο, μαύρο, άσπρο, μαύρο, λευκό … Οι πληροφορίες πετούσαν στον αέρα. Είκοσι μίλια πίσω του, σε έναν άλλο πύργο στο Sto Lat, κάποιος κοίταζε μέσα από ένα τηλεσκόπιο και φώναζε αριθμούς. Πόσο γρήγορα έρχεται το μέλλον πάνω μας, σκέφτηκε ». Τ. Πράτσετ, Ο πέμπτος ελέφαντας

Αφού έφτιαξα ένα φωνητικά ελεγχόμενο άλμα με βάση το κιτ φωνής AIY, είχα την ιδέα να δημιουργήσω έναν σηματοφόρο με φωνητικό έλεγχο, συγκεντρώνοντας το τελευταίο στην τεχνολογία της πληροφορικής με τις απαρχές των τηλεπικοινωνιών και της μεταφοράς δεδομένων.

Στην αρχή είχα την ιδέα να επαναλάβω το γαλλικό σύστημα σηματοφόρων από το Chappe, το οποίο ήταν το πρώτο γνωστό σύστημα για τηλεπικοινωνίες σε εθνικό επίπεδο χρησιμοποιώντας ένα σύστημα σηματοφόρων. Αλλά αποδείχθηκε ότι ήταν πολύ περίπλοκο για να πραγματοποιηθεί χρησιμοποιώντας τυπικά servos μέσα σε μια μέρα. Ο επόμενος στόχος μου ήταν κάτι παρόμοιο με το σύστημα clacks που περιέγραψε ο Terry Pratchett, π.χ. στο "Going Postal", ως σύστημα σηματοδότησης κλείστρου 2x4 (όχι όπως η μήτρα 4x4 που απεικονίζεται στην ταινία). Δυστυχώς δεν μπόρεσα να βρω πάρα πολλές τεχνικές λεπτομέρειες διαθέσιμες σε αυτό το σύστημα. Έτσι κατέληξα στο σύστημα σηματοδότησης μήτρας 2x3 που αναπτύχθηκε από τον Λόρδο Μάρεϊ, το οποίο είχε χρησιμοποιηθεί από το Βρετανικό Ναυτικό για λίγο. Επιπλέον, ένα σύστημα έξι κλείστρου/δυαδικών ψηφίων ταιριάζει καλά στους έξι σερβο συνδέσμους που διατίθενται στο AIY voice HAT. Αλλά, καθώς δεν είχα έξι σερβο στο χέρι μεταξύ των ετών, τελικά αποφάσισα να φτιάξω πρώτα έναν προσομοιωτή φτιαγμένο από LED.

Όσον αφορά τον εμφανιζόμενο κώδικα, θα μπορούσε κανείς να χρησιμοποιήσει το σύστημα Murray, αλλά και πάλι οι πληροφορίες που είχα διαθέσιμες σε αυτό ήταν μάλλον περιορισμένες, δεν επέτρεπαν την εμφάνιση αριθμών και συμβόλων. Έτσι έφτασα στο σημείο να χρησιμοποιήσω το σύστημα Braille αντ 'αυτού, το οποίο χρησιμοποιεί επίσης έναν πίνακα 2x3 για την εμφάνιση γραμμάτων, αριθμών και άλλων πινακίδων. Το σύστημα Μπράιγ είναι το διεθνές πρότυπο για την εκτύπωση κειμένων αναγνώσιμων για τυφλούς. Είναι επίσης μια γλώσσα σήμανσης, η οποία χρησιμοποιεί έναν δείκτη αριθμών για να ορίσει ότι οι αριθμοί θα εμφανιστούν στη συνέχεια και οι δείκτες για να ορίσουν ότι ένα ή πολλά από τα παρακάτω γράμματα γράφονται με κεφαλαία γράμματα. Επομένως, αποφάσισα να δημιουργήσω ένα ελαφρώς απλοποιημένο σύστημα, με αριθμούς και ορισμένες πινακίδες που ορίζονται από την επέκταση Nemeth του συστήματος Μπράιγ, και απλώς χρησιμοποιήστε κεφαλαία γράμματα, τουλάχιστον για την αρχή. Αυτό επιτρέπει να υπάρχουν μοναδικά μοτίβα για κάθε γράμμα, αριθμό ή πινακίδα που θα εμφανίζονται στην ειδική εφαρμογή μου και να παραλείψω την ανάλυση κειμένου που απαιτείται για την πραγματική Μπράιγ.

Η τελική συσκευή επιτρέπει την εκφώνηση μιας λέξης ή μιας πρότασης στο σύστημα αναγνώρισης φωνής AIY, στη συνέχεια τα δεδομένα μοτίβου φωνής αποστέλλονται μέσω WLAN και διαδικτύου σε κάποια υπηρεσία Google στις ΗΠΑ, αποκωδικοποιούνται εκεί και, τουλάχιστον στην περίπτωσή μου, η ερμηνευμένη Τα δεδομένα αποστέλλονται πίσω στην Ευρώπη, όπου τελικά εμφανίζεται η αναγνωρισμένη πρόταση ως συμβολοσειρά κειμένου. Αυτή η συμβολοσειρά κειμένου στη συνέχεια διασπάται από το σενάριο Python σε μεμονωμένα γράμματα και τώρα, σε σύγκριση με ένα λεξικό που ορίζει τα αντίστοιχα μοτίβα, οι πληροφορίες μοτίβου ανακτήνονται και τα μοτίβα εμφανίζονται σε μήτρα LED 2x3. Ρίξτε μια ματιά στο συνοδευτικό βίντεο.

Έχω ρυθμίσει το ρυθμό εμφάνισης σε έναν χαρακτήρα ανά δευτερόλεπτο, ο οποίος θα πρέπει να είναι αρκετά μεγάλος για να μπορεί ένα εκπαιδευμένο άτομο να αναγνωρίσει και να μεταφράσει το μοτίβο. Ένα πιθανό επόμενο βήμα θα ήταν να χρησιμοποιήσετε μια συσκευή αναγνώρισης προτύπων όπως το AIY vision HAT (μέχρι στιγμής δεν είναι διαθέσιμο στην Ευρώπη) για να διαβάσετε και να ερμηνεύσετε τα μοτίβα αυτόματα, ώστε να κλείσετε τον κύκλο.

Περαιτέρω έννοιες για βελτιώσεις, μερικές με πιο πραγματικό ενδιαφέρον, συζητούνται στο τμήμα "outlook" αυτού του διδακτέου.

Βήμα 1: Υλικά που χρησιμοποιούνται

Raspberry Pi 3

AIY φωνή ΚΑΠΕΛΟ

Οκτώ λευκές λυχνίες LED, διαμέτρου 5 mm. Αυτά λειτουργούν σε 3V, επομένως απαιτείται αντίσταση.

Αντίσταση 100kOhm. Maybeσως δεν ήταν η τέλεια λύση, αλλά ήταν στο χέρι.

Καλώδια βραχυκύκλωσης

Ένα κοντό κομμάτι σύρμα

Breadboard, προαιρετικό για έλεγχο της εγκατάστασης.

Ένα πλαστικό κουτί για επαγγελματικές κάρτες.

Δύο κομμάτια πλαστικού αφρού 4 mm, μερικά περισσεύουν σκουπίδια.

Κάποιο κομμάτι πλαστικής μεμβράνης, ως διαχύτης, όπως παραπάνω.

Συγκολλητικό σίδερο και συγκόλληση, ένα μαχαίρι.

Βήμα 2: Ρύθμιση και χρήση

Ρυθμίστε τα Raspberry Pi και AIY HAT όπως υποδεικνύεται στο εγχειρίδιο AIY voice HAT. Θα συνιστούσα να κολλήσετε κεφαλίδες τουλάχιστον στις servo θύρες πριν συναρμολογήσετε Pi και HAT, καθώς αυτό σας επιτρέπει να συνδέσετε εύκολα servos, ένα breadboard ή LED.

Το κουτί της οθόνης είχε κατασκευαστεί από το καπάκι ενός πλαστικού κουτιού για επαγγελματικές κάρτες, δύο κομμάτια αφρού που τοποθετούνται στο κουτί και ένα παρόμοιο μέγεθος κομμάτι μιας μεμβράνης συσκευασίας ως διαχύτη. Σε ένα από τα αφρώδη μέρη πιέστηκαν έξι τρύπες και τοποθετήθηκαν τα LED σε αυτά. Τα μικρότερα πόδια (πλευρά γείωσης) των LED συνδέθηκαν μεταξύ τους με ένα κομμάτι καλωδίου, στη συνέχεια προστέθηκε μια αντίσταση και ένα καλώδιο βραχυκυκλωτήρα συγκολλήθηκε στο τελευταίο. Στα άλλα πόδια (συν την πλευρά) των λυχνιών LED jumper συγκολλήθηκαν.

Αυτά στη συνέχεια συνδέθηκαν με τις σερβο θυρίδες στο AIY voice HAT μέσω καλωδίων επιμήκυνσης, με τη θετική πλευρά στις (εξωτερικές) καρφίτσες "P in", τον αρνητικό σύνδεσμο σε έναν από τους (εσωτερικούς) πείρους γείωσης/μείον. Ρίξτε μια ματιά στο συνημμένο σχέδιο.

Θα συνιστούσα ανεπιφύλακτα να δοκιμάσετε τη ρύθμιση σε ένα breadboard πριν από τη συγκόλληση.

Τώρα η μεμβράνη, η πλάκα LED και το στρώμα στεγανοποίησης τοποθετήθηκαν στο πλαστικό κουτί.

Τοποθετήστε το σενάριο Braille_LED_1.py στο φάκελο src. Σε περίπτωση, ίσως χρειαστεί να κάνετε πρώτα το σενάριο εκτελέσιμο.

Τώρα χρησιμοποιώντας το τερματικό Dev (!) Ξεκινά το πρόγραμμα Braille_LED_1.py. Πληκτρολογήστε 'src/Braille_LED_1.py' και πατήστε 'Enter'.

Τώρα θα σας ζητηθεί να πατήσετε το κουμπί του πλαισίου AIY και να πείτε τη λέξη ή την πρόταση σας. Με κάποια καθυστέρηση, το σύστημα θα επαναλάβει αυτό που είχε γίνει κατανοητό και θα το εμφανίσει στην οθόνη καθώς και γράμμα προς γράμμα στην έξι οθόνη LED.

Εάν δώσετε τη λέξη -κλειδί "Αντίο" αντί για πρόταση, το σύστημα θα σας πει Αντίο και το πρόγραμμα θα κλείσει.

Βήμα 3: Ο κώδικας

Παρακάτω μπορείτε να βρείτε τον κώδικα που σας επιτρέπει να μιλήσετε στη φωνητική συσκευή AIY και να εμφανιστεί η αναγνωρισμένη πρόταση γράμμα με γράμμα σε ένα μικρό «σηματοφόρο» 2x3-LED ή μήτρα τύπου Μπράιγ.

Ο κώδικας είναι ένα παράγωγο του σεναρίου που χρησιμοποίησα για ένα προηγούμενο έργο χρησιμοποιώντας το AIY voice HAT, αποτελώντας παράγωγο του παραδείγματος servo_demo.py που περιγράφεται στο εγχειρίδιο AIY voice HAT.

Μπορείτε επίσης να βρείτε ένα λεξικό με το τμήμα του κώδικα Murray που είχα βρει στο διαδίκτυο, ως αρχείο κειμένου. Δεν περιέχει αριθμούς και παραλείπει μερικά γράμματα, τα οποία θα δημιουργούσαν πρόβλημα εδώ.

Ένας περιορισμός του προγράμματος στην τρέχουσα κατάσταση είναι ότι εάν μια πινακίδα που δεν περιλαμβάνεται στο λεξικό θα κατέρρεε το πρόγραμμα. Επιπλέον, δεν αντιπροσωπεύει τον πλήρη κώδικα Μπράιγ ως γλώσσα σήμανσης. Όπως μπορείτε να δείτε στο παρακάτω σενάριο, ο κωδικός Nemeth για αριθμούς είναι περιττός με ορισμένες πινακίδες στην τυπική Μπράιγ, αλλά αυτό δεν θα πρέπει να δημιουργεί πρόβλημα στη συγκεκριμένη εφαρμογή μας.

#!/usr/bin/env python3

# Αυτό το σενάριο είναι μια προσαρμογή του σεναρίου servo_demo.py για το AIY voice HAT, # βελτιστοποιημένο για το σύμβολο τύπου Baille που βασίζεται σε AIY εισαγωγή aiy.audio import aiy.cloudspeech εισαγωγή aiy.voicehat από gpiozero εισαγωγή LED # από χρόνος εισαγωγής ύπνου # Λεξικό: τεχνητά τροποποιημένο αλφάβητο Μπράιγ, # αριθμοί και ορισμένα σύμβολα που λαμβάνονται από την επέκταση Nemeth της Braille Braille_6A = {"": "123456", # space "A": "1", "B": "12 "," C ":" 14 "," D ":" 145 "," E ":" 15 "," F ":" 124 "," G ":" 1245 "," H ":" 125 ", "I": "24", "J": "245", "K": "13", "L": "123", "M": "134", "N": "1345", "O ":" 135 "," P ":" 1234 "," Q ":" 12345 "," R ":" 1235 "," S ":" 234 "," T ":" 2345 "," U ": "136", "V": "1236", "X": "1346", "Y": "13456", "Z": "1356", "W": "2456", "#": "3456 ", # Πρόθεμα αριθμών, δηλαδή τα επόμενα σημάδια είναι αριθμοί", ":" 2 ",". ": "256", # Τερματισμός, τέλος της πρότασης (GB) ";": "236", "!": "235", "" ":" 3 ","-":" 24 ","; ": "23", "Cap": "6", # Το επόμενο γράμμα είναι με κεφαλαία γράμματα. Αριθμός-Στάση; "": "", # Ο κώδικας Μπράιγ Nemeth είναι μια μαθηματική επέκταση για Μπράιγ 6 σημείων # δείτε: https://en.wikipedia.org/wiki/Nemeth_Braille "1": "2", # Nemeth Code '1', Μπράιγ 'κόμμα' "2": "23", "3": "25", "4": "256", "5": "26", "6": "235", # Nemeth '6', Μπράιγ '!' "7": "2356", "8": "236", # Nemeth '8', Braille '?' "9": "35", "0": "356", "+": "346", "-": "36", "/": "34", "(": "12356", ") ":" 23456 ","*":" 1346 " # '*' είναι ένα σύμβολο δύο μοτίβων στη Νέμεθ, εδώ αντικαθίσταται από ένα 'x' για να παραλείψετε σφάλματα}" "για λόγους απλότητας, δίνονται τα τυπικά μοτίβα αριθμών Μπράιγ παρακάτω αντικαταστάθηκαν από τους κωδικούς Nemeth "1": "1", "2": "12", "3": "14", "4": "145", "5": "15", " 6 ":" 124 "," 8 ":" 1245 "," 9 ":" 24 "," 0 ":" 245 "," "" #Text = "rbhTZkl 9t64+34 #!" # Sampletext, για σκοπούς εντοπισμού σφαλμάτων def main (): αναγνωριστικό = aiy.cloudspeech.get_recognizer () αναγνωριστικό.expect_phrase ('αντίο') # λέξη -κλειδί, τελειώνει το κουμπί προγράμματος = aiy.voicehat.get_button () # AIY Button status led = aiy.voicehat.get_led () # AIY Button-LED status aiy.audio.get_recorder (). start () led_1 = LED (26) # 1st connector, servo0, GPIO 26 # above left led_2 = LED (6) # 2nd connector, servo1, GPIO 06 # μεσαίο αριστερό led_3 = LED (13) # 3ος σύνδεσμος, servo2, GPIO 13 # κάτω αριστερά led_4 = LED (5) # 4ος σύνδεσμος, servo3, GPIO 05 # επάνω δεξιά led_5 = LED (12) # 5ος σύνδεσμος, servo4, GPIO 12 # μεσαία δεξιά led_6 = LED (24) # 4η υποδοχή, servo3, GPIO 13 # κάτω δεξιά # απόσταση = Κουμπί (5) # αισθητήρας απόστασης συνδεδεμένος στο servo3/GPIO 05, δεν χρησιμοποιείται εδώ aiy.audio.say ("Γεια!",) Aiy.audio.say ("Για να ξεκινήσετε, παρακαλώ πατήστε το κουμπί",) aiy.audio.say ("Αν μου πείτε αντίο, θα τελειώσω το πρόγραμμα",) ενώ True: # ξεκινά βρόχος led.set_state (aiy.voicehat. LED. BLINK) εκτύπωση ("Για ενεργοποίηση αναγνώρισης φωνής n, πατήστε το μπλε κουμπί και, στη συνέχεια, μιλήστε ") print () button.wait_for_press () print (" Listening… ") aiy.audio.say (" Ακούω ",) led.set_state (aiy.voicehat. LED. BLINK_3) text = αναγνωριστικό.αναγνωρίστε () # συμβολοσειρά κειμένου της αναγνωρισμένης πρότασης led.set_state (aiy.voicehat. LED. OFF) εάν το κείμενο δεν είναι: aiy.audio.say ("Συγγνώμη, δεν σας άκουσα.",) elif 'αντίο' στο κείμενο: aiy.audio.say ("Αντίο",) aiy.audio.say ("Arrivederci",) aiy.audio.say ("Auf Wiedersehen",) sleep (3) print ("bye! ') break # stop loop και τελειώνει το πρόγραμμα αλλιώς: print (' Είπατε '', κείμενο, '' ') # Σας επιτρέπει να ελέγξετε την ερμηνεία των συστημάτων, συμπεριλαμβανομένης της αποτύπωσης aiy.audio.say (' Υποθέτω ότι είπατε ',) aiy.audio.say (κείμενο,) # ακουστική επαλήθευση Text_up = text.upper () # μεταφέρει όλα στην κεφαλαία εκτύπωση (Text_up) Text_Len = len (Text_up) print (Text_Len) for i in range (Text_Len): Lett = Text_up # Επιλέγει ένα μόνο γράμμα, ξεκινώντας από το πρώτο, δηλαδή [0] print ("Letter =", Lett) Lett_B = Braille_6A [Lett] # Επιλέγει τον αντίστοιχο κωδικό από το λεξικό. Ένα σημάδι που λείπει θα σπάσει τον κωδικό! εκτύπωση (Lett_B) if ("1" in Lett_B): print ("LED 1") led_1.on () # activates LED at servo0 "if" 2 "in Lett_B: print (" LED 2 ") led_2.on () εάν "3" σε Lett_B: print ("LED 3") led_3.on () αν "4" σε Lett_B: print ("LED 4") led_4.on () αν "5" σε Lett_B: print ("LED 5 ") led_5.on () αν" 6 "στο Lett_B: print (" LED 6 ") led_6.on () sleep (1) # pattern display for a second print () led_1.off () # αδρανοποιήσει όλα τα LED στο servos0 -5n led_2.off () led_3.off () led_4.off () led_5.off () led_6.off () ύπνος (0.3) # ένα μικρό σκοτεινό διάλειμμα, για να υποδείξει το τέλος του γράμματος αν _name_ == '_main_ ': main ()

Βήμα 4: Outlook και παρατηρήσεις

Τι θα μπορούσε λοιπόν να είναι το επόμενο;

Εκτός από αυτό το μετα-αστείο IT με το κιτ βίντεο AIY ή άλλο αυτοματοποιημένο σύστημα αναγνώρισης εικόνας που αναφέρεται στην εισαγωγή, μπορεί να υπάρχουν άλλες επιλογές για την επέκταση της έννοιας που περιγράφεται σε αυτό το διδακτικό. Μερικά από αυτά μπορεί να έχουν πραγματική χρήση. Αυτές θα μπορούσαν να είναι:

- βελτιωμένος προγραμματισμός, έτσι ώστε το κείμενο να μεταφέρεται στον τυπικό κώδικα Μπράιγ, με όλες τις σημειώσεις και τις συμπιέσεις. Αυτό δεν πρέπει να είναι μεγάλη προσπάθεια για έναν εξειδικευμένο προγραμματιστή python. Αυτό δεν είμαι, οπότε κάθε βοήθεια θα ήταν ευπρόσδεκτη.

- επεκτείνετε το σύστημα σε μήτρα 2x4. Θα πρέπει επίσης να είναι δυνατό και θα βοηθούσε στη χρήση των αντίστοιχων κωδικών Μπράιγ 8 σημείων, όπως χρησιμοποιούνται από τις ηλεκτρονικές οθόνες Μπράιγ. Πάνω από αυτό, θα ήταν λίγο πιο κοντά στο σύστημα κρότων του Dearheart.

- κατασκευάστε μια πραγματική οθόνη Μπράιγ 2x3 ή 2x4. Θα πρέπει να είναι δυνατή είτε χρησιμοποιώντας μια σειρά από servos είτε μια σειρά από μίνι σωληνοειδή 5V. Η πρωταρχική πρόκληση θα ήταν ότι η τυπική απόσταση μεταξύ των σημείων αφής είναι 2,45 mm, ή 1/10 ίντσα, σε ηλεκτρονικές οθόνες, οπότε ενδέχεται να απαιτούνται ορισμένα γρανάζια και μηχανική. Η άλλη πρόκληση θα μπορούσε να είναι η ακριβής ρύθμιση του μήκους ώθησης.

Μια τόσο απλή και φθηνή λύση μπορεί να ενδιαφέρει ένα ευρύτερο κοινό, καθώς οι εμπορικές οθόνες Μπράιγ είναι αρκετά ακριβές. Μπορεί να υπάρξει όφελος για τους μαθητές της Μπράιγ που χρησιμοποιούν ένα τέτοιο σύστημα ελεγχόμενης φωνής. Όπως θα μπορούσαν να καταχωρήσουν προφορικά μια (αγγλική) πρόταση της επιλογής τους και να πάρουν το κείμενο, τα γράμματα και τις πινακίδες, που εμφανίζονται στην άκρη (ες) των δακτύλων τους.

- κατασκευή μηχανικού συστήματος κλείστρου που μοιάζει με τα συστήματα Murray ή Dearheart. Χρησιμοποιώντας servos, αυτό δεν θα πρέπει να είναι πολύ περίπλοκο και μπορεί να περιγραφεί σε άλλο εκπαιδευτικό. Or θα μπορούσε να είναι ένα ωραίο σχολικό έργο. Ενδιαφέρεται κανείς;

–――――

Μερικές παρατηρήσεις και σύνδεσμοι ενδιαφέροντος:

- Υπάρχει ένα διδακτικό που περιγράφει ένα "DIY semaphore fener", μια μήτρα LED 2x4, βασισμένη σε κάποια δοκιμαστική πλακέτα Propeller. Μου αρέσει η διάταξη, αλλά ο προγραμματισμός μου φαίνεται λίγο περίπλοκος. Παρακαλώ κοιτάξτε μόνοι σας.

- Βρήκα τώρα ένα πρόγραμμα python για τη δημιουργία Braille Fully Contracted (Grade 2). Δυστυχώς, περιορίζεται στην python 2 και την 2002 αμερικανική αγγλική έκδοση:

- ένα πιο ολοκληρωμένο πρόγραμμα φαίνεται να είναι το liblouis, https://github.com/liblouis/liblouis, αλλά δεν έχω ιδέα πώς να το ενσωματώσω σε αυτήν τη λύση.

- μια ενδιαφέρουσα λύση python φαίνεται ότι προέρχεται από την Ελλάδα, https://github.com/ant0nisk/pybrl μπορεί να ενσωματώσει πολλές γλώσσες και να δημιουργήσει μπράιγ βαθμού 2.

- Δεν είμαι ούτε προγραμματιστής, ούτε ηλεκτρονικός τύπος, ούτε είχα πολλές γνώσεις για τη γραφή Μπράιγ πριν από λίγες ημέρες.

Αν λοιπόν δείτε σφάλματα, παραλείψεις ή έχετε κάποιες ιδέες για το έργο, ενημερώστε με.

- Αν σας αρέσει αυτό το διδακτικό, ψηφίστε το!