Γάντι μετατροπής χειρονομίας σε ομιλία/κειμένου: 5 βήματα

2024 Συγγραφέας: John Day | [email protected]. Τελευταία τροποποίηση: 2024-01-30 08:33

Η ιδέα/ώθηση πίσω από την υλοποίηση αυτού του έργου ήταν να βοηθήσουμε άτομα που δυσκολεύονται να επικοινωνήσουν χρησιμοποιώντας την ομιλία και επικοινωνούν χρησιμοποιώντας χειρονομίες ή πιο δημοφιλώς γνωστή ως Αμερικανική νοηματική γλώσσα (ASL). Αυτό το έργο μπορεί να είναι ένα βήμα προς την παροχή σε αυτούς τους ανθρώπους την ευκαιρία να συνεργαστούν με άλλα άτομα, τα οποία δεν μπορούν να κατανοήσουν τη νοηματική γλώσσα, σε ένα συνεργατικό περιβάλλον. Επίσης, αυτό το έργο θα τους επιτρέψει να κάνουν δημόσιες ομιλίες χωρίς τη χρήση πραγματικού μεταφραστή. Αρχικά, προσπαθούσα να εντοπίσω μόνο μερικές από τις πιο εύκολες χειρονομίες, όπως αλφάβητα Α, Β, Ι, κλπ. Και επίσης έχω εκχωρήσει ορισμένες χειρονομίες σε κοινές λέξεις/χαιρετισμούς, όπως «Γεια», «Καλημέρα» κ.λπ.

Βήμα 1: Συναρμολόγηση κυκλωμάτων

Βήμα 2: Λεπτομέρειες έργου

Αυτό το έργο περιλαμβάνει ένα φορετό γάντι με 4 εύκαμπτους αισθητήρες κολλημένους/ενσωματωμένους στο γάντι - ένας ο καθένας για μικρά, μεσαία, δείκτες και αντίχειρα. Ο αισθητήρας Flex δεν χρησιμοποιήθηκε για δακτύλιο δακτύλου λόγω περιορισμών στη διαθεσιμότητα Analog Input Pins στο Arduino Uno R3 και γενικά λόγω έλλειψης ανεξάρτητης κίνησης που εμφανίζεται με το δάχτυλο στις νοηματικές γλώσσες. Χρησιμοποιείται επίσης ένα επιταχυνσιόμετρο MMA8452Q το οποίο είναι κολλημένο στο πίσω μέρος της παλάμης για να μετρήσει τον προσανατολισμό του χεριού. Η είσοδος από αυτούς τους αισθητήρες αναλύεται και χρησιμοποιείται για την αίσθηση της χειρονομίας. Μόλις γίνει αντιληπτή η κίνηση, ο αντίστοιχος χαρακτήρας/μήνυμα αποθηκεύεται σε μια μεταβλητή. Αυτοί οι χαρακτήρες και τα μηνύματα συνεχίζουν να συνδέονται μέχρι να γίνει μια προκαθορισμένη χειρονομία που υποδεικνύει την ολοκλήρωση της πρότασης. Μόλις εντοπιστεί αυτή η ειδική χειρονομία, η αποθηκευμένη συμβολοσειρά προτάσεων αποστέλλεται στο Raspberry Pi μέσω καλωδίου USB από το Arduino. Στη συνέχεια, το Raspberry Pi στέλνει τη ληφθείσα συμβολοσειρά στην Υπηρεσία Cloud του Amazon που ονομάζεται Polly για να μετατρέψει την πρόταση που λαμβάνεται σε μορφή κειμένου σε μορφή ομιλίας και στη συνέχεια μεταδίδει τη ληφθείσα ομιλία στο ηχείο που είναι συνδεδεμένο στο Raspberry Pi μέσω του καλωδίου AUX.

Αυτό το έργο ήταν απλώς μια απόδειξη της ιδέας και με καλύτερο εξοπλισμό και σχεδιασμό και καλύτερα βαθμονομημένο για τον εντοπισμό πολλών άλλων χειρονομιών και κινήσεων των χεριών. Επί του παρόντος, μόνο περιορισμένες λειτουργίες έχουν προγραμματιστεί σε αυτό το έργο, όπως για βασική ανίχνευση χειρονομιών και έξοδο κειμένου σε ομιλία.

Βήμα 3: Κωδικός

Βήμα 4: Βήματα

1. Συνδέστε τους εύκαμπτους αισθητήρες και το επιταχυνσιόμετρο MMA8452Q στο Arduino σύμφωνα με το διάγραμμα κυκλώματος που παρέχεται.

2. Αποθέστε το πρόγραμμα Final_Project.ino (βρίσκεται στο αρχείο Arduino_code.zip) στο Arduino.

3. Συνδέστε το Arduino στο Raspberry Pi μέσω καλωδίου USB. (Καλώδιο τύπου Α/Β).

4. Ενεργοποιήστε το Raspberry Pi, αντιγράψτε το αρχείο Raspberry_pi_code.zip στο Raspberry Pi και εξαγάγετε το. Συνδέστε το ηχείο στο Raspberry Pi.

5. Αντιγράψτε τα διαπιστευτήρια λογαριασμού AWS, δηλαδή aws_access_key_id, aws_secret_access_key και aws_session_token στο αρχείο./. Aws/διαπιστευτήρια. Αυτό το βήμα απαιτείται για την επικοινωνία με το cloud AWS και τη χρήση υπηρεσιών AWS.

6. Εκτελέστε το πρόγραμμα seria_test.py που βρίσκεται μέσα στον εξαγόμενο φάκελο στο βήμα 4.

7. Τώρα κάντε τις χειρονομίες για να σχηματίσετε μια πρόταση και, στη συνέχεια, κάντε την ειδική χειρονομία (Κρατήστε τα δάχτυλά σας και την παλάμη σας ίσια και σε μια γραμμή με την παλάμη στραμμένη μακριά σας, και στη συνέχεια περιστρέψτε τον καρπό δίνοντάς του μια στροφή προς τα κάτω, έτσι ώστε τώρα η παλάμη σας είναι στραμμένη προς το μέρος σας και η άκρη των δακτύλων σας δείχνει προς τα κάτω προς τα πόδια σας.) για να σηματοδοτήσει την ολοκλήρωση της πρότασης.

8. Συνεχίστε να ελέγχετε το τερματικό για χρήσιμες πληροφορίες.

9. Και ακούστε τη μετασχηματισμένη ομιλία που μεταδίδεται στον ομιλητή.

Βήμα 5: Αναφορές

1.

2.

3.

4.