Αναγνωριστής κίνησης χεριών: 5 βήματα

2024 Συγγραφέας: John Day | [email protected]. Τελευταία τροποποίηση: 2024-01-30 08:33

ΣΦΑΙΡΙΚΗ ΕΙΚΟΝΑ

Σε αυτό το έργο, θα φτιάξουμε ένα γάντι που μπορεί να αναγνωρίσει κάποιες βασικές κινήσεις των χεριών, χρησιμοποιώντας ένα MicroBit και μερικούς αισθητήρες. Θα χρησιμοποιήσουμε τις δυνατότητες Bluetooth στο MicroBit, σε συνδυασμό με μια εφαρμογή Android και έναν διακομιστή Web για να εκπαιδεύσουμε ένα μοντέλο μηχανικής εκμάθησης για τον προσδιορισμό των κινήσεων των χεριών.

Ξεκινώντας

Η πλειοψηφία των προσπαθειών που περιλαμβάνονται σε αυτό το έργο είναι από την πλευρά του λογισμικού και όλος ο κώδικας που απαιτείται για την εκτέλεση αυτού του έργου είναι διαθέσιμος στο GitHub. Η βάση κώδικα περιλαμβάνει 3 στοιχεία, τον κώδικα για τη δημιουργία ενός αρχείου HEX για το MicroBit, τη βάση δεδομένων Android App που βασίζεται σε μεγάλο βαθμό στην εφαρμογή MicroBit Blue του MicroBit Foundation, με τροποποιήσεις που έγιναν για αυτήν τη συγκεκριμένη περίπτωση χρήσης και έναν διακομιστή ιστού με κωδικό για εκπαίδευση ενός μοντέλου βασισμένου στο Tensorflow για τον προσδιορισμό των κινήσεων των χεριών.

Θα δούμε πώς να φτιάξουμε το γάντι και να το συνδέσουμε με την εφαρμογή και τον διακομιστή Web στη συνέχεια.

Προμήθειες

• 1 Μικρόβιτ του BBC
• 1 Υποδοχή μπαταρίας με 2 μπαταρίες AAA
• 1 γάντι
• Ένα σύνολο καλωδίων άλτη, κλιπ αλιγάτορα
• Αισθητήρας κάμψης
• Αισθητήρας δύναμης
• Velcro
• Ηλεκτρική ταινία
• Ένα τηλέφωνο Android
• Υπολογιστή/Φορητό υπολογιστή

Βήμα 1: Βήμα 1: Ρύθμιση του MicroBit και της μπαταρίας

• Ξεκινήστε συνδέοντας τη θήκη της μπαταρίας σε ένα κομμάτι velcro όπως φαίνεται στην πρώτη εικόνα. Χρησιμοποιήστε ηλεκτρική ταινία για να στερεώσετε σταθερά τη θήκη της μπαταρίας στον ιμάντα velcro.
• Στη συνέχεια, κάντε ένα βρόχο με ηλεκτρική ταινία έτσι ώστε να κολλάει και από τις δύο πλευρές και κολλήστε το πάνω από τη μπαταρία.
• Κολλήστε το MicroBit στον βρόχο της ταινίας για να στερεώσετε σταθερά το MicroBit στη θήκη μπαταρίας, όπως φαίνεται στη δεύτερη εικόνα.

Βήμα 2: Συνδέστε αισθητήρες

• Ακολουθήστε το διάγραμμα κυκλώματος που φαίνεται στην εικόνα για να συνδέσετε τον ευαίσθητο αισθητήρα σας στο pin 1 του MicroBit και τον αισθητήρα δύναμης στο pin 0 του MicroBit.
• Ασφαλίστε τους αισθητήρες στο Γάντι χρησιμοποιώντας ηλεκτρική ταινία όπως φαίνεται στις εικόνες.

Βήμα 3: Ολοκλήρωση του υλικού

• Χρησιμοποιήστε τα άκρα των ιμάντων velcro για να σχηματίσετε έναν βρόχο και σύρετε τον βρόχο πάνω από τα δάχτυλα του γαντιού, όπως φαίνεται στην εικόνα.
• Μπορείτε να χρησιμοποιήσετε καλώδια για να στερεώσετε τα καλώδια στο γάντι για να αποτρέψετε την υπερβολική κίνηση τους.

Στην επόμενη ενότητα θα δούμε πώς να ρυθμίσετε το λογισμικό.

Βήμα 4: Ρύθμιση λογισμικού

Σύζευξη του τηλεφώνου σας με το MicroBit

1. Για να αντιστοιχίσετε το τηλέφωνό σας, βεβαιωθείτε πρώτα ότι το bluetooth είναι ενεργοποιημένο στο τηλέφωνό σας.
2. Ενεργοποιήστε το MicroBit και πατήστε παρατεταμένα και τα δύο κουμπιά Α και Β. Ταυτόχρονα πατήστε και αφήστε το κουμπί επαναφοράς ενώ κρατάτε ακόμα τα κουμπιά Α και Β. Το microbit θα πρέπει τώρα να εισέλθει σε κατάσταση σύζευξης.
3. Στο τηλέφωνό σας, βρείτε το MicroBit στη λίστα συσκευών bluetooth όπου συνήθως προσθέτετε μια νέα συσκευή Bluetooth και ξεκινήστε τη σύζευξη. Στο MicroBit θα δείτε ένα βέλος που δείχνει το κουμπί Α. Όταν το πατήσετε αυτό, το MicroBit θα εμφανίσει μια σειρά αριθμών που είναι ο Κώδικας σύζευξης που πρέπει να εισαγάγετε στο τηλέφωνό σας. Μόλις εισαγάγετε τον κωδικό στο τηλέφωνό σας και επιλέξετε ζεύγος, θα πρέπει να εμφανιστεί ένα σημάδι ελέγχου στο MicroBit.
4. Πατήστε το κουμπί επαναφοράς στο MicroBit.

Ρύθμιση του λογισμικού

Ακολουθήστε τους οδηγούς ReadMe σε κάθε υποφάκελο στο GitHub Repository για να ρυθμίσετε το έργο Android App στο Android Studio, να δημιουργήσετε και να αναβοσβήσετε το αρχείο HEX στο MicroBit σας και να εκτελέσετε τον διακομιστή ιστού για την εκτέλεση των μοντέλων μηχανικής εκμάθησης.

Βήμα 5: Χρήση

Διακομιστής Ιστού

Ανοίξτε ένα τερματικό στον κατάλογο έργων του Web Server και εκτελέστε το `python server.py` για να ξεκινήσετε τον διακομιστή αφού ακολουθήσετε τις οδηγίες στο ReadMe για να εγκαταστήσετε εξαρτήσεις

Εφαρμογή Android

1. Δημιουργήστε και δημιουργήστε ένα APK για την εφαρμογή Android από το Android Studio. Εκτελέστε την εφαρμογή μετά τη σύζευξη του τηλεφώνου σας με το MicroBit (δείτε προηγούμενο βήμα).
2. Στη σελίδα του επιταχυνσιόμετρου, μπορείτε να ορίσετε τη διεύθυνση URL του διακομιστή ιστού χρησιμοποιώντας το μενού ρυθμίσεων στην επάνω δεξιά γωνία. Βεβαιωθείτε ότι το αλλάζετε στην IP του διακομιστή Web.
3. Περιμένετε έως ότου οι ενδείξεις του επιταχυνσιόμετρου αρχίσουν να συμπληρώνονται από το MicroBit. Θα δείτε τις ενδείξεις να αλλάζουν με διαφορετική συχνότητα. Για να αλλάξετε τη συχνότητα πατήστε το Β στο MicroBit. Στην ιδανική περίπτωση, μπορείτε να χρησιμοποιήσετε μια τιμή συχνότητας 10 (η οποία δειγματολογεί ανάγνωση κάθε 10ms)
4. Μόλις συμπληρωθούν οι ενδείξεις, ονομάστε τη χειρονομία σας χρησιμοποιώντας το Πλαίσιο κειμένου με την ένδειξη "Χειρονομία:" και πατήστε το κουμπί εγγραφής. Μόλις πατήσετε το κουμπί εγγραφής, κάντε την κίνηση του χεριού σας επανειλημμένα μέχρι να ενεργοποιηθεί ξανά το κουμπί.
5. Επαναλάβετε το βήμα 3 για την εγγραφή πολλαπλών χειρονομιών.
6. Πατήστε το κουμπί τρένου για να ξεκινήσετε την εκπαίδευση μοντέλου στον διακομιστή. Μόλις ολοκληρωθεί η εκπαίδευση (περίπου 15 δευτερόλεπτα), μπορείτε να προχωρήσετε σε προβλέψεις.
7. Πατήστε το κουμπί πρόβλεψης και κάντε την κίνηση/χειρονομία σας. Η εφαρμογή θα προσπαθήσει να το ταιριάξει με μια από τις εκπαιδευμένες κινήσεις όσο το δυνατόν καλύτερα.