EWON Raspberry Pi Powered Home Robot: 7 βήματα (με εικόνες)

2024 Συγγραφέας: John Day | [email protected]. Τελευταία τροποποίηση: 2024-01-30 08:32

Ακολουθήστε περισσότερα από τον συγγραφέα:

Σχετικά με: Μηχανική και Σχεδιασμός Περισσότερα για το sharathnaik »

Πρόσφατα βρέθηκα να βλέπω υπερβολικά πολλές σειρές Netflix λόγω της τρέχουσας κατάστασης, ελπίζω να είστε όλοι ασφαλείς και είδα ότι κυκλοφόρησε η 5η σεζόν του Black Mirror. Μια σειρά ανθολογίας που περιστρέφεται γύρω από μια προσωπική ζωή μιας ομάδας ανθρώπων και πώς η τεχνολογία χειραγωγεί τη συμπεριφορά τους.

Και ένα από τα επεισόδια που τράβηξαν την προσοχή μου ήταν η Rachel, ο Jack και η Ashley Too. Ένας από τους κύριους χαρακτήρες αυτής της σειράς είναι ένα οικιακό ρομπότ που ονομάζεται Ashley O και αυτό το ρομπότ έχει πολλούς χαρακτήρες γύρω του και σκέφτηκα για τον εαυτό μου ότι πρέπει να φτιάξω ένα, είναι ένα καλό έργο για να ξεκινήσω με τον προγραμματισμό, αν όχι τουλάχιστον τότε Μπορώ να το προγραμματίσω για να γελάει με τα αστεία μου.!

Τι / Ποιος είναι ο Ewon; Τι μπορεί να κάνει?

Έτσι, πριν ξεκινήσω να δουλεύω σε αυτό το έργο, έθεσα κάποιους βασικούς κανόνες που πρέπει να τηρούνται. Αυτό το έργο έπρεπε να είναι

• Εύκολο να το δοκιμάσουν όλοι
• Όχι μόνο για να είναι χαριτωμένο αλλά και χρήσιμο ώστε να μην καταλήξει σε ράφι
• Modular, ώστε να μπορείτε να συνεχίσετε να προσθέτετε νέες δυνατότητες.

Αφού έθεσα αυτόν τον κανόνα, αποφάσισα να χρησιμοποιήσω το SDK του Βοηθού Google. Αυτό το SDK παρέχει πολλές δυνατότητες που έψαχνα και αν βαριέστε το Ewon το χρησιμοποιείτε πάντα ως συσκευή Google Home και κάντε ό, τι κάνει ένα σπίτι Google.

Αυτό που θα κάνει ο Ewon είναι να προσθέσει έναν χαρακτήρα στον βοηθό Google. Αυτό δείχνει συναισθήματα και αντιδρά σε αυτά που λέει ο χρήστης. Τώρα δεν είναι μόνο η φωνή που ακούτε, αλλά μπορείτε επίσης να δείτε πώς να αντιδράσετε.

ΣΗΜΕΙΩΣΗ: Αυτό το εκπαιδευτικό είναι υπό ανάπτυξη. Σύντομα θα ανεβάσω όλα τα σχετικά αρχεία. Σας ευχαριστώ

Βήμα 1: Απαιτούμενα μέρη για το Ewon

ΗΛΕΚΤΡΟΝΙΚΑ ΕΙΔΗ

• Βατόμουρο PI
• Servo SG90 (x4)
• Servo MG995 - στάνταρ (x2)
• PCA9685 16-Channel Servo Driver
• Κάρτα ήχου USB
• Μικρόφωνο
• Ηχεία (Κάθε μικρό ηχείο θα κάνει, κάτι τέτοιο)
• Συνδετήρες κεφαλίδας αρσενικού και θηλυκού
• Breadboard
• Επόμενη οθόνη

ΣΤΕΓΑΝΟΙ ΚΑΙ ΡΟΥΛΕΜΑΝ

• M3*10mm (x10)
• M3*8mm (x10)
• M3 Παξιμάδια (x20)

• Ρουλεμάν

  • OD: 15mm ID: 6mm Πλάτος: 5mm (x2)
  • OD: 22mm ID: 8mm Πλάτος: 7mm (x2)

ΑΛΛΑ ΥΛΙΚΑ

• Αναμονή

  • 40mm (x4)
  • 30mm (x4)

ΕΡΓΑΛΕΙΑ

Τρισδιάστατος εκτυπωτής

Βήμα 2: Κατανόηση του Ewon και προγραμματισμός

Πριν ξεκινήσω με την πτυχή του προγραμματισμού, επιτρέψτε μου να εξηγήσω συνοπτικά το μπλοκ διάγραμμα των κυκλωμάτων του Ewon.

Το RPI (Raspberry pi) είναι ο εγκέφαλος του συστήματος. Το σερβο οδηγό που ελέγχεται από RPI οδηγεί το σερβο. Οθόνη που ελέγχεται από RPI με σειριακή επικοινωνία για την εμφάνιση συναισθημάτων και, τέλος, μικρόφωνο και ηχεία που χρησιμοποιούνται για την επικοινωνία με το Ewon. Τώρα που γνωρίζουμε τι υλικό κάνει τι ξεκινάμε να προγραμματίζουμε το Ewon.

Εγκατάσταση του SDK βοηθού Google

Επιτρέψτε μου να εξηγήσω τους δύο λόγους για τους οποίους σχεδίασα να χρησιμοποιήσω τον Βοηθό Google:

• Wantedθελα ο Ewon να μην είναι απλά ένα διασκεδαστικό ρομπότ αλλά και ένα χρήσιμο. Το SDK του Google Assistant διαθέτει ήδη έναν τόνο πόρων που μπορείτε να χρησιμοποιήσετε για να αυξήσετε τη λειτουργικότητα του Ewon.
• Μπορείτε επίσης να χρησιμοποιήσετε ενέργειες στο google και τη ροή διαλόγου για να δώσετε στη Ewon τη δυνατότητα να συνομιλεί με προκαθορισμένες απαντήσεις. Προς το παρόν, θα επικεντρωθούμε μόνο στο βασικό SDK.

Ας ξεκινήσουμε εγκαθιστώντας το SDK του βοηθού Google. Αυτό δεν πρέπει να είναι δύσκολο, καθώς υπάρχουν τόνοι πόρων που θα σας βοηθήσουν να ρυθμίσετε το SDK του Βοηθού Google σε RPI. Μπορείτε να ακολουθήσετε αυτό το σεμινάριο μαζί:

Σεμινάριο:

Μετά το τέλος της παραπάνω διαδικασίας, θα πρέπει να μπορείτε να κάνετε κλικ στο enter στο πληκτρολόγιο και να μιλήσετε με τον βοηθό. Αυτό αφορά την εγκατάσταση του SDK του Βοηθού Google.

Πώς να το ονομάσω; Ewon;

Γεια σου Google! Αυτό είναι που χρησιμοποιείται για να αρχίσει να μιλάει στον βοηθό google και δυστυχώς η google δεν επιτρέπει να χρησιμοποιηθεί άλλη προσαρμοσμένη λέξη αφύπνισης. Ας δούμε λοιπόν πώς μπορούμε να το αλλάξουμε έτσι ώστε να ενεργοποιείται ο βοηθός google όταν κάποιος καλεί τον Ewon.

Snowboy: μια εξαιρετικά προσαρμόσιμη μηχανή ανίχνευσης καυτών λέξεων που είναι ενσωματωμένη σε πραγματικό χρόνο, συμβατή με Raspberry Pi, (Ubuntu) Linux και Mac OS X.

Μια καυτή λέξη (επίσης γνωστή ως λέξη αφύπνισης ή λέξη ενεργοποίησης) είναι μια λέξη -κλειδί ή φράση που ο υπολογιστής ακούει συνεχώς ως σήμα για να ενεργοποιήσει άλλες ενέργειες.

Ας ξεκινήσουμε εγκαθιστώντας το Snowboy σε RPI. Θυμηθείτε να ενεργοποιήσετε το εικονικό περιβάλλον για να εγκαταστήσετε το Snowboy όπως κάνατε για να εγκαταστήσετε το Βοηθό SDK. Όλα όσα εγκαθιστούμε από εδώ και πέρα πρέπει να εγκατασταθούν στο εικονικό περιβάλλον. Η εγκατάσταση του Snowboy μπορεί να είναι λίγο δύσκολη, αλλά αυτός ο σύνδεσμος θα σας βοηθήσει να το εγκαταστήσετε χωρίς προβλήματα. Σύνδεσμος:

Ακολουθεί μια συνοπτική διαδικασία εγκατάστασης εάν ο παραπάνω σύνδεσμος μπερδευτεί ή αποτύχει η εγκατάσταση.

$ [sudo] apt-get install libatlas-base-dev swig $ [sudo] pip install pyaudio $ git clone https://github.com/Kitt-AI/snowboy $ cd snowboy/swig/Python3 $ make $ cd.. /.. $ python3 setup.py build $ [sudo] python setup.py install

Μόλις εγκατασταθεί, εκτελέστε το αρχείο επίδειξης [βρίσκεται στο φάκελο - snowboy/example/Python3/] για να δείτε αν όλα λειτουργούν τέλεια.

Σημείωση: μπορείτε εύκολα να αλλάξετε το όνομα του ρομπότ σας σε κάτι άλλο. Το μόνο που έχετε να κάνετε είναι να μεταβείτε στη διεύθυνση https://snowboy.kitt.ai/ και να εκπαιδεύσετε μια προσαρμοσμένη λέξη -κλειδί και στη συνέχεια να τοποθετήσετε αυτήν την καυτή λέξη στον ίδιο φάκελο με το ewon.pmdl.

Μπορεί ο Ewon να καταλάβει τα συναισθήματα;

Τώρα που ο Ewon έχει όνομα, θα χρησιμοποιήσω το Ewon αντί να το ονομάσω ρομπότ. Εντάξει, συναισθήματα, σύντομες απαντήσεις όχι, ο Ewon δεν μπορεί να καταλάβει τα συναισθήματα, οπότε αυτό που θα κάνουμε εδώ είναι να κάνει τον Ewon να εντοπίσει το συναίσθημα στην ομιλία μας χρησιμοποιώντας λέξεις -κλειδιά και στη συνέχεια να παίξει την αντίστοιχη έκφραση του προσώπου που σχετίζεται με αυτό.

Για να το πετύχω αυτό, αυτό που έχω κάνει είναι ένα απλό σενάριο ανάλυσης συναισθημάτων. Υπάρχουν 6 διαφορετικά τμήματα συναισθημάτων.

Ευτυχισμένος, θλιμμένος, θυμός, φόβος, αηδία και έκπληξη. Αυτές είναι οι κύριες κατηγορίες συναισθημάτων και καθένα από αυτά έχει μια λίστα με λέξεις -κλειδιά που σχετίζονται με το συναίσθημα. (για παράδειγμα καλό, ωραίο, ενθουσιασμένο, όλα υπόκεινται σε ευχάριστα συναισθήματα).

Έτσι, κάθε φορά που λέμε κάποια από τις λέξεις -κλειδιά στην τάξη συναισθημάτων, ενεργοποιείται το αντίστοιχο συναίσθημα. Όταν λέτε λοιπόν "Hey Ewon!" και περιμένετε να μιλήσει ο Ewon και συνεχίζω να λέω "Σήμερα είναι μια ωραία μέρα!", παίρνει τη λέξη -κλειδί "Ωραία" και ενεργοποιεί το αντίστοιχο συναίσθημα "Happy" που ενεργοποιεί την έκφραση του προσώπου για το Happy.

Αυτά είναι τα αυτιά στον Ewon;

Το επόμενο βήμα θα ήταν η χρήση του ενεργοποιημένου συναισθήματος για την εκτέλεση της αντίστοιχης έκφρασης του προσώπου. Με τον Ewon, η έκφραση του προσώπου σημειώνεται, αλλά μετακινεί το αυτί και το λαιμό του χρησιμοποιώντας σερβίς και αλλάζει την οθόνη για να αλλάζει τις κινήσεις των ματιών.

Πρώτον, τα servos, για να το εκτελέσετε είναι αρκετά εύκολο, μπορείτε να ακολουθήσετε αυτό το σεμινάριο για να ρυθμίσετε τη σερβο βιβλιοθήκη του Adafruit. Σύνδεσμος:

Στη συνέχεια, εκχωρούμε τη μέγιστη και την ελάχιστη τιμή για όλα τα servos. Αυτό γίνεται με τη χειροκίνητη μετακίνηση κάθε σερβο και τον έλεγχο των ορίων του. Μπορείτε να το κάνετε μόλις συναρμολογήσετε το Ewon.

Μάτια για τον Ewon

Για τα μάτια, χρησιμοποιώ μια οθόνη Nextion που έχει μια δέσμη εικόνων όπως παρακάτω.

Είναι μια ακολουθία εικόνων που σχεδίασα στο Photoshop, η οποία όταν παίζεται με τη σειρά δημιουργεί κινούμενα σχέδια. Μια παρόμοια ακολουθία δημιουργήθηκε για όλα τα συναισθήματα. Τώρα για να εμφανίσετε οποιοδήποτε συναίσθημα το μόνο που έχετε να κάνετε είναι να καλέσετε τη συγκεκριμένη ακολουθία εικόνων που αποτελεί την κινούμενη εικόνα. Τα αρχεία βρίσκονται μέσα στο φάκελο "Εμφάνιση αρχείων", στον παρακάτω σύνδεσμο λήψης.

Τελικά

Συνδυάζοντας τα πάντα όταν το ευτυχισμένο συναίσθημα ενεργοποιείται από το σενάριο, καλείται η λειτουργία ευτυχίας και το σερβο μετακινείται στις ήδη καθορισμένες γωνίες και η οθόνη παίζει το κινούμενο σχέδιο ευτυχισμένων ματιών. Έτσι, επιτυγχάνουμε την "κατανόηση" των ανθρώπινων συναισθημάτων. Αυτή η μέθοδος δεν είναι η καλύτερη και υπάρχουν φορές που οι λέξεις -κλειδιά δεν εμπίπτουν στο ίδιο συναίσθημα με το προκαθορισμένο, αλλά προς το παρόν, αυτό λειτουργεί αρκετά καλά και μπορείτε πάντα να προσθέσετε περισσότερες λέξεις -κλειδιά για να αυξήσετε την ακρίβεια της ανίχνευσης. Επιπλέον, αυτό μπορεί να αντικατασταθεί από ένα πολύ πιο εκπαιδευμένο μοντέλο ανάλυσης συναισθημάτων όπως το μοντέλο ανάλυσης Paralleldots Emotion για να έχετε καλύτερα αποτελέσματα. Αλλά όταν το δοκίμασα υπήρχαν πολλές καθυστερήσεις που θα έκαναν τον Ewon να αντιδράσει πιο αργά. Maybeσως η έκδοση 2.0 Ewon να έχει κάτι τέτοιο.

Αυτός είναι ο ΣΥΝΔΕΣΜΟΣ για όλα τα αρχεία που απαιτούνται για την εκτέλεση του EWON. Κατεβάστε το αρχείο και ακολουθήστε τα παρακάτω βήματα:

• Αποσυμπιέστε το αρχείο τοποθετήστε αυτόν τον φάκελο (Ewon) στο σπίτι/pi/
• Προσθέστε αναγνωριστικό συσκευής και αναγνωριστικό μοντέλου στο αρχείο main.py. Το αναγνωριστικό λαμβάνεται κατά την εγκατάσταση του βοηθού Google SDK.
• Ανοίξτε τη γραμμή εντολών και εκτελέστε την πηγή των ακόλουθων εντολών:

source env/bin/activpython main.py models/Ewon.pmdl

Βήμα 3: Εκτύπωση του σώματος

Μπορείτε να βρείτε τα τρισδιάστατα αρχεία εδώ:

Τώρα που είμαστε όλοι έτοιμοι με τον εγκέφαλο του Ewon, ήρθε η ώρα να εκτυπώσει το σώμα του. Υπάρχουν 18 μοναδικά μέρη για εκτύπωση, τα περισσότερα από αυτά είναι αρκετά μικρά, με συνολικό χρόνο εκτύπωσης περίπου 15-20 ώρες. (εξαιρουμένων των περιπτώσεων).

Χρησιμοποίησα λευκό PLA με 50% γέμιση και ύψος στρώματος 2mm. Μπορείτε να αλλάξετε αυτές τις τιμές αν χρειαστεί θα πρέπει να λειτουργεί καλά, αλλά βεβαιωθείτε ότι τα μικρά μέρη έχουν 100% πλήρωση, για δύναμη.

Αφού εκτυπωθούν τα αρχεία, μπορείτε να χρησιμοποιήσετε γυαλόχαρτο ή ένα αρχείο χειρός και να καθαρίσετε τα τυπωμένα μέρη, ειδικά τους συνδέσμους όπου τα μέρη ολισθαίνουν μεταξύ τους. Η εξομάλυνση των αρμών θα κάνει τον μηχανισμό ομαλό και θα παρέχει λιγότερη αντίσταση στο σερβο. Αυτή η διαδικασία μπορεί να διαρκέσει όσο θέλετε καθώς κάποιος μπορεί να χαθεί προσπαθώντας να κάνει τα τυπωμένα μέρη να φαίνονται τέλεια.

Επιπλέον σημειώσεις: Μπορείτε να τρυπήσετε ξανά τις τρύπες στα τρισδιάστατα τυπωμένα μέρη χρησιμοποιώντας ένα τρυπάνι 3 χιλιοστών. Όλες οι τρύπες έχουν τις ίδιες διαστάσεις. Αυτό θα διευκολύνει ενώ βιδώνετε τα παξιμάδια αργότερα στη διάταξη.

Βήμα 4: Τοποθέτηση του Ewon μαζί

Πριν ξεκινήσουμε με τη συναρμολόγηση, χρειάζονται λίγες τροποποιήσεις στα τυπωμένα μέρη. Τα αρχεία που ονομάζονται servo link πρέπει να είναι εξοπλισμένα με servo links που συνοδεύουν το servo, αυτό κάνει τους τρισδιάστατους εκτυπωμένους συνδέσμους να συνδέονται καλά με το servo.

Η συναρμολόγηση του Ewon πρέπει να είναι ευθεία. Σας έχω επισυνάψει εικόνες για να τις ακολουθήσετε.

Επιπλέον σημειώσεις: Βεβαιωθείτε ότι δεν σφίγγετε υπερβολικά κανένα μπουλόνι ή βίδα γιατί μπορεί να σπάσει και να φορέσετε τα τυπωμένα μέρη.

Βήμα 5: Καλωδίωση του Ewon

Είμαστε στο τελευταίο βήμα για να κάνουμε τον Ewon να ζωντανέψει. Ακολουθεί το διάγραμμα καλωδίωσης των εξαρτημάτων μαζί με εικόνες που δείχνουν τη σύνδεση.

• Το πρόγραμμα οδήγησης σερβο είναι συνδεδεμένο με τις ακίδες I2C που είναι SDA και SCL του RPI.
• Η οθόνη είναι συνδεδεμένη με τις ακίδες RX και TX του RPI
• Το μικρόφωνο και τα ηχεία είναι συνδεδεμένα στην κάρτα ήχου USB η οποία είναι συνδεδεμένη στο RPI μέσω της θύρας USB.

Προειδοποίηση: Προσέξτε να βραχυκυκλώσετε το RPI. Ελέγξτε όλες τις συνδέσεις σας δύο φορές και βεβαιωθείτε ότι δεν έχετε κάνει λάθη. Όλα τα αξεσουάρ που είναι ηχείο, σερβο οδήγησης και οθόνη τροφοδοτούνται από ξεχωριστή μπαταρία 5v και δεν χρησιμοποιούν τη γραμμή Raspberry Pi 5v. Το Raspberry pi χρησιμοποιείται μόνο για την αποστολή δεδομένων στα αξεσουάρ αλλά όχι για την τροφοδοσία τους.

Βήμα 6: Γεια σου Ewon! Μπορείς να με ακούσεις?

Έτσι, έχουμε συνδέσει όλα τα αξεσουάρ μας και έχουμε εγκαταστήσει όλες τις απαραίτητες βιβλιοθήκες. Μπορείτε να ξεκινήσετε το Ewon εκτελώντας το σενάριο κελύφους χρησιμοποιώντας./run Ewon.sh Αλλά τι είναι αυτό το σενάριο.sh; Η Ewon χρησιμοποιεί πολλές διαφορετικές βιβλιοθήκες με διαφορετικά σενάρια (Google SDK, Snowboy, Adafruit, κ.λπ.). Όλα τα σενάρια τοποθετούνται στους αντίστοιχους φακέλους τους. (Μπορούμε να μετακινήσουμε όλα τα αρχεία στην ίδια διαδρομή και να έχουμε όλα τα σενάρια οργανωμένα, αλλά προς το παρόν, μερικές από τις βιβλιοθήκες δεν επιτρέπουν τη μετακίνηση των αρχείων προέλευσης, οπότε, προς το παρόν, θα τα διατηρήσουμε στις αντίστοιχες θέσεις τους).sh είναι σενάρια κελύφους που εκτελούν όλα αυτά τα σενάρια ένα προς ένα από κάθε τοποθεσία, ώστε να μην χρειάζεται να μεταβείτε χειροκίνητα σε κάθε τοποθεσία και να εκτελέσετε τα σενάρια. Αυτό διευκολύνει τον χειρισμό όλων των εντολών.

Μόλις εκτελέσετε το σενάριο κέλυφος, πείτε "Hey Ewon!" και θα πρέπει να δείτε τον Ewon να αρχίζει να σας ακούει. Τώρα μπορείτε να χρησιμοποιήσετε το Ewon ως βοηθό Google και να του μιλήσετε και μπορείτε να δείτε τον Ewon να αλλάζει εκφράσεις από αυτό που λέτε. Δοκιμάστε κάτι σαν «Hey Ewon! Είμαι λυπημένος σήμερα «και μπορείτε να δείτε τον Ewon να είναι λυπημένος μαζί σας. Ζητήστε από τον Ewon ένα αστείο και δείτε το να γελάει με το αστείο.

Βήμα 7: Τι ακολουθεί;

Ο Ewon δεν σταματά εδώ. Ο Ewon έχει τώρα έναν τρόπο ανίχνευσης και εμφάνισης συναισθημάτων, αλλά μπορούμε να τον κάνουμε να κάνει πολύ περισσότερα. Αυτό είναι μόνο η αρχή.

Στην επόμενη ενημέρωση, θα εργαστούμε για το πώς να το φτιάξουμε

• Ο Ewon ανιχνεύει πρόσωπα και παρακολουθεί το πρόσωπό σας και κινείται μαζί με το πρόσωπό σας.
• Θα προσθέσουμε ηχητικά εφέ για να δώσουμε επιπλέον βάθος στον χαρακτήρα.
• Προσθέστε κινητικότητα έτσι ώστε η Ewon να μπορεί να κινηθεί μαζί σας.

Σημείωση: Λόγω της τρέχουσας κατάστασης, είναι πολύ δύσκολο να προμηθευτείτε μέρη για το έργο. Αυτό με έκανε να αλλάξω σχεδιασμό και λειτουργικότητα λαμβάνοντας υπόψη τις σκέψεις που είχα στο απόθεμά μου. Αλλά μόλις πιάσω τα χέρια μου σε όλα τα μέρη, ενημερώστε το παραπάνω έργο.

Ενημερώσεις:

• Έκανε κάποιες αλλαγές στον κώδικα, αφαιρέθηκε το σενάριο κελύφους.
• Προστέθηκε ένα ορθογώνιο σώμα για το EWON.