Personal English Trainer - AI Voice Assistant: 15 Βήματα

2024 Συγγραφέας: John Day | [email protected]. Τελευταία τροποποίηση: 2024-01-30 08:35

Αυτό το έργο θα βοηθήσει τους μαθητές που προετοιμάζονται για οποιαδήποτε γλωσσική εξέταση, όπου μπορούν να εκπαιδευτούν αλληλεπιδρώντας με το Snips AI.

Βήμα 1: Ιστορία

Γιατί το χτίσαμε αυτό;

Από την προσωπική μου εμπειρία, έχω δει πολλούς ανθρώπους να προετοιμάζονται για τις διάφορες γλωσσικές εξετάσεις όπως GRE, TOEFL, IELTS. Χρειάζονται ένα άτομο που θα τους βοηθήσει να απομνημονεύσουν και να κατανοήσουν τις λέξεις. Γενικά, όταν ένα άτομο προετοιμάζεται για τέτοιες εξετάσεις, χρειάζεται ένα άτομο να ελέγξει και να διορθώσει εάν κάνει λάθος. Με αυτήν τη λύση, μπορούμε να μειώσουμε το ανθρώπινο δυναμικό χρησιμοποιώντας ένα φωνητικό βοηθό.

Βήμα 2: Δημιουργία υλικού

Πρώτα απ 'όλα, θα ήθελα να ευχαριστήσω το SNIPS και το SEEED για την υποστήριξη αυτού του έργου με το εκπληκτικό Snips Voice Interaction Development Kit (Base Kit), ένιωσα πραγματικά κατατοπιστική χρησιμοποιώντας αυτόν τον πίνακα και σε θέση να επιτύχω μερικά από τα πολύπλοκα έργα ενσωματωμένα σε ένα PCB.

Μπορείτε να αγοράσετε το κιτ βάσης Snips Voice Interaction για $ 115 και το δορυφορικό κιτ Snips Voice Interaction για $ 85

Βήμα 3: Ξεκινώντας με το SNIPS

Πριν ξεκινήσετε, ας εξετάσουμε τι θα χρειαστείτε.

• Raspberry Pi 3B/B+ (Συνιστάται) ή Pi 2 Model B (Υποστηρίζεται).
• Καλώδιο Micro-USB & τροφοδοτικό Micro-USB για Raspberry Pi.
• Κάρτα Micro SD (τουλάχιστον 8 GB) - Απαιτείται ένα λειτουργικό σύστημα για να ξεκινήσετε. Μπορείτε να κάνετε λήψη του Raspbian Stretch και να χρησιμοποιήσετε τους οδηγούς για Mac OS, Linux και Windows Στην ιστοσελίδα Raspberry Pi.
• Ένα πληκτρολόγιο και ποντίκι USB και μια εξωτερική οθόνη HDMI - συνιστούμε επίσης να έχετε στη διάθεσή σας ένα πληκτρολόγιο και ποντίκι USB καθώς και μια οθόνη HDMI.
• Σύνδεση στο Διαδίκτυο (Ethernet ή WiFi)

Κιτ βάσης Snips Voice Interaction

Τα κιτ ανάπτυξης Snips Voice Interaction εξουσιοδοτούν τους χρήστες να ξεκινήσουν γρήγορα την ανάπτυξη φωνητικών διεπαφών και να ενσωματώσουν εύκολα την πλατφόρμα φωνής Snips AI με υλικό. Τα snips εκτελούνται στη συσκευή, πράγμα που σημαίνει ότι όλες οι φωνητικές εντολές και τα δεδομένα σας υποβάλλονται σε επεξεργασία τοπικά αντί να αποστέλλονται στο cloud. Αυτή η επεξεργασία στη συσκευή οδηγεί σε έναν απόλυτα ασφαλή βοηθό φωνητικού εκτός σύνδεσης που διατηρεί τα προσωπικά σας δεδομένα ιδιωτικά, όπως θα έπρεπε.

Το κιτ βάσης αλληλεπίδρασης φωνής σας επιτρέπει να εκτελέσετε ολόκληρη την πλατφόρμα φωνής Snips AI. Τροφοδοτείται από ένα Raspberry Pi 3 Model B+ και το ReSpeaker 2-Mics Pi HAT, είναι ικανό να λειτουργήσει ως το έξυπνο ηχείο του σπιτιού σας. Μαζί με το κιτ έρχεται και ένα ηχείο, ένας Grove - Temperature & Humidity Sensor (SHT31), ένα Grove - Relay και ένα pegboard για να το κρεμάσετε σε έναν τοίχο ή να δημιουργήσετε ένα έξυπνο σταντ.

Αλλά δεν είναι μόνο αυτό! Το κιτ δορυφορικής αλληλεπίδρασης φωνής θα επεκτείνει τον σταθμό βάσης σας ώστε να φτάνει σε κάθε δωμάτιο του σπιτιού σας και θα σας επιτρέπει να αλληλεπιδράτε με το υλικό με βάση το πού εκδίδετε τις εντολές σας!

Αυτό το κιτ περιέχει έναν πίνακα Raspberry Pi3 B+, ReSpeaker 2 -Mics Pi HAT, Grove - Relay, Grove - Temperature & Humidity Sensor (SHT31), Speaker 6 Ohm 2W, MicroSD Card, Power Adapter with Micro USB connector, Grove cable x 2, Acrylic Base πίνακας.

Βήματα συναρμολόγησης: (Περιεχόμενο από SNIPS) Η παρακάτω εικόνα είναι η επισκόπηση των τμημάτων συναρμολόγησης.

Εδώ τα μέρη συναρμολόγησης είναι τοποθετημένα στον πίνακα βάσης.

Στη συνέχεια, όλα τα ηλεκτρονικά μέρη είναι τοποθετημένα στον πίνακα.

Στη συνέχεια, τοποθετήστε το ακρυλικό προστατευτικό κάλυμμα στην κορυφή του Grove -Relay.

Αυτά τα 2 μέρη χρησιμοποιούνται για να μετατρέψουν το κιτ σε βάση τραπεζιού.

Τέλος, είστε έτοιμοι να παίξετε με το Snips.

Το κιτ παρέχει δύο τρόπους τοποθέτησης. Μπορεί είτε να τοποθετηθεί σε οριζόντια επιφάνεια σαν βάση είτε να κρεμαστεί σε τοίχο χρησιμοποιώντας σύρματα ή σπείρωμα. Να είστε προσεκτικοί με το ρελέ όταν το κιτ είναι ενεργοποιημένο, καθώς η τάση λειτουργίας θα είναι υψηλή.

ΣΗΜΕΙΩΣΗ: Έχουμε επίσης ένα δορυφορικό κιτ Snips Voice Interaction το οποίο έχει μηδέν Raspberry Pi στη θέση του Raspberry Pi 3B+

Βήμα 4: Διασύνδεση με Snips AI (Basic Project)

• Τροφοδοτήστε το κιτ με τον προεπιλεγμένο προσαρμογέα ισχύος στο κιτ ή χρησιμοποιήστε έναν προσαρμογέα 5V-2A DC με υποδοχή Micro USB.
• Το επόμενο βήμα είναι η εγκατάσταση του βοηθού Snips στο Raspberry Pi. Για να εξοικονομήσετε χρόνο ρύθμισης, η κάρτα MicroSD στο κιτ έχει αναβοσβήνει με την πλήρη λειτουργική εικόνα του συστήματος, πράγμα που σημαίνει ότι ο βοηθός Snips είναι έτοιμος για τις λέξεις ενεργοποίησης.
• Σας προτείνουμε να μελετήσετε τον οδηγό εγκατάστασης βήμα προς βήμα, επισκεπτόμενοι τη διεύθυνση: https://docs.snips.ai/getting-started/quick-start… και να μάθετε το εργαλείο sam στη γραμμή εντολών.
• Ενεργοποιήστε τον βοηθό λέγοντας "Hey-snips" και ακολουθήστε την εντολή:

Μπορείτε να βρείτε το βίντεο του παραδείγματος που είναι προεγκατεστημένο στο βασικό κιτ Snips Voice Interaction παρακάτω.

Βήμα 5: Διασύνδεση με Snips AI (Project AI)

Έτσι λειτουργεί έτσι. Πρώτον, χρησιμοποιούμε το hotword για να ξεκινήσουμε την αναγνώριση Snips. Κατανοεί την πρόταση χρησιμοποιώντας το Snips NLU και καθορίζει την πρόθεση. Στη συνέχεια, χρησιμοποιώντας την πρόθεση, εξαγάγετε τις υποδοχές αντίστοιχα. Με τον κωδικό δράσης, προγραμματίζουμε την απόκριση AI με αντίστοιχο στις υποδοχές.

Βήμα 6: Δημιουργία εφαρμογής και προθέσεων

• Δημιουργήστε έναν Βοηθό. Στην περίπτωσή μου, είχα δημιουργήσει έναν βοηθό με το όνομα JARVIS και με ένα hotword JARVIS.
• Δημιουργήστε μια προσαρμοσμένη εφαρμογή ή για αρχάριους, χρησιμοποιήστε την εφαρμογή από τη βιβλιοθήκη.
• Είχα δημιουργήσει μια εφαρμογή με το όνομα Λέξεις
• Δημιουργήστε μια πρόθεση και ξεκινήστε την εκπαίδευση της τεχνητής νοημοσύνης. Αυτό παίζει σημαντικό ρόλο στο να γίνει το AI σας ισχυρό. Εκπαιδεύστε το με όλες τις πιθανές εισόδους.
• Δημιουργήστε μια υποδοχή για να προσδιορίσετε τις λέξεις. Τοποθετήστε την υποδοχή στην αναμενόμενη φράση της πρότασης. Για το παράδειγμά μου, δεδομένη λέξη είναι το όνομα της υποδοχής και επισημαίνεται με μπλε χρώμα.
• Μόλις ολοκληρωθεί, το προσαρμοσμένο ASR σας θα είναι έτοιμο. Δοκιμάστε με τις εισόδους. Μπορούμε να βρούμε την απάντηση στα δεξιά σας, κάτω από τον βοηθό. Αυτό σας δίνει την εξαγωγή της πρώτης αξίας, του ονόματος πρόθεσης και της υποδοχής.
• Ορίστε υποδοχές με περισσότερα παραδείγματα όπως δίνονται παρακάτω
• Τέλος, αναπτύξτε τον βοηθό σας για να ζήσετε την εξατομικευμένη τεχνητή νοημοσύνη σας.

Βήμα 7: Κάψτε το Raspbian στην κάρτα SD

Το Raspbian είναι η διανομή επιλογής Linux που λειτουργεί στο Raspberry Pi. Σε αυτόν τον οδηγό, θα χρησιμοποιήσουμε την έκδοση Lite, αλλά η έκδοση Desktop (η οποία συνοδεύεται από γραφικό περιβάλλον) μπορεί επίσης να χρησιμοποιηθεί.

• Κατεβάστε το Etcher και εγκαταστήστε το.
• Συνδέστε μια συσκευή ανάγνωσης καρτών SD με την κάρτα SD που βρίσκεται μέσα.
• Ανοίξτε το Etcher και επιλέξτε από το σκληρό σας δίσκο το αρχείο Raspberry Pi.img ή.zip που θέλετε να γράψετε στην κάρτα SD
• Επιλέξτε την κάρτα SD στην οποία θέλετε να γράψετε την εικόνα σας.
• Ελέγξτε τις επιλογές σας και κάντε κλικ στο "Flash!" για να ξεκινήσετε την εγγραφή δεδομένων στην κάρτα SD

Συνδέστε τη συσκευή στο δίκτυό σας

• Ενεργοποιήστε την πρόσβαση SSH προσθέτοντας κενό αρχείο ssh, τοποθετημένο ξανά στη ρίζα του τόμου εκκίνησης στην κάρτα SD σας.
• Τοποθετήστε την κάρτα SD στο Raspberry Pi. Θα ξεκινήσει σε περίπου 20 δευτερόλεπτα. Θα πρέπει τώρα να έχετε πρόσβαση SSH στο Raspberry Pi. Από προεπιλογή, το όνομα κεντρικού υπολογιστή του θα είναι raspberrypi.local. Στον υπολογιστή σας, ανοίξτε ένα παράθυρο τερματικού και πληκτρολογήστε τα εξής:

ssh [email protected]

Ο προεπιλεγμένος κωδικός πρόσβασης είναι βατόμουρο

Βήμα 8: Εγκαταστήστε την πλατφόρμα Snips

Αν δεν το έχετε κάνει ήδη, εγκαταστήστε τη διεπαφή γραμμής εντολών Sam στον υπολογιστή σας. Ανοίξτε ένα παράθυρο τερματικού και εισαγάγετε:

sudo npm install -g snips -samor npm install -g snips -sam // Windows

Βρείτε το Raspberry Pi στο δίκτυο εκτελώντας:

συσκευές sam

Στη συνέχεια, δημιουργήστε μια σύνδεση με τη συσκευή. Θα σας ζητηθεί το όνομα χρήστη και ο κωδικός πρόσβασης της συσκευής (η προεπιλογή είναι pi και βατόμουρο, αντίστοιχα):

sam connect

Είμαστε τώρα έτοιμοι να εγκαταστήσουμε την πλατφόρμα Snips στο Raspberry Pi. Εισαγάγετε την εντολή:

sam init

Βήμα 9: Διαμορφώστε το υλικό

Ο Sam παρέχει μερικές εντολές για εύκολη ρύθμιση και διαμόρφωση στοιχείων υλικού. Σε αυτήν την ενότητα, θα δημιουργήσουμε ένα ηχείο και ένα μικρόφωνο. Ανάλογα με τη ρύθμισή σας, πρέπει να γίνει κάποια προσαρμοσμένη διαμόρφωση.

ήχο ρύθμισης sam

Δοκιμάστε το ηχείο

Για να ελέγξετε ότι το ηχείο λειτουργεί, εκτελέστε

δοκιμαστικό ηχείο sam

Εάν όλα λειτουργούν καλά, θα πρέπει να ακούσετε στο ηχείο σας μια φωνή που λέει μερικές λέξεις. Διαμόρφωση μικροφώνου Μπορείτε να ελέγξετε ότι λειτουργεί το μικρόφωνό σας:

sam μικρόφωνο δοκιμής

Αν υποθέσουμε ότι έχετε ένα ηχείο, εάν μπορείτε να ακούσετε καθαρά αυτό που μόλις είπατε, μπορείτε να προχωρήσετε χωρίς περαιτέρω διαμόρφωση μικροφώνου.

Μόλις είστε ικανοποιημένοι ότι η εγκατάσταση υλικού λειτουργεί, είστε έτοιμοι να προχωρήσετε στο επόμενο βήμα, όπου θα αναπτύξετε τον πρώτο σας βοηθό.

Βήμα 10: Εισαγωγή μοντέλου AI από την κονσόλα

Αφού δημιουργήσετε τον βοηθό σας από τα προηγούμενα βήματα, συνδεθείτε στην κονσόλα από το παράθυρο τερματικού εκτελώντας:

sam login

Θα σας ζητηθεί να εισαγάγετε τα διαπιστευτήριά σας στο Snips Console.

Στη συνέχεια, εγκαταστήστε τον βοηθό:

sam βοηθός εγκατάστασης

Εάν έχετε δημιουργήσει πολλούς βοηθούς στην κονσόλα, θα σας ζητηθεί να επιλέξετε ποιον θα εγκαταστήσετε από μια λίστα.

Βήμα 11: Κώδικας χειριστή & δράσης

Για να ανταποκριθεί το Raspberry Pi, θα πρέπει να γράψουμε έναν κωδικό χειριστή. Αυτός είναι ένας κώδικας που εκτελείται όταν συμβαίνει ένα συγκεκριμένο συμβάν στην πλατφόρμα Snips, όπως όταν εντοπίστηκε πρόθεση.

Έχετε διάφορες μεθόδους για να δημιουργήσετε το Handler ανάλογα με τη λειτουργία.

Δημιουργήστε έναν φάκελο στον υπολογιστή σας στον οποίο θέλετε να αποθηκεύσετε τον κωδικό χειριστή. Από το παράθυρο τερματικού, αλλάξτε σε αυτόν τον κατάλογο και εισαγάγετε:

npm init

Αυτό θα δημιουργήσει ένα αρχείο που ονομάζεται package.json το οποίο περιέχει την περιγραφή του έργου σας, τις εξαρτήσεις του και πολλά άλλα. Στη συνέχεια, προσθέστε την εξάρτηση από το πακέτο mqtt:

npm εγκατάσταση mqtt -αποθήκευση

Τώρα, δημιουργήστε ένα αρχείο που ονομάζεται index.js και επικολλήστε τον ακόλουθο κώδικα, αντικαθιστώντας τη μεταβλητή ονόματος κεντρικού υπολογιστή με το όνομα κεντρικού υπολογιστή του Raspberry Pi (εάν διαφέρει από το προεπιλεγμένο raspberrypi):

var mqtt = απαιτούν ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var client = mqtt.connect (όνομα κεντρικού υπολογιστή); client.on ('Connect', function () {console.log ("[Snips Log] Connected to MQTT broker" + hostname); client.subscribe ('hermes/#');}); client.on ('μήνυμα', λειτουργία (θέμα, μήνυμα) {if (topic === "hermes/asr/startListening") {onListeningStateChanged (true);} else if (topic === "hermes/asr/stopListening") {onListeningStateChanged (false);} αλλιώς αν (topic.match (/hermes \/hotword / /.+ \/found/g)! == null) {onHotwordDetected ()} else if (topic.match (/hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (μήνυμα));}}); λειτουργία onIntentDetected (πρόθεση) {console.log ("[Snips Log] Εντοπίστηκε η πρόθεση:" + JSON.stringify (πρόθεση)); } function onHotwordDetected () {console.log ("[Snips Log] Hotword εντοπίστηκε"); } λειτουργία onListeningStateChanged (ακρόαση) {console.log ("[Snips Log]" + (ακρόαση; "Έναρξη": "Διακοπή") + "ακρόαση"); }

Εκτελέστε αυτόν τον κώδικα χρησιμοποιώντας το Node:

κόμβος index.js

Θα πρέπει να δείτε ένα μήνυμα επιτυχούς σύνδεσης με τον μεσίτη Snips MQTT. Όπως και πριν, πραγματοποιήστε φωνητική αλληλεπίδραση με το Raspberry Pi:

Hey Snips, τι καιρό έχει στο Τσενάι

Θα πρέπει να δείτε την ενημέρωση των αρχείων καταγραφής:

[Snips Log] Σύνδεση με μεσίτη MQTT mqtt: //raspberrypi.local

[Snips Log] Εντοπίστηκε η λέξη-κλειδί [Log Snips] Ξεκινήστε την ακρόαση [Snips Log] Διακοπή ακρόασης [Snips Log] Εντοπίστηκε η πρόθεση: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" προεπιλογή "," εισαγωγή ":" τι καιρό έχει στο Τσενάι "," πρόθεση ": {" purposeName ":" searchWeatherForecast "," πιθανότητα ": 0.73845243}," slots ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," οντότητα ":" localality ", "slotName": "forecast_locality"}]}

Βήμα 12: Αντιμετώπιση προβλημάτων

Διαγράψτε τον προηγούμενο βοηθό εάν υπάρχει

$ sudo rm -rf/usr/share/snips/βοηθός/

Για να αλλάξετε τον κατάλογο στον Βοηθό

cd/var/lib/snips/skills/

Κλωνοποίηση του περιεχομένου του repo σε τοπικό

git κλώνος

Για να εκτελέσετε το σενάριο setup.sh

./setup.sh

Ενεργοποιήστε το εικονικό περιβάλλον

πηγή venv/bin/activ

Εκτελέστε τον κωδικό ενέργειας

./action-.py

Για να δώσετε άδεια στο Python Script

chmod +x action-.py

Βήμα 13: Περίβλημα

• Είχα χρησιμοποιήσει περίβλημα με βαθμολογία IP για αυτό το έργο
• Αρχικά, έκανα τις απαραίτητες τρύπες για να τοποθετήσω το κύκλωμα και τις υποδοχές για καλώδιο τροφοδοσίας και καλώδιο HDMI.
• Στη συνέχεια, τοποθέτησα όλο το Raspberry Pi μέσα στο περίβλημα και το βίδωσα σταθερά.
• Έκανα ένα μικρό άνοιγμα για το ηχείο και το μικρόφωνο και το κάλυψα χρησιμοποιώντας ένα μικρό κομμάτι ακρυλικού φύλλου.
• Συνδέστε σταθερά το ηχείο στο καπέλο ReSpeaker.
• Τέλος, όλη η βίδα είναι σταθερά τοποθετημένη και το καλώδιο τροφοδοσίας εισάγεται μέσω μιας υποδοχής.
• Έτσι φαίνεται τελικά η τεχνητή νοημοσύνη: D

Βήμα 14: Λειτουργία του AI

Μπορείτε να βρείτε τα δεδομένα που παρακολουθούνται χρησιμοποιώντας το Snips-watch

Τώρα είναι ώρα προβολής. Ξεκίνησα να φτιάχνω με απλούς χαιρετισμούς AI. Ρίξτε μια ματιά στη λειτουργία του.

Το Trainer AI έχει προγραμματιστεί για περιορισμένες λέξεις. Αυτό μπορεί να επεκταθεί με μικρές τροποποιήσεις. Αυτό βοηθά τους μαθητές να απομνημονεύσουν το νόημα πιο γρήγορα από την παραδοσιακή μέθοδο.

Ευγενική προσοχή: Αυτό το έργο έχει εκπαιδευτεί για 25 λέξεις περίπου. Μπορεί να επεκταθεί περαιτέρω κάνοντας μικρές τροποποιήσεις στον κώδικα δράσης.

Μπορείτε να βρείτε τα σενάρια δράσης στο αποθετήριο Github που επισυνάπτεται.

Project Repo for Greetings AI-https://github.com/Rahul24-06/Greetings_Assistant-TTS

Project Repo for Trainer AI-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

Σύνδεσμος προς την εφαρμογή μου:

Ολόκληρη η εγκατάσταση κοστίζει περίπου $ 115 τα οποία μπορείτε να αγοράσετε από το SNIPS και αυτή η λύση είναι πολύ φθηνή και αποτελεσματική σε σύγκριση με τις παραδοσιακές μεθόδους. Περίπου περισσότερες από 100, 000 δοκιμές έγιναν στην Ινδία και αυτό το προϊόν θα είναι το καλύτερο συμπλήρωμα για όσους λαμβάνουν GRE.

Δώστε μπράβο αν πραγματικά σας βοήθησε και ακολουθήστε το κανάλι μου για ενδιαφέροντα έργα.:) Κοινοποιήστε αυτό το βίντεο αν σας αρέσει. Χαίρομαι που εγγραφείτε: https://console.snips.ai/store/en/skill_xBKlxnE5K… Ευχαριστώ για την ανάγνωση!