STEM - Έλεγχος φωνής και εικόνας: 13 βήματα

2024 Συγγραφέας: John Day | [email protected]. Τελευταία τροποποίηση: 2024-01-30 08:37

Τα τελευταία χρόνια έχει γίνει όλο και πιο εύκολο να δημιουργηθεί κάτι με αναγνώριση φωνής ή εικόνας. Και οι δύο χρησιμοποιούνται όλο και πιο συχνά στις μέρες μας. Και αυτά είναι δημοφιλή θέματα σε έργα DIY. Τις περισσότερες φορές δημιουργήθηκε με το λογισμικό/API από μία από τις ακόλουθες εταιρείες:

• Google Voice.
• Amazon Alexa.
• Γνωστικές υπηρεσίες Microsoft.

Υπάρχουν ακόμη και μερικά κιτ DIY, όπως το Google AIY Voice Kit για υποστήριξη χομπίστες. Τα περισσότερα από αυτά τα προϊόντα χρησιμοποιούν Raspberry Pi ή παρόμοιο πίνακα. Δυστυχώς, αυτό δεν είναι κατάλληλο για όσους δεν ξέρουν πώς να χειρίζονται μια γλώσσα προγραμματισμού, όπως η Python.

Αυτό το εκπαιδευτικό θέμα αφορά την αναγνώριση φωνής και το OCR εικόνας, χωρίς καμία γνώση γλώσσας προγραμματισμού. Ωστόσο, η λογική σκέψη παραμένει απαίτηση. Με αυτό τον τρόπο χρησιμοποιείται το προϊόν Makeblock Neuron, σε συνδυασμό με περιβάλλον προγραμματισμού με βάση τη ροή.

Αυτό το προϊόν Neuron ξεκίνησε ως έργο Kickstarter το 2017. Είναι μια ηλεκτρονική πλατφόρμα οικοδομικών μπλοκ που χρησιμοποιεί όλους τους τύπους ηλεκτρονικών «μπλοκ» που μπορούν να συνδεθούν με μαγνητικούς συνδετήρες. Και βασικά εννοείται ως προϊόν STEM (Επιστήμη, Τεχνολογία, Μηχανική και Μαθηματικά). Συνεπώς, αυτό το προϊόν επικεντρώνεται στη λογική σκέψη και (μάθετε) στον προγραμματισμό.

Υπάρχουν περίπου 30 διαφορετικοί τύποι μπλοκ νευρώνων. Όπως διαφορετικοί τύποι πομπών και δεκτών, κουμπιά, LED, αισθητήρες και κινητήρες. Τα περισσότερα μπλοκ επικοινωνούν μόνο μεταξύ τους. Αλλά ένα από τα μπλοκ, το μπλοκ WiFi, μπορεί να συνδεθεί στο διαδίκτυο. Αυτό καθιστά δυνατή την πρόσβαση σε εφαρμογές διαδικτύου, όπως οι Γνωστικές Υπηρεσίες της Microsoft.

Τα πρώτα βήματα αυτού του Instructable ξεκινούν με μια σύντομη εισαγωγή σχετικά με το προϊόν Neuron και τον τρόπο προγραμματισμού τους. Αυτό περιλαμβάνει προγραμματισμό ροής και ορισμένα από τα διαθέσιμα ηλεκτρονικά εξαρτήματα. Ακολουθούν ορισμένα παραδείγματα με όραση και αναγνώριση φωνής. Και τέλος ένα μικρό ρομπότ χελώνας. Το οποίο μπορεί να ελεγχθεί εξ αποστάσεως μέσω χειριστηρίου. Είναι δυνατή η χρήση φωνητικής αναγνώρισης με αυτό το ρομπότ. Ωστόσο, οι χρόνοι απόκρισης του φωνητικού ελέγχου πρέπει να λαμβάνονται υπόψη.

Επιπλέον υπάρχουν κάποιες πρόσθετες τεχνικές πληροφορίες. Αυτά τα βήματα παρέχουν βασικές πληροφορίες και παρέχουν εικόνα για το προϊόν Neuron.

G o s s e A d e m a

Βήμα 1: Neuron Explorer Kit

Τα μπλοκ νευρώνων είναι σαν τα ηλεκτρονικά τούβλα και το χρώμα κάθε νευρώνα δείχνει την κύρια λειτουργία του. Τα μπλοκ ενέργειας και επικοινωνιών είναι πράσινα. Τα μπλοκ εισόδου είναι κίτρινα. Τα μπλοκ ελέγχου είναι πορτοκαλί. Και τα μπλοκ εξόδου είναι μπλε. Κάθε νευρώνας έχει τη δική του αποκλειστική λειτουργία και αρχίζουν να επικοινωνούν μεταξύ τους όταν συνδέονται μεταξύ τους.

Το προϊόν ξεκίνησε ως έργο Kickstarter τον Απρίλιο του 2017. Και αυτό το εκπαιδευτικό χρησιμοποιεί το Explorer Kit. Αυτό το κιτ περιέχει τα ακόλουθα μέρη:

• WiFi (Neuron)
• Ισχύς (νευρώνας)
• Μικρόφωνο & ηχείο (USB)
• Led Panel 8x8 RGB (Neuron)
• Joystick (Neuron)
• Knob (Neuron)
• Led Strip Driver (Neuron)
• Led Strip 50cm (15 LED)
• Διπλός οδηγός κινητήρα DC (Neuron)
• DC Motor (2x)
• Στήριγμα κινητήρα (2x)
• Τροχοί (2x)
• Μίνι Τροχός
• Dual Servo Motor Driver (Neuron)
• Servo Motor (2x)
• Αναγνώριση φωνής (Neuron)
• Utrasonic Sensor (Neuron)
• Ασύρματος πομπός (Neuron)
• Ασύρματος δέκτης (Neuron)
• Κάμερα (USB)
• Δείκτης λέιζερ
• Neuron Board (4x)
• Magnet Wire 10 cm (2x)
• Magnet Wire 20 cm (2x)
• Καλώδιο Micro USB 20 cm (2x)
• Micro USB Cable 100 cm (2x)

Αυτό το κιτ περιέχει όλα τα ηλεκτρονικά μέρη για κάθε είδους έργα STEM. Το κύριο σημείο εστίασης φαίνεται να είναι η κατασκευή μικρών ρομπότ. Αλλά η κάμερα και η αναγνώριση φωνής του δίνουν περισσότερες δυνατότητες από απλά ρομπότ.

Κάθε νευρώνας περιέχει έναν μαγνήτη. Και μπορεί να τοποθετηθεί σε μεταλλικά αντικείμενα ή στις παρεχόμενες σανίδες Neuron.

Το μόνο μέρος που "λείπει" σε αυτό το Explorer Kit είναι ένας αισθητήρας παρακολούθησης γραμμών. Αυτό είναι ένα μέρος του κιτ "Όλα σε ένα". Αυτός ο αισθητήρας θα ήταν μια πιο λογική επιλογή, αντί για τη λωρίδα LED ή τη μήτρα LED.

Βήμα 2: Μπλοκ νευρώνων

Πολλά πακέτα Neuron πωλήθηκαν μέσω μιας καμπάνιας Kickstarter. Και αυτή τη στιγμή τα πρώτα πακέτα είναι διαθέσιμα για κανονικές πωλήσεις.

Υπάρχουν περίπου 30 διαφορετικά μπλοκ, τα οποία μπορούν να συνδεθούν μεταξύ τους με μαγνητικούς συνδετήρες. Αυτό δημιουργεί μια σειρά μπλοκ. Τα οποία επικοινωνούν μεταξύ τους μέσω της εφαρμογής (Android, iOS).

Υπάρχει ένα επαναφορτιζόμενο μπλοκ ισχύος που τροφοδοτεί όλα τα συνδεδεμένα μπλοκ. Και όλα τα μπλοκ επικοινωνίας έχουν μια υποδοχή micro USB, η οποία μπορεί να χρησιμοποιηθεί για την τροφοδοσία των μπλοκ. Μια αλυσίδα ξεκινά κανονικά με ένα μπλοκ επικοινωνίας. Και αν αυτό δεν τροφοδοτείται από USB, το επόμενο μπλοκ θα πρέπει να είναι ένα μπλοκ τροφοδοσίας.

Η ενέργεια που μπλοκ επικοινωνίας έχει πράσινο χρώμα και υπάρχουν 5 από αυτές:

• Εξουσία.
• Δέκτης ασύρματου.
• Ασύρματος πομπός.
• WiFi.
• BlueTooth.

Το πρόγραμμα App and Scratch απαιτεί σύνδεση WiFi ή BlueTooth. Τα 2 ασύρματα μπλοκ μπορούν να χρησιμοποιηθούν για τηλεχειριζόμενα έργα σε μικρή απόσταση.

Το Explorer Kit περιέχει τρία πορτοκαλί μπλοκ ελέγχου:

• Λαβή.
• Χειριστήριο.
• Αναγνώριση φωνής.

Και δύο κίτρινοι αισθητήρες:

• ΦΩΤΟΓΡΑΦΙΚΗ ΜΗΧΑΝΗ
• Αισθητήρας υπερήχων

Τα μπλοκ ελέγχου και αισθητήρων παρέχουν είσοδο για το πρόγραμμά σας. Το κουμπί δίνει μια τιμή μεταξύ 0 και 100 και μπορεί να χρησιμοποιηθεί ως ροοστάτης ή για τον έλεγχο της ταχύτητας ενός κινητήρα. Το χειριστήριο δίνει δύο τιμές μεταξύ -100 και 100, μία τιμή για κάθε κατεύθυνση. Ο αισθητήρας υπερήχων μετρά την απόσταση σε εκατοστά. Η τιμή εξόδου είναι μεταξύ 0 και 400.

Τα πέντε μπλε μπλοκ εξόδου σε αυτό το κιτ είναι:

• Οδηγός λωρίδας LED + Λωρίδα LED.
• Πάνελ LED.
• DC Motor Driver
• Servo Motor Driver
• Μικρόφωνο και ηχείο

Τα μπλοκ εξόδου είναι πολύ διαφορετικά. Αυτό επιτρέπει πολλούς διαφορετικούς τύπους έργων. Όπως μια λάμπα LED, ένα κινούμενο ρομπότ και/ή ένα ηχογράφο.

Όλα τα μπλοκ Neuron παρατίθενται στη σελίδα Kickstarter.

Βήμα 3: Προγραμματισμός του νευρώνα

Υπάρχουν διάφοροι τρόποι χρήσης των μπλοκ Neuron.

1. Εκτός σύνδεσης.
2. Online με μια εφαρμογή.
3. Online με το mBlock Scratch.

Το Offline προσφέρει έναν εύκολο τρόπο εισαγωγής των διαφορετικών τμημάτων. Αυτό δεν απαιτεί προγραμματισμό. Ο διαδικτυακός προγραμματισμός μπορεί να γίνει με μια εφαρμογή (Android/iOS) ή ένα πρόγραμμα υπολογιστή (mBlock 4.0). Το μπλοκ WiFi έχει τη δυνατότητα αποθήκευσης ενός προγράμματος. Αυτό το πρόγραμμα παραμένει σε λειτουργία μέχρι να σταματήσει από την εφαρμογή.

Η εφαρμογή είναι ευκολότερη στη χρήση από το λογισμικό mBlock 4.0. Και δεν υπάρχουν όλα τα μπλοκ Neuron αυτήν τη στιγμή στο λογισμικό mBlock.

Υπάρχουν κάποιες κάρτες με δείγματα έργων στο κουτί Neuron. Αυτά μπορούν να συνδυαστούν με τη βοήθεια της εφαρμογής και να δείξουν τις βασικές αρχές των διαφόρων μπλοκ.

Βήμα 4: Λειτουργία εκτός σύνδεσης

Αυτή η λειτουργία προορίζεται κυρίως για εξοικείωση με το προϊόν και δεν απαιτεί προγραμματισμό.

Κάθε αισθητήρας του μπλοκ εξόδου είναι ικανός να παρέχει έξοδο στα μπλοκ που είναι προσαρτημένα στα δεξιά. Και κάθε μπλοκ οθόνης μπορεί να λάβει σήματα εισόδου από τα αριστερά. Δίνει την έξοδο του. Και περνά το σήμα εισόδου σε επιπλέον μπλοκ συνδεδεμένα στα δεξιά.

Με αυτό, μια αλυσίδα εκτός σύνδεσης περιέχει πάντα πολλαπλά μπλοκ με σταθερή σειρά: Ένα πράσινο μπλοκ ισχύος. Ένα κίτρινο ή πορτοκαλί μπλοκ (εισόδου ή ελέγχου). Και ένα ή περισσότερα μπλε μπλοκ εξόδου. Και αυτή η λειτουργία εκτός σύνδεσης λειτουργεί μόνο από αριστερά προς τα δεξιά (με ευανάγνωστα γράμματα).

Ένα μπλοκ εισόδου ή ελέγχου ελέγχει όλα τα ακόλουθα μπλοκ εξόδου. Και η έξοδος εξαρτάται από τον τύπο του μπλοκ εισόδου. Για παράδειγμα: Το κουμπί λειτουργεί σαν ροοστάτης όταν συνδέεται σε μήτρα LED. Και το χειριστήριο δείχνει την κατεύθυνση στη μήτρα LED. Τα σήματα από πολλαπλά μπλοκ εισόδου δεν μπορούν να συνδυαστούν σε λειτουργία εκτός σύνδεσης. Μόνο το σήμα του τελευταίου μπλοκ περνά στα μπλοκ εξόδου.

Ο συνδυασμός μπλοκ εισόδου ή/και ελέγχου απαιτεί τη λειτουργία διαδικτύου (προγραμματισμού).

Βήμα 5: Προγραμματισμός βάσει ροής

Όταν τα μπλοκ Neuron συνδέονται με ένα tablet (iPad), ενεργοποιούνται αυτόματα σε λειτουργία Online. Τώρα όλα τα συνδεδεμένα μπλοκ μπορούν να χρησιμοποιηθούν για αλληλεπίδραση μεταξύ τους. Ενώ το περιβάλλον του προγράμματος προσθέτει λογικές και μαθηματικές πράξεις.

Η τεκμηρίωση σχετικά με τον προγραμματισμό των μπλοκ Neuron είναι διαθέσιμη στον ιστότοπο του Makeblock. Υπάρχει επίσης ένα φόρουμ που δίνει πολλές πληροφορίες. Επειδή αυτό το προϊόν είναι μάλλον νέο, υπάρχουν τακτικές ενημερώσεις και προσθήκες στην τεκμηρίωση στον ιστότοπο του Makeblock.

Η εφαρμογή Neuron χρησιμοποιεί προγραμματισμό ροής. Εκτός από τα μπλοκ Neuron που δίνουν τιμές εξόδου ή απαιτούν τιμές εισόδου, υπάρχουν όλοι διαφορετικοί κόμβοι προγραμματισμού. Αυτά χωρίζονται σε αρκετές περιοχές και έχουν τοποθετηθεί σε διαφορετικές καρτέλες μέσα στην εφαρμογή. Από προεπιλογή, υπάρχουν 4 καρτέλες:

• Βασικός
• Έλεγχοι
• χρόνος
• Προχωρημένος

Αυτοί οι κόμβοι προγραμματισμού μπορούν να χρησιμοποιηθούν χωρίς μπλοκ Neuron.

Η ηλεκτρονική τεκμηρίωση Makeblock δείχνει τις δυνατότητες της διεπαφής εφαρμογής.

Λογική και Μαθηματικά

Αυτές είναι βασικές λειτουργίες. Και έχουν μία ή δύο εισόδους και μία τιμή εξόδου. Υπάρχουν αρκετοί απλοί υπολογισμοί και συγκρίσεις.

Η λειτουργία εναλλαγής αλλάζει την κατάσταση κάθε φορά που λαμβάνει ένα «Y».

Αριθμοί

Υπάρχουν δύο αριθμητικοί κόμβοι, ένας "βασικός" και ένας "έλεγχος" έκδοση (βρίσκονται σε διαφορετικές καρτέλες). Η έκδοση στοιχείων ελέγχου είναι ένας σταθερός αριθμός, ενώ ο βασικός αριθμός έχει μια κατάσταση "on" και "off". Το ακόλουθο παράδειγμα δείχνει τη διαφορά. Το διάστημα ενεργοποιείται ('Y') και απενεργοποιείται ('N') κάθε δευτερόλεπτο. Η έξοδος του πράσινου αριθμού είναι 5 όταν η είσοδος είναι "Y", αλλιώς η τιμή είναι 0.

Ο κόμβος καμπύλης δείχνει ένα γράφημα. Αυτό είναι χρήσιμο για την εμφάνιση των διαφορετικών τιμών εξόδου. Άλλοι χρήσιμοι δείκτες είναι η ετικέτα και ο κόμβος δείκτη.

Αλληλουχία

Η ακολουθία εκτελείται επαναλαμβανόμενα ή μόνο μία φορά όταν η είσοδος είναι "Y". Αυτό επιτρέπει μια ακολουθία ενεργειών.

Η ακολουθία λαμβάνει ένα σήμα όταν ο διακόπτης είναι ενεργοποιημένος. Η έξοδος της ακολουθίας μεταβιβάζεται σε έναν δείκτη.

Σημειώστε το χρώμα των γραμμών: Οι μπλε γραμμές υποδεικνύουν την τρέχουσα ροή. Και ο κύκλος στα δεξιά ενός κόμβου δείχνει πάντα την τρέχουσα έξοδο.

Κλίμακα

Ο κόμβος κλίμακας μεταφράζει ένα εύρος εισόδου σε ένα εύρος εξόδου. Για παράδειγμα, το 0 έως το 100 μπορεί να μεταφραστεί σε μια τιμή μεταξύ 0 και 255.

Τιμές πάνω από το μέγιστο του εύρους εισόδου έχουν ως αποτέλεσμα μια τιμή μεγαλύτερη από τη μέγιστη κλίμακα εξόδου! Το φίλτρο μπορεί να χρησιμοποιηθεί για τον περιορισμό της τιμής.

Βαλβίδα

Αυτός είναι ένας κόμβος που περνά τη χαμηλότερη τιμή εισόδου εάν η ανώτερη τιμή εισόδου είναι αληθής. Αυτό εξηγείται καλύτερα με ένα παράδειγμα:

Ο πράσινος κόμβος διαστήματος αλλάζει μεταξύ 0 και 1 κάθε μισό δευτερόλεπτο. Η έξοδος αυτού του κόμβου είναι visilbe στο άνω γράφημα. Ο μωβ κόμβος παλμού δίνει έξοδο κόλπου, με τιμές μεταξύ -255 και 255. Αυτό φαίνεται στο κάτω γράφημα.

Τόσο το διάστημα όσο και ο κόλπος εισάγονται για τον κόμβο της βαλβίδας. Και η τιμή εξόδου είναι 0 όταν η τιμή του διαστήματος είναι 'N'. Όταν η τιμή του διαστήματος είναι «Υ», η τιμή εξόδου ισούται με την τιμή εισόδου κόλπου. Αυτό δίνει το μεσαίο γράφημα.

Βήμα 6: Παράδειγμα ροής

Ο καλύτερος τρόπος για να δείξετε τον προγραμματισμό ροής είναι με ένα παράδειγμα. Αυτό το παράδειγμα δεν χρησιμοποιεί μπλοκ Neuron. Και όλοι μπορούν να το προγραμματίσουν μετά τη λήψη της εφαρμογής. Ανοίξτε το περιβάλλον κώδικα και δημιουργήστε ένα νέο πρόγραμμα. Επιλέξτε '(X)' όταν σας ζητηθεί σύνδεση και ξεκινήστε τον προγραμματισμό.

Απλώς σύρετε τους απαιτούμενους κόμβους στην περιοχή του προγράμματος και συνδέστε τις γραμμές. Κάντε κλικ στους κόμβους για να δείτε τις δυνατότητες και για να αλλάξετε τις τιμές/ρυθμίσεις.

Η έξοδος των κουμπιών είναι "N" από προεπιλογή. Το πάτημα ενός κουμπιού δίνει ένα 'Y' ως έξοδο. Αυτή η έξοδος προωθείται σε μια γεννήτρια τυχαίων αριθμών. Αυτό δημιουργεί έναν νέο αριθμό (beteen 0 και 100) κάθε φορά που η είσοδος έχει την τιμή «Y» και περνά την έξοδο στον επόμενο κόμβο (ες).

Οι κόμβοι σύγκρισης απαιτούν 2 εισόδους και επιστρέφουν την τιμή «Υ» εάν πληρούται η συνθήκη. Ο επάνω κόμβος σύγκρισης ελέγχει εάν η τιμή της θύρας Α είναι μεγαλύτερη από την τιμή της θύρας Β. Εάν αυτό ισχύει, η λάμπα γίνεται πράσινη. Προς το παρόν η κάτω λυχνία είναι πράσινη, επειδή η 21 είναι κάτω από 23.

Απαιτείται κάποια πρακτική για τον προγραμματισμό με αυτόν τον τρόπο. Το μεγάλο πλεονέκτημα είναι ότι δεν χρειάζεται να σκεφτείτε τη σύνταξη του κώδικα. Και κάθε κόμβος εμφανίζει την τιμή εξόδου του. Επιπλέον, οι μπλε γραμμές αντιπροσωπεύουν τη ροή δεδομένων.

Βήμα 7: Έλεγχος εικόνας

Υπάρχουν δύο μπλοκ Neuron που μπορούν να συνδεθούν στο μπλοκ WiFi μέσω καλωδίου USB: Η κάμερα και το μικρόφωνο/ηχείο. Και οι δύο συσκευές είναι κανονικές συσκευές USB και μπορούν να συνδεθούν σε υπολογιστή. Η κάμερα απαιτεί κάποια επιπλέον προγράμματα οδήγησης, αλλά το ηχείο λειτουργεί ως κανονικό ηχείο USB.

Μια καρτέλα και εικονίδιο κάμερας εμφανίζονται στο εσωτερικό της εφαρμογής όταν η κάμερα είναι προσαρτημένη στο μπλοκ WiFi. Το εικονίδιο ανοίγει ένα παράθυρο προεπισκόπησης με την εικόνα της κάμερας.

Υπάρχει ένας κόμβος φωτογραφίας/κάμερας μέσα στην καρτέλα της κάμερας. Αυτό παίρνει μια φωτογραφία όταν υπάρχει ένα σήμα εισόδου με την τιμή "Y" (αληθές). Αφού τοποθετήσετε αυτόν τον κόμβο στην περιοχή του προγράμματος, έχει τρεις επιλογές (κάντε κλικ στον κόμβο):

• Κορνίζα
• OCR
• Δοκιμή Emoticon

Το πλαίσιο φωτογραφιών δείχνει την έξοδο του κόμβου φωτογραφίας. Οι επόμενοι τρεις κόμβοι παρέχουν μια "φωτογραφική μηχανή". Η κάμερα τραβάει μια φωτογραφία όταν πατάτε το κουμπί (αυτό δίνει 'Y' ως έξοδο). Και αυτό φαίνεται μέσα στο πλαίσιο φωτογραφιών. Η εικόνα αποθηκεύεται στο μπλοκ WiFi, αλλά αντικαθίσταται όταν τραβάτε μια νέα φωτογραφία.

Είναι πιθανό να χρησιμοποιήσετε το χρονόμετρο για είσοδο στην κάμερα, αλλά μην κάνετε το διάστημα πολύ μικρό (> 1 δευτερόλεπτο). Διαφορετικά, το μπλοκ WiFi δεν μπορεί να χειριστεί τα δεδομένα και παραμένει για λίγο.

Ο κόμβος OCR μεταφράζει εικόνες σε κείμενο. Αυτό χρησιμοποιεί τις γνωστικές υπηρεσίες της Microsoft. Το μπλοκ WiFi πρέπει να είναι συνδεδεμένο στο διαδίκτυο και η εφαρμογή πρέπει να είναι συνδεδεμένη στο μπλοκ WiFi.

Το επόμενο πρόγραμμα τραβάει μια φωτογραφία όταν πατηθεί το κουμπί. Αυτή η φωτογραφία εμφανίζεται και επεξεργάζεται από τον κόμβο OCR. Η έξοδος συγκρίνεται με τρεις κόμβους σύγκρισης κειμένου. Αυτά ελέγχουν για τις τιμές "ένα", "δύο" και "τρία". Και κάθε τιμή εμφανίζει διαφορετική εικόνα στον πίνακα LED. Η έξοδος του κόμβου OCR εμφανίζεται επίσης από έναν κόμβο "ετικέτας". Αυτό δείχνει "Όχι" (Λάθος) όταν δεν αναγνωρίζεται τίποτα.

Οι μπλε γραμμές υποδεικνύουν τη ροή δεδομένων μέσα στο πρόγραμμα. Και τα «Υ» και «Ν» μετά από κάθε κόμβο αντιπροσωπεύουν την τιμή εξόδου του. Αυτό απλοποιεί την αντιμετώπιση προβλημάτων μέσα σε ένα πρόγραμμα. Δυστυχώς, η έξοδος της μήτρας LED δεν εμφανίζεται στην εφαρμογή.

Η τελευταία επιλογή κόμβου κάμερας είναι η δοκιμή emoticon. Αυτό μεταφράζει τα πρόσωπα μιας εικόνας σε συναίσθημα.

Τα παραπάνω παραδείγματα είναι απλά, αλλά δείχνουν τη βασική αρχή. Μπορούν να προστεθούν επιπλέον μπλοκ λογικής και νευρώνων για τη δημιουργία πιο πολύπλοκων προγραμμάτων

Βήμα 8: Αναγνώριση φωνής (μικρόφωνο)

Εκτός από την κάμερα, ένα μικρόφωνο / ηχείο Neuron μπορεί να συνδεθεί στο μπλοκ WiFi. Αυτό μπορεί να χρησιμοποιηθεί για εγγραφή και αναπαραγωγή θραυσμάτων ήχου. Η σύνδεση αυτού του Neuron δίνει μια πρόσθετη καρτέλα "ήχος" στην εφαρμογή.

Ο κόμβος εγγραφής θα εγγράψει ήχο μόνο εάν η είσοδος είναι "Y", αυτό απαιτεί ένα κουμπί ή διακόπτη. Το ηχογραφημένο κομμάτι ήχου είναι η έξοδος του κόμβου εγγραφής. Η προσθήκη του κόμβου "αναπαραγωγή ήχου" αναπαράγει αμέσως αυτήν την έξοδο. Αυτό μπορεί να χρησιμοποιηθεί για να φτιάξετε έναν παπαγάλο:

Κάνοντας κλικ στον κόμβο μικροφώνου δίνονται 2 επιλογές: "φωνή σε κείμενο" και "αποθήκευση εγγραφής".

Ο κόμβος "αποθήκευση εγγραφής" αποθηκεύει το αρχείο ήχου στο σύστημα αρχείων μέσα στο WiFi Block. Αυτό το αρχείο αντικαθίσταται κάθε φορά που ξεκινά μια νέα εγγραφή.

Ο κόμβος "Αναπαραγωγή ήχου" είναι σε θέση να αναπαράγει ήχο εισόδου, αλλά είναι επίσης δυνατό να επιλέξετε ένα ηχητικό εφέ ή ένα ηχογραφημένο αρχείο. Απαιτεί μια σκανδάλη εισόδου για να ξεκινήσει ο δεδομένος ήχος. Και σταματά αμέσως όταν η είσοδος είναι 'N' (false). Το ακόλουθο παράδειγμα είναι ένα είδος δικταφώνου. Το επάνω κουμπί κάνει εγγραφή και το κάτω κουμπί αναπαράγει αυτήν την εγγραφή.

Η επιλογή φωνής σε κείμενο του κόμβου μικροφώνου χρησιμοποιεί τις γνωστικές υπηρεσίες της Microsoft για τη μετάφραση της εγγραφής σε κείμενο. Ο κόμβος ετικέτας είναι ικανός να εμφανίζει την έξοδο. Οι κόμβοι εγγραφής και αναπαραγωγής ήχου δεν απαιτούνται για τη μετάφραση της φωνής σε κείμενο. Αλλά αυτά είναι χρήσιμα κατά τον προγραμματισμό για τον έλεγχο της εξόδου.

Ο εντοπισμός σφαλμάτων αυτής της δυνατότητας μπορεί να γίνει με σύνδεση στο μπλοκ WiFi (προηγμένη λειτουργία).

[2018-01-19 23:00:35] [ΠΡΟΕΙΔΟΠΟΙΗΣΗ] Ο διακομιστής αιτήματος "διακομιστής ήχου" ονομάστηκε:

Είναι πιθανό να ελέγξετε για πολλές λέξεις. Και ο κόμβος σύγκρισης λειτουργεί ακριβώς όπως το OCR της κάμερας.

Μερικές φορές η ίδια λέξη δίνει διαφορετικό αποτέλεσμα. Για παράδειγμα: "αντίο" μπορεί να δώσει μία από τις ακόλουθες τιμές: "αντίο" ή "αντίο". Αυτό απαιτεί πολλούς κόμβους κειμένου με την ίδια έξοδο:

Σημείωση: Η προεπιλεγμένη ομιλία στη γλώσσα κειμένου είναι τα αγγλικά.

Βήμα 9: Αναγνώριση φωνής (Neuron)

Πρόκειται για έναν ειδικό νευρώνα για τη μετατροπή της φωνής σε κείμενο. Δέχεται 22 εντολές που είναι κωδικοποιημένες μέσα στο μπλοκ και τον κωδικό Neuron:

var COMMAND = {'Άναψε το φως': 3, «Κόκκινο»: 4, «Γαλάζιο»: 5, «Πράσινο»: 6, «Λευκό»: 7, «Περισσότερο φως»: 8, «Λιγότερο φως»: 9, «Σβηστά φώτα»: 10, 'Motor Forward': 11, 'Motor Backward': 12, 'Speed Up': 13, 'Speed Down': 14, 'Love': 15, 'Smile': 16, 'Angry': 17, 'Sad': 18, «Rock and roll»: 19, «Fire Fire»: 20, «Έναρξη παιχνιδιού»: 21, «Ο χειμώνας έρχεται»: 22, «Έναρξη»: 23, «Shut down»: 24};

Αυτό το μπλοκ δέχεται μόνο αγγλικά. Και απαιτεί σωστή προφορά. Δεν υπάρχουν πολλά περιθώρια για λάθη. Ακόμα και η φωνητική έξοδος google translate δεν ενεργοποιεί πάντα την αντίστοιχη εντολή. Αλλά η χρήση του Google Speach παραμένει ένα καλό σημείο εκκίνησης. Ξεκινήστε με "Hello Makeblock", "Hello Makeblok" ή/και "Helo makeblok". Ακολουθεί το "έρχεται ο χειμώνας" ή "πρασινίζει".

Αυτές οι εντολές έχουν χρησιμοποιηθεί στον κώδικα της πρώτης εικόνας σε αυτό το βήμα. Η ένδειξη στα δεξιά του άνω κόμβου φωνητικής εντολής είναι 'Y' (true). Αυτό δείχνει ότι η εντολή αναγνωρίστηκε.

Χρειάζεται κάποια εξάσκηση για να εργαστείτε με αυτό το Neuron. Ευτυχώς, το μπλοκ επαναλαμβάνει το μήνυμα μετά τη λήψη ενός (Περιέχει ηχείο και μικρόφωνο).

Βήμα 10: Τηλεχειριζόμενη χελώνα LEGO

Το Neuron Explorer Kit περιέχει 2 κινητήρες DC και 2 σερβοκινητήρες. Αυτό απαιτεί ένα ρομπότ: Μια τρίτροχη χελώνα. Χρησιμοποιεί τους κινητήρες και τους τροχούς από το κιτ με μερικά εξαρτήματα LEGO ως πλαίσιο.

Υπάρχουν 8 δοκοί, με κυκλικό τρόπο, προσαρτημένους στην κορυφή αυτού του πλαισίου. Αυτά τα δοκάρια υποστηρίζουν τη λωρίδα LED. Τρεις μαγνητικές σανίδες νευρώνα τοποθετούνται πάνω από τις 8 δοκούς. Αυτά κατέχουν τα ακόλουθα τμήματα νευρώνων:

• Δέκτης ασύρματου
• Εξουσία
• Καλώδιο 10 εκ
• Servo οδηγός κινητήρα
• Οδηγός κινητήρα DC
• Πρόγραμμα οδήγησης λωρίδας LED
• Καλώδιο 10 εκ

Το τελικό καλώδιο 10 εκατοστών είναι προσαρτημένο στον αισθητήρα υπερήχων, ο οποίος τοποθετείται στο κεφάλι της χελώνας. Αυτή η κεφαλή αποτελείται από την τέταρτη μαγνητική πλακέτα Neuron. Τέλος, η ουρά αποτελείται από ένα σερβοκινητήρα, με μια δέσμη lego προσαρτημένη σε αυτό.

Το αποτέλεσμα μοιάζει μόνο με "καλώδια και ηλεκτρονικά", αλλά η ασπίδα χελώνας καλύπτει σχεδόν όλα τα ηλεκτρονικά.

Το ρομπότ μπορεί να ελεγχθεί με το χειριστήριο. Αυτό απαιτεί το μπλοκ WiFi (ή Bluetooth), το Joystick και τον ασύρματο πομπό. Το τηλεχειριστήριο απαιτεί πηγή τροφοδοσίας USB. Υπάρχει μόνο ένα μπλοκ τροφοδοσίας, το οποίο βρίσκεται μέσα στο ρομπότ.

Η πρώτη εικόνα δείχνει ένα πιθανό πρόγραμμα για αυτό το ρομπότ. Το χειριστήριο είναι συνδεδεμένο στο μπλοκ κινητήρα DC. Πάνω/κάτω για ταχύτητα και αριστερά/δεξιά για κατεύθυνση.

Η έξοδος του αισθητήρα υπερήχων συγκρίνεται με την τιμή των 100 cm. Εάν η απόσταση είναι μεγαλύτερη, τότε το πράσινο/κίτρινο χρώμα εμφανίζεται σε όλες τις λυχνίες LED. Τα χρώματα γίνονται κόκκινα/πορτοκαλί όταν η απόσταση πέσει κάτω από τα 100 εκατοστά.

Η ουρά χρησιμοποιεί έναν παλμικό κόμβο μεταξύ -180 και 180. Μια συνάρτηση ABS καθιστά την αρνητική τιμή θετική. Αυτή η τιμή περνά στον σερβοκινητήρα και η ουρά αρχίζει να κουνιέται.

Συνδυάζοντας τα μπλοκ νευρώνων και τους κόμβους συνάρτησης είναι δυνατό να γραφτούν πιο πολύπλοκα προγράμματα. Η ταχύτητα της ουράς μπορεί να εξαρτάται από την ταχύτητα του ρομπότ ή το ρομπότ θα μπορούσε να σταματήσει εάν ο αισθητήρας υπερήχων έχει μέτρα μικρότερη από 30 εκατοστά.

Βήμα 11: Χελώνα 2.0

Η προηγούμενη χελώνα LEGO μπορεί να απλοποιηθεί χρησιμοποιώντας ένα κομμάτι χαρτόνι/ξύλο. Έχω χρησιμοποιήσει ένα κομμάτι κόντρα πλακέ 8 mm. Χρησιμοποιήστε ένα παζλ για να δημιουργήσετε έναν κύκλο με διάμετρο 19 cm. Τρυπήστε όλες τις τρύπες με ένα τρυπάνι 4, 8 mm. Χρησιμοποιήστε το τρυπάνι και το παζλ για να δημιουργήσετε τα τετράγωνα ανοίγματα. Αυτά είναι για τους τροχούς και τα σύρματα.

Έχω χρησιμοποιήσει μέρη LEGO για να στερεώσω τα μέρη Neuron στην ξύλινη πλάκα. Υπάρχουν ορισμένοι συμβατοί σύνδεσμοι μέσα στο Explorer Kit. Αλλά είναι επίσης δυνατό να χρησιμοποιήσετε μπουλόνια m4 για τις περισσότερες συνδέσεις.

Δύο κινητήρες DC (με τροχούς) είναι προσαρτημένοι στο κάτω μέρος (σκούρα κόκκινα τετράγωνα). Ακριβώς όπως ο πίσω τροχός (μαύρο ορθογώνιο). Μια τεχνική δέσμη LEGO χρησιμοποιείται για επιπλέον απόσταση μεταξύ της πλάκας και του πίσω τροχού. Τα τρία μοβ τετράγωνα είναι για τις μαγνητικές σανίδες νευρώνων. Ο τέταρτος μαγνητικός πίνακας Neuron χρησιμοποιείται για τον αισθητήρα κεφαλής/υπερήχων (πορτοκαλί ορθογώνιο). Ο κόκκινος κύκλος δείχνει τη θέση της λωρίδας LED. Χρησιμοποιήστε μικρές λαστιχένιες ταινίες (ταινίες αργαλειού) για να στερεώσετε τη λωρίδα LED.

Αυτό το ρομπότ λειτουργεί με τον ίδιο κωδικό με τη χελώνα LEGO.

Βήμα 12: Εσωτερικά λογισμικού

Ο προγραμματισμός των μπλοκ Neuron είναι εύκολος, δεν χρειάζεται να γράψετε κανένα κώδικα. Οι ακόλουθες πληροφορίες είναι συνεπώς μόνο για προχωρημένους χρήστες. Παρέχει μια εικόνα για τη λειτουργία του προϊόντος Neuron.

Η σελίδα Makeblock Github περιέχει κώδικα Neuron. Μπορείτε να το κατεβάσετε και να εξερευνήσετε τον κώδικα. Είναι γραμμένο σε Javascript και χρησιμοποιεί nodeJS.

Το μπλοκ WiFi πρέπει να είναι συνδεδεμένο στο διαδίκτυο. Όταν η εφαρμογή συνδέεται στο SID του μπλοκ WiFi λαμβάνει μια διεύθυνση IP από το μπλοκ WiFi. Τα μπλοκ WiFi λειτουργούν τώρα σαν πύλη.

Η διεύθυνση IP του μπλοκ WiFi είναι 192.168.100.1. Υπάρχει ένας διακομιστής ιστού που λειτουργεί στη θύρα 80 και εμφανίζει μια διεπαφή διαμόρφωσης (κωδικός πρόσβασης = makeblock). Αυτό επιτρέπει την αλλαγή διαφόρων ρυθμίσεων και επιλογών.

Μπορείτε να αλλάξετε τη ζώνη ώρας ή/και το SSID WiFi. Προσοχή όμως, υπάρχει μικρή τεκμηρίωση σχετικά με τις άλλες ρυθμίσεις.

Η καρτέλα Υπηρεσίες/Κοινόχρηστα δικτύου εμφανίζει όλα τα κοινόχρηστα στοιχεία δικτύου. Έκανα μια πρόσθετη κοινή χρήση "Διακομιστής" στο φάκελο "/tmp/run/mountd/mmcblk0p1/neurons-server". Αυτός ο φάκελος (και οι υποφάκελοι) περιέχει όλα τα αρχεία καταγραφής, ήχου και εικόνας.

Αυτό καθιστά δυνατή την περιήγηση σε όλα τα αρχεία με την Εξερεύνηση αρχείων των Windows. Το άνοιγμα της κοινής χρήσης "\ 192.168.100.1 / Server" δίνει πρόσβαση ανάγνωσης σε όλα τα αρχεία της μηχανής Neuron. Συμπεριλαμβανομένου του αρχείου καταγραφής διακομιστή:

uuid συσκευής: 6A1BC6-AFA-B4B-C1C-FED62004

δοκιμάστε το mqtt.connect συνδεδεμένο στο iot cloud εντάξει… [2018-01-19 22:56:43] [ΠΡΟΕΙΔΟΠΟΙΗΣΗ] serverLog-Διαχείριση αιτήματος 'διακομιστής ήχου': {"startRecord"} [2018-01-19 22:56:43] [WARN] serverLog-έναρξη εγγραφής [2018-01-19 22:56:45] [WARN] serverLog-Διαχείριση αιτήματος 'διακομιστής ήχου': {"stopRecord"} [2018-01-19 22:56:45] [ΠΡΟΕΙΔΟΠΟΙΗΣΗ] serverLog - διακοπή εγγραφής [2018-01-19 22:56:46] [ΠΡΟΕΙΔΟΠΟΙΗΣΗ] serverLog - Διαχείριση αιτήματος «διακομιστής ήχου»: {"speakerRecognize"} αίτημαΑποτελέσματα ομιλίας: γεια

Το αρχείο config.js περιέχει όλες τις ρυθμίσεις. Αυτό περιλαμβάνει τα Microsoft Keys και το τρέχον επίπεδο καταγραφής. Αυτά μπορούν να τροποποιηθούν, αλλά να διατηρείτε πάντα ένα αντίγραφο του αρχικού αρχείου.

Το προεπιλεγμένο επίπεδο καταγραφής είναι "ΠΡΟΕΙΔΟΠΟΙΗΣΗ". Αυτό μπορεί να αλλάξει όταν χρειάζεται:

* `loglevel`: το loglevel για ρύθμιση, δεν θα εκτυπώσει το αρχείο καταγραφής ποια προτεραιότητα είναι χαμηλότερη από την καθορισμένη.

*επί του παρόντος υποστηρίζει loglevel*** TRACE **,*** DEBUG **,*** INFO **,*** WARN **,*** ERROR **,*** FATAL **

Έχω κάνει κοινή χρήση δικτύου μόνο για ανάγνωση. Ένα μερίδιο ανάγνωσης-εγγραφής καθιστά δυνατή την τοποθέτηση εικόνων-j.webp

Υπάρχει επίσης ένας διακομιστής ssh που λειτουργεί στη θύρα 22. Αυτό καθιστά δυνατή τη σύνδεση στο κέλυφος του Linux. Χρησιμοποιήστε το Putty για να συνδεθείτε στο 192.168.100.1 και συνδεθείτε με τον βασικό χρήστη και τον αποκλεισμό κωδικού πρόσβασης. Αλλά να είστε πολύ προσεκτικοί.

Τα μπλοκ WiFi εκτελούν το OpenWrt. Αυτή είναι μια διανομή Linux για ενσωματωμένες συσκευές. Το λογισμικό Neuron βρίσκεται στον κατάλογο "/tmp/run/mountd/mmcblk0p1/neurons-server".

Είναι δυνατό να προγραμματίσετε τα περισσότερα από τα μπλοκ Neuron με το λογισμικό mBlock. Αυτό απαιτεί την έκδοση 4.0.4 του λογισμικού. Οι υπηρεσίες της Microsoft δεν είναι διαθέσιμες σε αυτήν την αρχική έκδοση. Η φωνητική αναγνώριση Neuron, η οποία δεν απαιτεί αυτές τις υπηρεσίες, μπορεί να χρησιμοποιηθεί. Η έκδοση mBlock 5 δεν υποστηρίζει τα μπλοκ Neuron αυτήν τη στιγμή (Ιανουάριος 2018).

Τα μπλοκ κωδικών Neuron είναι διαθέσιμα στο τμήμα Robots (μπλε). Και το λογισμικό mBlock έχει το πλεονέκτημα ότι δεν μπορούν να χρησιμοποιηθούν μόνο τα συνδεδεμένα μπλοκ. Δεν έχει νόημα να χρησιμοποιείτε μπλοκ που δεν έχετε, αλλά αυτό καθιστά δυνατή την εγγραφή κώδικα χωρίς συνδεδεμένα μπλοκ Neuron.

Ο προεπιλεγμένος κωδικός πρόσβασης πρέπει να αλλάξει όταν το Neuron χρησιμοποιείται σε ανοιχτό δίκτυο WiFi.

Βήμα 13: Εσωτερικά υλικού

Αυτές οι πληροφορίες υλικού είναι μόνο για πληροφορίες παρασκηνίου. Δεν έχει επαληθευτεί από το Makeblock!

Το μεγαλύτερο υλικό από προϊόντα Makeblock είναι καλά τεκμηριωμένο. Αλλά δεν υπάρχουν πολλές πληροφορίες υλικού για το προϊόν Neuron. Υπάρχουν μερικές εικόνες στο Kickstarter, αλλά αυτό δείχνει τα εσωτερικά ενός πρωτοτύπου. Αυτό έχει μόνο μία υποδοχή USB και το πραγματικό προϊόν διαθέτει δύο υποδοχές USB.

Ο διακομιστής ιστού μέσα στο μπλοκ WiFi αποκαλύπτει το πραγματικό υλικό που χρησιμοποιείται για αυτό το μπλοκ. Είναι ένα MediaTek LinkIt Smart 7688. Τα βασικά χαρακτηριστικά αυτού του πίνακα είναι:

• Τρέχει το OpenWrt Linux και υποστηρίζει την ανάπτυξη εφαρμογών σε Python, Node.js και εγγενείς γλώσσες προγραμματισμού C.
• Χρησιμοποιεί MT7688AN ως αυτόνομο MPU και υποστηρίζει δύο τρόπους λειτουργίας - πύλη IoT και λειτουργία συσκευής IoT
• Υποστηρίζει Wi-Fi, USB host και κάρτες SD.
• Pin-out για PWM, I2C, SPI, UART, Ethernet και I2S.
• Υποστηρίζει έως 256MB RAM με επιπλέον χώρο αποθήκευσης κάρτας SD.

Τα συστήματα αρχείων Linux εμφανίζουν την εσωτερική αποθήκευση δίσκου:

root@makeblock_linkit: ~# df -h

Μέγεθος συστήματος αρχείων που χρησιμοποιείται Διαθέσιμη χρήση% Τοποθετείται σε rootfs 17.9M 644.0K 17.3M 4% / /dev /root 12.8M 12.8M 0 100% /rom tmpfs 61.7M 812.0K 60.9M 1% /tmp /dev /mtdblock6 17.9M 644.0K 17,3Μ 4%/επικάλυψη επικάλυψης:/επικάλυψη 17,9Μ 644,0Κ 17,3Μ 4%/tmpfs 512,0Κ 0 512,0Κ 0%/dev/dev/mmcblk0p1 1,8G 101,4Μ 1,7G 5%/tmp/run/mountd/mmcblk0p1/

Υπάρχει ένας τόμος δίσκου με όνομα mmcblk01 μέσα στο μπλοκ. Αυτό το όνομα χρησιμοποιείται κυρίως για κάρτες μνήμης. Φαίνεται ότι υπάρχει μια κάρτα SD 2 Gbyte στο εσωτερικό (1,7 Gbyte + 256 Mbyte για το LinkIt 7688).

Οι ακίδες pogo έχουν 4 συνδέσμους: Ένας για VCC, ένας για γείωση και δύο για επικοινωνία. Τα μπλοκ Neuron πιθανότατα επικοινωνούν με το πρωτόκολλο I2c. Πρέπει να υπάρχει ένας συμβατός πίνακας Arduino μέσα σε κάθε νευρώνα.