AI With Grove Zero και Codecraft (Scratch 3.0): 5 βήματα (με εικόνες)

2024 Συγγραφέας: John Day | [email protected]. Τελευταία τροποποίηση: 2024-01-30 08:33

Σε αυτό το άρθρο πρόκειται να δημιουργήσουμε τρία έργα που χρησιμοποιούν λειτουργίες AI του Codecraft, ένα γραφικό περιβάλλον προγραμματισμού βασισμένο στο Scratch 3.0. Το Codecraft αναπτύσσεται και συντηρείται από την εκπαίδευση TinkerGen και είναι δωρεάν στη χρήση.

Η τεχνητή νοημοσύνη και το υποσύνολό της, η μηχανική μάθηση, έχει γίνει αναπόσπαστο κομμάτι της ζωής μας τα τελευταία 10 χρόνια. Τα σχολικά προγράμματα σπουδών σε πολλές χώρες περιλαμβάνουν γνώσεις τεχνητής νοημοσύνης και μηχανικής μάθησης, αλλά μπορεί να είναι δύσκολο για έναν μέσο δάσκαλο να δημιουργήσει μαθήματα για τη διδασκαλία αυτού του θέματος χωρίς κατάλληλα εργαλεία. Η χρήση βιβλιοθηκών μηχανικής μάθησης, ακόμη και των πιο φιλικών προς το χρήστη, όπως η Keras, για τη δημιουργία μιας εφαρμογής με την οποία οι μαθητές μπορούν να αλληλεπιδράσουν, μπορεί να είναι μια χρονοβόρα και αποθαρρυντική εργασία. Εδώ μπορεί να βοηθήσει το Codecraft - έχει ένα πλούσιο σύνολο εφαρμογών με μηχανική μάθηση που μπορεί να χρησιμοποιήσει ο δάσκαλος για να εξηγήσει και να επιδείξει έννοιες που σχετίζονται με την τεχνητή νοημοσύνη. Ας τους ρίξουμε μια ματιά!

Βήμα 1: Επισκόπηση επεκτάσεων AI

Ανοίξτε τον διαδικτυακό επεξεργαστή Codecraft στη διεύθυνση

Κάντε κλικ στη λειτουργία Στάδιο και, στη συνέχεια, στο κουμπί Προσθήκη επέκτασης στο κάτω μέρος της καρτέλας πλοήγησης μπλοκ.

Θα δείτε ότι υπάρχουν τρεις διαθέσιμες επεκτάσεις AI:

- Γνωστικές Υπηρεσίες --- μοντέλα μηχανικής μάθησης για την επεξεργασία ζωντανής ροής βίντεο και ήχου

- Teachable Machine --- μπορεί να χρησιμοποιηθεί για την εκπαίδευση ενός μοντέλου ταξινόμησης με φωτογραφίες που έχουν ληφθεί με την κάμερά σας

- Μετάφραση --- χρησιμοποιεί μηχανική μάθηση για μετάφραση

Σε αυτό το άρθρο θα εστιάσουμε στις Γνωστικές Υπηρεσίες και στη χρήση αυτών των λειτουργιών για τον έλεγχο του υλικού του Grove Zero. Η ασύρματη επικοινωνία μεταξύ υπολογιστή και Grove Zero είναι ακόμα σε εξέλιξη και θα ενημερώσω το άρθρο μόλις γίνει διαθέσιμο. Προς το παρόν θα χρησιμοποιήσουμε ενσύρματη σύνδεση για να περάσουμε τα μηνύματα μεταξύ της μονάδας Grove Zero και του υπολογιστή.

Βήμα 2: Παίξτε Space Invaders με τη μύτη σας

Για την πρώτη εργασία θα χρησιμοποιήσουμε μόνο τη σκηνή χωρίς κανένα υλικό. Το Codecraft έχει πολλά παραδείγματα για να ξεκινήσετε με τον προγραμματισμό - ένα από αυτά τα παραδείγματα είναι ο προγραμματισμός κλασικού παιχνιδιού των Space Invaders σε λειτουργία Codecraft Stage. Θα επεκταθούμε σε αυτό το παράδειγμα και θα προσθέσουμε τη δυνατότητα ελέγχου του μαχητή εντός του παιχνιδιού με τη μύτη σας, χρησιμοποιώντας υπηρεσίες Γνωσιακών υπηρεσιών.

Κάντε κλικ στο κουμπί Παραδείγματα. Παράδειγμα Open SpaceInvaders. Αρκεί να αλλάξουμε το μέρος που σχετίζεται με την κίνηση. Για αυτό θα λάβουμε τη θέση x της μύτης στο πρόσωπο που ανιχνεύεται σε ζωντανή ροή βίντεο, αποθηκεύστε την σε μεταβλητή θέση. Στη συνέχεια, εάν η τιμή του pos είναι μεγαλύτερη από 50, μετακινούμε το διαστημικό μαχητικό μας προς τα δεξιά, αν είναι μικρότερο από -50, τότε μετακινούμε το μαχητικό προς τα αριστερά. Αυτό είναι. Δοκίμασέ το! Εάν αισθάνεστε ότι η ταχύτητα κίνησης του μαχητή είναι πολύ γρήγορη, μπορείτε να αλλάξετε την αλλαγή x με… μπλοκ σε μικρότερο αριθμό.

Στη συνέχεια, θα επεκτείνουμε αυτήν τη λειτουργικότητα για να ελέγξουμε το αυτοκίνητο Grove Zero και να το κάνουμε να προχωρήσει μπροστά/πίσω/αριστερά/δεξιά.

Βήμα 3: Control Grove Zero Car With Codecraft AI

Ας ξεκινήσουμε γράφοντας κώδικα σε στάδιο - αυτό είναι το μέρος που είναι υπεύθυνο για την ανάλυση της ροής βίντεο και την έξοδο εντολών στο Grove Zero.

1) Εκτελούμε τον κώδικα στο πρώτο στιγμιότυπο οθόνης μέχρι να πατηθεί το κουμπί διαστήματος. Μετά από αυτό στέλνουμε την εντολή διακοπής.

2) Στο εσωτερικό επαναλάβετε μέχρι το μπλοκ ελέγχουμε το x-pos και το y-pos της μύτης ενός ανιχνευμένου προσώπου και τα αποθηκεύουμε στις αντίστοιχες μεταβλητές.

3) Εάν η απόλυτη τιμή του x-pos είναι μικρότερη από 21 (σημαίνει ότι είναι μεταξύ -20 και 20, τόσο κοντά στο κέντρο της εικόνας), τότε συνεχίζουμε για να ελέγξουμε το y-pos για να καθορίσουμε αν το αυτοκίνητο πρέπει να πάει μπροστά ή πίσω

4) Διαφορετικά ελέγχουμε αν το αυτοκίνητο πρέπει να πάει αριστερά ή δεξιά

Τώρα ας μεταβούμε στην καρτέλα Συσκευή και γράψουμε σύντομο κώδικα για το αυτοκίνητο Grove Zero. Θα χρησιμοποιήσουμε Όταν λαμβάνω μπλοκ, το οποίο είναι υπεύθυνο για τη λήψη εσωτερικών εντολών μετάδοσης. Δεν πρέπει να συγχέεται με το Όταν λαμβάνει ραδιόφωνο, το οποίο χρησιμοποιείται για επικοινωνία Bluetooth. Συμβουλευτείτε το στιγμιότυπο οθόνης για λεπτομέρειες, ο κώδικας είναι αρκετά απλός.

Συνδέστε το συναρμολογημένο αυτοκίνητο Grove Zero στον υπολογιστή και πατήστε το κουμπί Connect στο Codecraft. Μεταβείτε στη λειτουργία εντοπισμού σφαλμάτων στο διαδίκτυο - αυτό θα επιτρέψει στο Grove Mainboard να λαμβάνει εντολές εκπομπής μέσω καλωδίου. Στη συνέχεια, μεταβείτε στη λειτουργία σκηνής και πατήστε τη σημαία. Το αυτοκίνητο πρέπει να κινείται τώρα, δοκιμάστε να το ελέγξετε με τη μύτη σας:)

Βήμα 4: Παρακολούθηση γραμμής με φωνητικό έλεγχο

Υπάρχει ένας χάρτης στο κιτ αυτοκινήτου Grove Zero, ο οποίος προορίζεται αρχικά για το μίνι παιχνίδι Collect the Coins. Μπορούμε να το επαναπροσδιορίσουμε για τη χρήση της αναγνώρισης φωνής στο Codecraft για να δώσουμε εντολές στο αυτοκίνητο με ποιον τρόπο να ενεργοποιήσουμε το σταυροδρόμι.

Το μέρος της σκηνικής λειτουργίας εδώ είναι λιγότερο περίπλοκο από ό, τι στο προηγούμενο παράδειγμα. Αυτό που κάνουμε είναι:

1) Μόλις λάβετε το μήνυμα μετάδοσης, επιλέξτε_κατεύθυνση, αναγνωρίστε το τμήμα ομιλίας και αποθηκεύστε το στη μεταβλητή αποτελέσματος.

2) Συνεχίστε να αναγνωρίζετε έως ότου το αποτέλεσμα ΔΕΝ είναι άγνωστο.

3) Συγκρίνετε το αποτέλεσμα με δύο συμβολοσειρές - "αριστερά" και "δεξιά". Μετάδοση αντίστοιχου μηνύματος στο αυτοκίνητο Grove Zero.

Ο κώδικας που τρέχει στο αυτοκίνητο Grove Zero είναι λίγο πιο περίπλοκος αυτή τη φορά, αλλά ουσιαστικά ακολουθεί αυτήν τη λογική:

1) Κατά την εκκίνηση, μεταδώστε το μήνυμα προώθησης

2) Μόλις λάβετε το μήνυμα προώθησης, ξεκινήστε να ακολουθείτε τη γραμμή. Εάν χαθεί η γραμμή, σταματήστε τους κινητήρες και μεταδώστε

select_direction. Εδώ εκτελείται ο κώδικας στη λειτουργία Στάδιο.

3) Εάν το μήνυμα που έμεινε έλαβε, ξεκινήστε να στρίβετε αριστερά και, στη συνέχεια, να επιστρέψετε στη γραμμή που ακολουθεί τη λειτουργία.

Εάν το μήνυμα ελήφθη δεξιά, ξεκινήστε να στρίβετε δεξιά και, στη συνέχεια, επιστρέψτε στη λειτουργία μετά από γραμμή.

Βήμα 5: Πίσω από τις σκηνές

Τα μοντέλα νευρωνικών δικτύων που χρησιμοποιούνται στην παραπάνω εφαρμογή εκτελούνται όλα τοπικά στο πρόγραμμα περιήγησής σας, το οποίο έχει μερικά ξεχωριστά πλεονεκτήματα σε σύγκριση με την αποστολή δεδομένων στο cloud για επεξεργασία: μικρότερη καθυστέρηση και καλύτερη ιδιωτικότητα. Ένας αριθμός νευρωνικών δικτύων χρησιμοποιείται στις Γνωστικές υπηρεσίες - Ταξινόμηση ήχου για εντολές ομιλίας (, Ανίχνευση ορόσημου προσώπου, Αναγνώριση έκφρασης προσώπου και εκτίμηση ηλικίας.

Σε αυτό το άρθρο διερευνήσαμε τη βασική λειτουργικότητα μιας από τις επεκτάσεις Codecraft AI - Γνωστικές υπηρεσίες. Υπάρχουν πολλοί τρόποι με τους οποίους μπορείτε να βασιστείτε σε αυτά τα παραδείγματα για να κάνετε ακόμα πιο διασκεδαστικές και συναρπαστικές εφαρμογές!

Εάν αποφασίσετε να το δοκιμάσετε, είτε με το Grove Zero είτε απλά χρησιμοποιώντας τη λειτουργία Stage, μοιραστείτε τα παρακάτω σχόλια. Για περισσότερες πληροφορίες σχετικά με τη σειρά Grove Zero, το Codecraft και άλλο υλικό για κατασκευαστές και εκπαιδευτές STEM, επισκεφθείτε τον ιστότοπό μας, Το TinkerGen δημιούργησε μια καμπάνια Kickstarter για το MARK (Make A Robot Kit), ένα κιτ ρομπότ για τη διδασκαλία κωδικοποίησης, ρομποτικής, AI!