Μέρος 2. Μοντέλο ThinkBioT Με Google AutoML: 8 βήματα

2024 Συγγραφέας: John Day | [email protected]. Τελευταία τροποποίηση: 2024-01-30 08:34

Το ThinkBioT έχει σχεδιαστεί για να είναι "Plug and Play", με συμβατά μοντέλα TensorFlow Lite με Edge TPU.

Σε αυτήν την τεκμηρίωση θα καλύψουμε τη δημιουργία φασματογραμμάτων, τη μορφοποίηση των δεδομένων σας και τη χρήση του Google AutoML.

Ο κώδικας σε αυτό το σεμινάριο θα γραφτεί σε bash και θα είναι συμβατός με πολλές πλατφόρμες.

Εξαρτήσεις

• Ωστόσο, πριν ξεκινήσετε, θα πρέπει να εγκαταστήσετε το Sox ένα πρόγραμμα ήχου γραμμής εντολών συμβατό με συσκευές Windows, Mac και Linux.
• Εάν βρίσκεστε σε μια συσκευή Windows, ο ευκολότερος τρόπος εκτέλεσης σεναρίων bash είναι μέσω του Git, οπότε θα συνιστούσα να το κατεβάσετε και να το εγκαταστήσετε ως χρήσιμο από πολλές απόψεις,
• Για επεξεργασία κώδικα είτε χρησιμοποιήστε τον αγαπημένο σας επεξεργαστή είτε εγκαταστήστε το NotePad ++ για Windows ή το Atom για άλλα λειτουργικά συστήματα.

** Εάν έχετε υπάρχον μοντέλο TensorFlow ή θέλετε να δοκιμάσετε να μεταφέρετε μάθηση με ένα υπάρχον μοντέλο, ανατρέξτε στην τεκμηρίωση Google Coral.

Βήμα 1: Δημιουργήστε έναν κάδο Google Cloud Storage

1. Συνδεθείτε στον λογαριασμό σας gmail (ή δημιουργήστε έναν αν δεν έχετε λογαριασμό Google)

2. Μεταβείτε στη σελίδα επιλογής έργου και δημιουργήστε ένα νέο έργο για τα αρχεία μοντέλου και φασματογράμματος. Θα χρειαστεί να ενεργοποιήσετε τη χρέωση για περαιτέρω πρόοδο.

3. Επισκεφτείτε τη διεύθυνση https://cloud.google.com/storage/ και πατήστε το κουμπί δημιουργίας κάδου στο επάνω μέρος της σελίδας.

4. Εισαγάγετε το όνομα κάδου που θέλετε και δημιουργήστε τον κάδο που δέχεται τις προεπιλεγμένες ρυθμίσεις.

Βήμα 2: Διαμορφώστε τα δεδομένα σας και δημιουργήστε Csv δεδομένων

Έχω σχεδιάσει ένα χρήσιμο σενάριο για τη δημιουργία του αρχείου dataset.csv που απαιτείται για τη δημιουργία του μοντέλου σας. Το αρχείο δεδομένων συνδέει τις εικόνες στον κάδο σας με τις ετικέτες του στο σύνολο δεδομένων.

1. Κατεβάστε το αποθετήριο ThinkBioT από το GitHub και

2. Αντιγράψτε το αρχείο tbt_spect_example.sh από τον κατάλογο Εργαλεία σε έναν νέο φάκελο στην επιφάνεια εργασίας σας.

3. Προσθέστε τα αρχεία ήχου που θα θέλατε να χρησιμοποιήσετε στο μοντέλο σας, τοποθετώντας τα σε φακέλους με την ετικέτα τους (δηλ. Σε τι θέλετε να ταξινομηθούν. Για παράδειγμα, εάν θέλετε να αναγνωρίσετε σκύλους ή γάτες, θα μπορούσατε να έχετε έναν φάκελο σκύλος, με ήχους φλοιού folder φάκελο με όνομα γάτα με ήχους γάτας κ.λπ.

4. Ανοίξτε το tbt_spect_example.sh με το Σημειωματάριο ++ και αντικαταστήστε το "yourbucknamenename" στη γραμμή 54 με το όνομα του κάδου αποθήκευσης Google. Για παράδειγμα, εάν ο κάδος σας ονομαζόταν myModelBucket, η γραμμή θα άλλαζε σε

κάδος = "gs: // myModelBucket/spectro-data/"

5. Εκτελέστε τον κώδικα πληκτρολογώντας τα παρακάτω στο τερματικό Bash, ο κώδικας θα εκτελεστεί και θα δημιουργήσει το αρχείο csv των ετικετών σας και έναν κατάλογο που ονομάζεται spectro-data στην κορυφή του γραφείου σας με τα φασματογράμματα που προκύπτουν.

sh tbt_spect_example.sh

Βήμα 3: Ανεβάστε τα φασματογράμματά σας στον κάδο σας

Υπάρχουν μερικοί τρόποι μεταφόρτωσης στο Google Storage, ο ευκολότερος είναι να πραγματοποιήσετε απευθείας φόρτωση φακέλου.

1. Κάντε κλικ στο όνομα κάδου στη σελίδα σας στο Google Storage.

2. Επιλέξτε το κουμπί "UPLOAD FOLDER" και επιλέξτε τον κατάλογο "spectro-data/" που δημιουργήσατε στο τελευταίο βήμα.

Ή

2. Εάν έχετε μεγάλο αριθμό αρχείων, μπορείτε να δημιουργήσετε με μη αυτόματο τρόπο τον κατάλογο "spectro-data/" επιλέγοντας "ΔΗΜΙΟΥΡΓΙΑ ΦΑΚΕΛΟΥ" και, στη συνέχεια, μεταβείτε στο φάκελο και επιλέξτε "ΑΝΕΒΑΣΗ ΑΡΧΕΙΩΝ". Αυτό μπορεί να είναι μια εξαιρετική επιλογή για μεγάλα σύνολα δεδομένων καθώς μπορείτε να ανεβάσετε τα φασματογράμματα σε ενότητες, ακόμη και χρησιμοποιώντας πολλούς υπολογιστές για να αυξήσετε την ταχύτητα μεταφόρτωσης.

Ή

2. Εάν είστε προχωρημένος χρήστης, μπορείτε επίσης να ανεβάσετε μέσω του Google Cloud Shell.

gsutil cp spectro-data/* gs: // your-bucket-name/spectro-data/

Θα πρέπει τώρα να έχετε έναν κάδο γεμάτο με αρκετά όμορφα φασματογράμματα!

Βήμα 4: Ανεβάστε το αρχείο δεδομένων Csv

Τώρα πρέπει να ανεβάσουμε το αρχείο model-labels.csv στον κατάλογο "spectro-data/" στο Google Storage, ουσιαστικά το ίδιο με το τελευταίο βήμα, απλά ανεβάζετε ένα αρχείο αντί για πολλά.

1. Κάντε κλικ στο όνομα κάδου στη σελίδα σας στο Google Storage.

2. Επιλέξτε το κουμπί UPLOAD FILE και επιλέξτε το αρχείο model-labels.csv που δημιουργήσατε νωρίτερα.

Βήμα 5: Δημιουργήστε μια βάση δεδομένων

1. Πρώτα θα χρειαστεί να βρείτε το AutoML VIsion API, μπορεί να είναι λίγο δύσκολο! Ο ευκολότερος τρόπος είναι να αναζητήσετε "αυτόματη όραση" στη γραμμή αναζήτησης του χώρου αποθήκευσης Google Cloud (στην εικόνα).

2. Μόλις κάνετε κλικ στο σύνδεσμο API, θα χρειαστεί να ενεργοποιήσετε το API.

3. Τώρα θα βρίσκεστε στον Πίνακα ελέγχου AutoML Vision (στην εικόνα) κάντε κλικ στο κουμπί νέου συνόλου δεδομένων και επιλέξτε Μία ετικέτα και την επιλογή "Επιλογή αρχείου CSV". Στη συνέχεια, θα συμπεριλάβετε τον σύνδεσμο στο αρχείο model-labels.csv στον κάδο αποθήκευσης. Αν έχετε ακολουθήσει αυτό το σεμινάριο θα είναι όπως παρακάτω

gs: //yourBucketName/spectro-data/model-labelsBal.csv

4. Στη συνέχεια, πατήστε συνέχεια για να δημιουργήσετε το σύνολο δεδομένων σας. Μπορεί να χρειαστεί λίγος χρόνος για να δημιουργηθεί.

Βήμα 6: Δημιουργήστε το μοντέλο AutoML

Μόλις λάβετε το email σας που σας ενημερώνει ότι έχει δημιουργηθεί το σύνολο δεδομένων σας, είστε έτοιμοι να δημιουργήσετε το νέο σας μοντέλο.

1. Πατήστε το κουμπί TRAIN
2. Επιλέξτε τύπο μοντέλου: Εκτιμήσεις καθυστέρησης Edge και Model: Edge TPU και αφήστε τις άλλες επιλογές ως προεπιλογή αρχικά, σκληρές που μπορεί να θέλετε να πειραματιστείτε αργότερα.
3. Τώρα το μοντέλο σας θα εκπαιδευτεί, θα χρειαστεί λίγος χρόνος και θα λάβετε ένα email όταν είναι έτοιμο για λήψη.

Σημείωση: Εάν το κουμπί εκπαίδευσης δεν είναι διαθέσιμο, ενδέχεται να έχετε προβλήματα με το σύνολο δεδομένων σας. Εάν έχετε λιγότερα από 10 από κάθε τάξη (ετικέτα), το σύστημα δεν θα σας επιτρέψει να εκπαιδεύσετε ένα μοντέλο, οπότε ίσως χρειαστεί να προσθέσετε επιπλέον εικόνες. Αξίζει να ρίξετε μια ματιά στο Google AutoML Video εάν χρειάζεστε διευκρινίσεις.

Βήμα 7: Δοκιμάστε το μοντέλο σας

Μόλις λάβετε το email ολοκλήρωσης του μοντέλου σας, κάντε κλικ στο σύνδεσμο για να επιστρέψετε στο API AutoML Vision.

1. Τώρα θα μπορείτε να δείτε τα αποτελέσματά σας και τη μήτρα σύγχυσης για το μοντέλο σας.

2. Το επόμενο βήμα είναι να δοκιμάσετε το μοντέλο σας, πηγαίνετε στο «ΔΟΚΙΜΑΣΤΕ & ΧΡΗΣΙΜΟΠΟΙΗΣΤΕ» ή «ΠΡΟΔΙΑΓΡΑΦΗ» περιέργως φαίνεται ότι υπάρχουν 2 GUI χρηστών, τα δύο από τα οποία έχω φωτογραφίσει, αλλά οι δύο επιλογές έχουν την ίδια λειτουργικότητα.

3. Τώρα μπορείτε να ανεβάσετε ένα δοκιμαστικό φασματογράφημα. Για να δημιουργήσετε ένα μόνο φασματογράφημα, μπορείτε να χρησιμοποιήσετε το πρόγραμμα tbt_make_one_spect.sh από το ThinkBioT Github. Απλώς ρίξτε το σε ένα φάκελο με το wav που θέλετε να μετατρέψετε σε φασματογράφημα ανοίξτε ένα παράθυρο Git Bash (ή τερματικό) και χρησιμοποιήστε τον παρακάτω κώδικα, αντικαθιστώντας το όνομα αρχείου σας.

sh tbt_make_one_spect.sh yourWavName.wav

4. Τώρα απλώς ανεβάστε το φασματογράφημα και ελέγξτε το αποτέλεσμά σας!

Βήμα 8: Εγκαταστήστε το μοντέλο σας στο ThinkBioT

Για να χρησιμοποιήσετε το νέο σας λαμπερό μοντέλο, απλώς αφήστε το μοντέλο και το αρχείο txt στο φάκελο CModel.

pi> ThinkBioT> ClassProcess> CModel

Τώρα είστε έτοιμοι να χρησιμοποιήσετε το ThinkBioT:)

** ΣΗΜΕΙΩΣΗ Εάν χρησιμοποιείτε το μοντέλο σας εκτός του πλαισίου ThinkBioT, θα πρέπει να επεξεργαστείτε το έγγραφο της ετικέτας σας ως πρόσθετους αριθμούς στην αρχή κάθε γραμμής, καθώς η τελευταία ενσωματωμένη λειτουργία "readlabels" των διερμηνέων tflite υποθέτει ότι είναι εκεί. Έχω γράψει μια προσαρμοσμένη συνάρτηση στο πλαίσιο ThinkBioT classify_spect.py ως έργο γύρω από το οποίο είστε ευπρόσδεκτοι να χρησιμοποιήσετε στον δικό σας κώδικα:)

def ReadLabelFile (file_path):

counter = 0 with open (file_path, 'r', encoding = 'utf-8') as f: lines = f.readlines () ret = {} for line in lines: ret [int (counter)] = line.strip () μετρητής = μετρητής + 1 επιστροφή επιστροφής