Οπτικοποίηση δεδομένων από το Magicbit στο AWS: 5 βήματα

2024 Συγγραφέας: John Day | [email protected]. Τελευταία τροποποίηση: 2024-01-30 08:32

Τα δεδομένα που συλλέγονται από αισθητήρες που συνδέονται με το Magicbit θα δημοσιεύονται στον πυρήνα AWS IOT μέσω MQTT για οπτικοποίηση σε πραγματικό χρόνο. Χρησιμοποιούμε το magicbit ως πίνακα ανάπτυξης σε αυτό το έργο που βασίζεται στο ESP32. Επομένως, οποιοσδήποτε πίνακας ανάπτυξης ESP32 μπορεί να χρησιμοποιηθεί σε αυτό το έργο.

Προμήθειες:

Magicbit

Βήμα 1: Ιστορία

Αυτό το έργο αφορά τη σύνδεση της συσκευής Magicbit στο AWS Cloud μέσω MQTT. Τα δεδομένα που αποστέλλονται μέσω MQTT αναλύονται και απεικονίζονται στο cloud χρησιμοποιώντας υπηρεσίες AWS. Ας ξεκινήσουμε λοιπόν

Πρώτα πρέπει να μεταβείτε στην Κονσόλα AWS και να συνδεθείτε. Για μαθησιακούς σκοπούς, μπορείτε να χρησιμοποιήσετε τη δωρεάν επιλογή επιπέδου που προσφέρει η AWS. Θα είναι αρκετό για αυτό το έργο.

Για να γίνει πιο απλό θα χωρίσω το έργο σε δύο ενότητες.

Αυτό θα είναι το πρώτο στάδιο του έργου μας. Στο τέλος του πρώτου σταδίου τα δεδομένα θα αποθηκευτούν στους κάδους S3.

Οι υπηρεσίες AWS που θα χρησιμοποιηθούν στην πρώτη ενότητα,

• Kinesis Firehose
• Κόλλα AWS
• AWS S3

Πρώτα μεταβείτε στην υπηρεσία AWS Kinesis.

Επιλέξτε Kinesis Data Firehose όπως φαίνεται παρακάτω και κάντε κλικ στο Δημιουργία

Στη συνέχεια, θα κατευθυνθείτε στο Βήμα 1 της δημιουργίας μιας υπηρεσίας Firehose. Εισαγάγετε ένα όνομα ροής παράδοσης και επιλέξτε Άμεση τοποθέτηση ή άλλες πηγές. Κάντε κλικ στο Επόμενο.

Στο παράθυρο Βήμα 2 αφήστε τα πάντα ως προεπιλεγμένα και κάντε κλικ στο επόμενο. Αφού δημιουργήσουμε την Υπηρεσία κόλλας AWS, θα επιστρέψουμε για να επεξεργαζόμαστε αυτό το βήμα.

Στο Βήμα 3 επιλέξτε έναν κάδο S3 εάν τον έχετε δημιουργήσει στο παρελθόν. Διαφορετικά, κάντε κλικ στην επιλογή δημιουργία και δημιουργία κάδου. Στην ενότητα προθέματος S3 χρησιμοποιήστε το dest/ και στο πρόθεμα σφάλματος εισάγετε το σφάλμα/. Μπορείτε να εισαγάγετε οποιοδήποτε όνομα για τα δύο παραπάνω. Αλλά για ευκολία θα συνεχίσουμε με ένα κοινό όνομα. Φροντίστε να δημιουργήσετε ένα φάκελο με το όνομα dest μέσα στον κάδο που επιλέξατε. Κάντε κλικ στο Επόμενο.

Στο βήμα 4 επιλέξτε το ελάχιστο μέγεθος buffer και διάστημα buffer για μεταφορά δεδομένων σε πραγματικό χρόνο. Στην ενότητα Άδεια, επιλέξτε Δημιουργία ή ενημέρωση ρόλου IAMKinesisFirehoseServiceRole. Διατηρήστε τα πάντα προεπιλεγμένα. Κάντε κλικ στο επόμενο.

Στην επόμενη ενότητα θα εμφανιστεί μια ανασκόπηση των αλλαγών που κάνατε. Κάντε κλικ στο OK. Στη συνέχεια, θα έχετε ένα λειτουργικό Kinesis Firehose.

Εάν δημιουργήσατε με επιτυχία την υπηρεσία Firehose, θα λάβετε κάτι τέτοιο.

Βήμα 2: Δοκιμή του Firehose και του κάδου S3

Για να ελέγξετε ότι ο κάδος πυρόσβεσης και ο κάδος S3 λειτουργούν σωστά, επιλέξτε τον πυρήνα IOT στην κονσόλα. Θα οδηγηθείτε σε μια τέτοια σελίδα. Επιλέξτε Κανόνας και δημιουργήστε έναν κανόνα.

Τι είναι ο κανόνας AWS IOT;

Χρησιμοποιείται για την προώθηση τυχόν δεδομένων που λαμβάνονται από το MQTT σε μια συγκεκριμένη υπηρεσία. Σε αυτό το παράδειγμα θα προωθήσουμε το Kinesis Firehose.

Επιλέξτε ένα όνομα για τον Κανόνα. Αφήστε τη δήλωση κανόνα και ερωτήματος ως έχει. Αυτό μας λέει ότι οτιδήποτε δημοσιευτεί στο θέμα iot/topic θα προωθηθεί στο kinesis Firehose μέσω αυτού του κανόνα.

Στην ενότητα Ορισμός μίας ή περισσότερων ενεργειών κάντε κλικ στην προσθήκη ενέργειας. Επιλέξτε Αποστολή μηνύματος στο Amazon Kinesis Firehose Stream. Επιλέξτε διαμόρφωση. Στη συνέχεια, επιλέξτε το όνομα της ροής firehose που δημιουργήθηκε νωρίτερα. Στη συνέχεια, κάντε κλικ στην επιλογή Δημιουργία ρόλου και δημιουργήστε έναν ρόλο. Τώρα έχετε δημιουργήσει με επιτυχία έναν ρόλο στο AWS.

Κάθε μήνυμα που δημοσιεύετε θα προωθείται μέσω του Kinesis Firehose στους κάδους S3.

Λάβετε υπόψη ότι το Firehose στέλνει δεδομένα όταν γεμίσει το buffer του ή όταν συμπληρωθεί το διάστημα buffer. Το ελάχιστο διάστημα buffer είναι 60 sec.

Τώρα μπορούμε να περάσουμε στο δεύτερο μέρος του έργου. Αυτό θα είναι το διάγραμμα ροής δεδομένων μας.

Βήμα 3: Διαμόρφωση κόλλας AWS

Γιατί χρειαζόμαστε AWS Glue και AWS Athena;

Τα δεδομένα που είναι αποθηκευμένα σε κάδους S3 δεν μπορούν να χρησιμοποιηθούν απευθείας ως είσοδο στο AWS Quicksight. Πρώτα πρέπει να τακτοποιήσουμε τα δεδομένα με τη μορφή πινάκων. Για αυτό χρησιμοποιούμε τις δύο παραπάνω υπηρεσίες.

Μεταβείτε στην κόλλα AWS. Επιλέξτε Ανίχνευση στην πλαϊνή γραμμή εργαλείων. Στη συνέχεια, επιλέξτε Προσθήκη ανίχνευσης.

Στο πρώτο βήμα, εισαγάγετε ένα όνομα ανίχνευσης για εσάς. Κάντε κλικ στο επόμενο. Στο επόμενο βήμα αφήστε το ως προεπιλογή. Στο τρίτο βήμα εισάγετε τη διαδρομή προς τον επιλεγμένο κάδο S3. Αφήστε το επόμενο παράθυρο ως προεπιλογή. Στο πέμπτο παράθυρο εισάγετε οποιονδήποτε ρόλο IAM. Στο επόμενο βήμα επιλέξαμε τη συχνότητα εκτέλεσης της υπηρεσίας.

Συνιστάται να επιλέξετε προσαρμοσμένο στο αναπτυσσόμενο πλαίσιο και να επιλέξετε έναν ελάχιστο χρόνο.

Στο επόμενο βήμα, κάντε κλικ στην επιλογή Προσθήκη βάσης δεδομένων και, στη συνέχεια, στο επόμενο. Κάντε κλικ στο Τέλος.

Τώρα θα πρέπει να ενσωματώσουμε το Kinesis Firehose μας με την κόλλα AWS που δημιουργήσαμε.

Μεταβείτε στο AWS Kinesis firehose που δημιουργήσαμε και κάντε κλικ στην επιλογή επεξεργασία.

Κάντε κύλιση προς τα κάτω στην ενότητα Μετατροπή μορφής εγγραφής και επιλέξτε Ενεργοποιημένη.

Επιλέχθηκε μορφή εξόδου ως παρκέ Apache. Για τις υπόλοιπες λεπτομέρειες συμπληρώστε τα στοιχεία της βάσης δεδομένων κόλλας που δημιουργήσατε. Ένας πίνακας πρέπει να δημιουργηθεί στη βάση δεδομένων και το όνομα πρέπει να προστεθεί σε αυτήν την ενότητα. Κάντε κλικ στην επιλογή Αποθήκευση.

Βήμα 4: Διαμόρφωση του AWS Athena

Επιλέξτε τη βάση δεδομένων και τον πίνακα δεδομένων που δημιουργήσατε. Στην ενότητα ερωτήματος θα πρέπει να προστεθεί αυτός ο κωδικός.

το όνομα πίνακα θα πρέπει να αντικατασταθεί από το πραγματικό όνομα του πίνακα κόλλας που δημιουργήσατε.

Κάντε κλικ στην επιλογή Εκτέλεση ερωτήματος. Εάν λειτουργεί, τα δεδομένα που είναι αποθηκευμένα στον κάδο AWS S3 θα πρέπει να εμφανίζονται ως πίνακας δεδομένων.

Τώρα είμαστε έτοιμοι να απεικονίσουμε τα δεδομένα που έχουμε.

Βήμα 5: Διαμόρφωση του QuickSight

Μεταβείτε στο AWS Quicksight

Κάντε κλικ στην επιλογή Νέα ανάλυση στην επάνω δεξιά γωνία και, στη συνέχεια, κάντε κλικ στην επιλογή Νέα βάση δεδομένων.

Επιλέξτε Αθηνά από τη λίστα. Εισαγάγετε οποιοδήποτε όνομα προέλευσης δεδομένων στην αναδυόμενη κάρτα.

Επιλέξτε τη βάση δεδομένων Κόλλα από το αναπτυσσόμενο πλαίσιο και τον σχετικό πίνακα. Αυτό θα σας οδηγήσει σε αυτήν τη σελίδα.

Σύρετε και αποθέστε οποιοδήποτε πεδίο από τη λίστα πεδίων και επιλέξτε οποιονδήποτε οπτικό τύπο.

Τώρα μπορείτε να οπτικοποιήσετε τυχόν δεδομένα που αποστέλλονται από το MagicBit σας χρησιμοποιώντας υπηρεσίες AWS !!!

Θυμηθείτε να επιτρέψετε την πρόσβαση για κινούμενη όραση για τους αντίστοιχους κάδους S3 για να απεικονίσετε τα δεδομένα σε αυτά.