Χρήση Sonar, Lidar και Computer Vision σε μικροελεγκτές για βοήθεια σε άτομα με προβλήματα όρασης: 16 βήματα

2024 Συγγραφέας: John Day | [email protected]. Τελευταία τροποποίηση: 2024-01-30 08:35

Θέλω να δημιουργήσω ένα ευφυές «μπαστούνι» που μπορεί να βοηθήσει τα άτομα με προβλήματα όρασης πολύ περισσότερο από τις υπάρχουσες λύσεις. Το μπαστούνι θα μπορεί να ειδοποιεί το χρήστη για αντικείμενα μπροστά ή στα πλάγια κάνοντας θόρυβο στα ακουστικά τύπου ήχου surround. Το ζαχαροκάλαμο θα διαθέτει επίσης μια μικρή κάμερα και LIDAR (Ανίχνευση και κλίση φωτός) έτσι ώστε να μπορεί να αναγνωρίζει αντικείμενα και άτομα στο δωμάτιο και να ειδοποιεί τον χρήστη χρησιμοποιώντας τα ακουστικά. Για λόγους ασφαλείας, τα ακουστικά δεν θα αποκλείσουν όλο το θόρυβο καθώς θα υπάρχει ένα μικρόφωνο που μπορεί να φιλτράρει όλους τους περιττούς ήχους και να κρατά τις κόρνες του αυτοκινήτου και τους ανθρώπους να μιλούν. Τέλος, το σύστημα θα διαθέτει GPS έτσι ώστε να μπορεί να δώσει οδηγίες και να δείξει στον χρήστη πού να πάει.

Παρακαλώ ψηφίστε με στους διαγωνισμούς Microcontroller και Outdoor Fitness!

Βήμα 1: Επισκόπηση του έργου

Σύμφωνα με την Παγκόσμια Πρόσβαση για Τυφλούς, η σωματική κίνηση είναι μία από τις μεγαλύτερες προκλήσεις για τους τυφλούς. Το ταξίδι ή η απλή βόλτα σε έναν πολυσύχναστο δρόμο μπορεί να είναι πολύ δύσκολο. Παραδοσιακά, η μόνη λύση ήταν η χρήση του κοινώς γνωστού «λευκού μπαστούνι», το οποίο χρησιμοποιείται κυρίως για τη σάρωση του περιβάλλοντος χτυπώντας τα εμπόδια που βρίσκονται κοντά στον χρήστη. Μια καλύτερη λύση θα ήταν μια συσκευή που θα μπορούσε να αντικαταστήσει τον βοηθό της όρασης παρέχοντας πληροφορίες σχετικά με τη θέση των εμποδίων, έτσι ώστε το τυφλό άτομο να μπορεί να βγει έξω σε άγνωστα περιβάλλοντα και να αισθανθεί ασφαλές. Κατά τη διάρκεια αυτού του έργου, αναπτύχθηκε μια μικρή συσκευή με μπαταρία που πληροί αυτά τα κριτήρια. Η συσκευή μπορεί να ανιχνεύσει το μέγεθος και τη θέση του αντικειμένου μέσω αισθητήρων που μετρούν τη θέση των αντικειμένων σε σχέση με τον χρήστη, μεταδίδουν αυτές τις πληροφορίες σε μικροελεγκτή και στη συνέχεια τις μετατρέπουν σε ήχο για να παρέχουν πληροφορίες στον χρήστη. Η συσκευή κατασκευάστηκε χρησιμοποιώντας το διαθέσιμο εμπορικό LIDAR (Ανίχνευση και βαθμολόγηση φωτός), SONAR (Sound Navigation and Ranging) και τεχνολογίες όρασης υπολογιστών συνδεδεμένες με μικροελεγκτές και προγραμματισμένες να παρέχουν την απαιτούμενη ηχητική έξοδο πληροφοριών χρησιμοποιώντας ακουστικά ή ακουστικά. Η τεχνολογία ανίχνευσης ήταν ενσωματωμένη σε ένα "λευκό μπαστούνι" για να δείξει σε άλλους την κατάσταση του χρήστη και να παρέχει πρόσθετη ασφάλεια.

Βήμα 2: Έρευνα στο παρασκήνιο

Το 2017, ο Παγκόσμιος Οργανισμός Υγείας ανέφερε ότι υπήρχαν 285 εκατομμύρια άτομα με προβλήματα όρασης παγκοσμίως, εκ των οποίων 39 εκατομμύρια ήταν εντελώς τυφλοί. Οι περισσότεροι άνθρωποι δεν σκέφτονται τα θέματα που αντιμετωπίζουν τα άτομα με προβλήματα όρασης καθημερινά. Σύμφωνα με την Παγκόσμια Πρόσβαση για Τυφλούς, η σωματική κίνηση είναι μία από τις μεγαλύτερες προκλήσεις για τους τυφλούς. Το ταξίδι ή η απλή βόλτα σε έναν πολυσύχναστο δρόμο μπορεί να είναι πολύ δύσκολο. Εξαιτίας αυτού, πολλοί άνθρωποι με προβλήματα όρασης προτιμούν να φέρουν έναν φίλο ή μέλος της οικογένειας με προβλήματα όρασης για να περιηγηθούν σε νέα περιβάλλοντα. Παραδοσιακά, η μόνη λύση ήταν η χρήση του κοινώς γνωστού «λευκού μπαστούνι», το οποίο χρησιμοποιείται κυρίως για τη σάρωση του περιβάλλοντος χτυπώντας τα εμπόδια που βρίσκονται κοντά στον χρήστη. Μια καλύτερη λύση θα ήταν μια συσκευή που θα μπορούσε να αντικαταστήσει τον βοηθό της όρασης παρέχοντας πληροφορίες σχετικά με τη θέση των εμποδίων, έτσι ώστε το τυφλό άτομο να μπορεί να βγει έξω σε άγνωστα περιβάλλοντα και να αισθανθεί ασφαλές. Το NavCog, μια συνεργασία μεταξύ της IBM και του Πανεπιστημίου Carnegie Mellon, προσπάθησε να λύσει το πρόβλημα δημιουργώντας ένα σύστημα που χρησιμοποιεί φάρους Bluetooth και smartphones για να βοηθήσει τον οδηγό. Ωστόσο, η λύση ήταν δυσκίνητη και αποδείχθηκε πολύ δαπανηρή για εφαρμογές μεγάλης κλίμακας. Η λύση μου αντιμετωπίζει αυτό εξαλείφοντας κάθε ανάγκη για εξωτερικές συσκευές και χρησιμοποιώντας μια φωνή που καθοδηγεί τον χρήστη όλη την ημέρα (Εικόνα 3). Το πλεονέκτημα της ενσωμάτωσης της τεχνολογίας σε ένα "λευκό μπαστούνι" είναι ότι σηματοδοτεί τον υπόλοιπο κόσμο για την κατάσταση του χρήστη που προκαλεί αλλαγή στη συμπεριφορά των γύρω ανθρώπων.

Βήμα 3: Απαιτήσεις σχεδιασμού

Αφού ερεύνησα τις διαθέσιμες τεχνολογίες, συζήτησα πιθανές λύσεις με επαγγελματίες της όρασης σχετικά με την καλύτερη προσέγγιση για να βοηθήσω τα άτομα με προβλήματα όρασης να περιηγηθούν στο περιβάλλον τους. Ο παρακάτω πίνακας παραθέτει τις σημαντικότερες δυνατότητες που απαιτούνται για τη μετάβαση στη συσκευή μου.

Χαρακτηριστικό - Περιγραφή:

• Υπολογισμός - Το σύστημα πρέπει να παρέχει γρήγορη επεξεργασία για τις πληροφορίες που ανταλλάσσονται μεταξύ του χρήστη και των αισθητήρων. Για παράδειγμα, το σύστημα πρέπει να είναι σε θέση να ενημερώνει τον χρήστη για εμπόδια που βρίσκονται μπροστά και απέχουν τουλάχιστον 2 μέτρα.
• Κάλυψη - Το σύστημα πρέπει να παρέχει τις υπηρεσίες του σε εσωτερικούς και εξωτερικούς χώρους για τη βελτίωση της ποιότητας της ζωής των ατόμων με προβλήματα όρασης.
• Timeρα - Το σύστημα πρέπει να λειτουργεί τόσο τη μέρα όσο και τη νύχτα.
• Εύρος - Το εύρος είναι η απόσταση μεταξύ του χρήστη και του αντικειμένου που πρέπει να ανιχνευθεί από το σύστημα. Το ιδανικό ελάχιστο εύρος είναι 0,5 m, ενώ το μέγιστο εύρος πρέπει να είναι μεγαλύτερο από 5 m. Περαιτέρω αποστάσεις θα ήταν ακόμη καλύτερες αλλά πιο απαιτητικές για υπολογισμό.
• Τύπος αντικειμένου - Το σύστημα θα πρέπει να εντοπίζει την ξαφνική εμφάνιση αντικειμένων. Το σύστημα θα πρέπει να είναι σε θέση να διακρίνει τη διαφορά μεταξύ κινούμενων αντικειμένων και στατικών αντικειμένων.

Βήμα 4: Μηχανική σχεδίαση και επιλογή εξοπλισμού

Αφού εξέτασα πολλά διαφορετικά εξαρτήματα, αποφάσισα μέρη που επιλέχθηκαν από τις διάφορες κατηγορίες παρακάτω.

Τιμή επιλεγμένων ανταλλακτικών:

• Zungle Panther: 149,99 $
• LiDAR Lite V3: 149,99 $
• LV-MaxSonar-EZ1: 29,95 $
• Αισθητήρας υπερήχων - HC -SR04: 3,95 $
• Raspberry Pi 3: 39,95 $
• Arduino: 24,95 $
• Kinect: 32,44 $
• Floureon 11.1v 3s 1500mAh: 19,99 $
• LM2596HV: 9,64 $

Βήμα 5: Επιλογή εξοπλισμού: Μέθοδος αλληλεπίδρασης

Αποφάσισα να χρησιμοποιήσω τον φωνητικό έλεγχο ως τη μέθοδο αλληλεπίδρασης με τη συσκευή, επειδή η ύπαρξη πολλαπλών κουμπιών σε ένα μπαστούνι μπορεί να είναι πρόκληση για άτομα με προβλήματα όρασης, ειδικά εάν ορισμένες λειτουργίες απαιτούσαν συνδυασμό κουμπιών. Με το φωνητικό έλεγχο, ο χρήστης μπορεί να χρησιμοποιήσει προκαθορισμένες εντολές για να επικοινωνήσει με το μπαστούνι που μειώνει τα πιθανά σφάλματα.

Συσκευή: Πλεονεκτήματα --- Μειονεκτήματα:

• Κουμπιά: Κανένα σφάλμα εντολής όταν πατήσετε το δεξί κουμπί --- Μπορεί να είναι δύσκολο να διασφαλίσετε ότι πατάτε τα σωστά κουμπιά
• Φωνητικός έλεγχος: Εύκολος επειδή ο χρήστης μπορεί να χρησιμοποιήσει προκαθορισμένες εντολές --- Η εσφαλμένη προφορά μπορεί να προκαλέσει σφάλματα

Βήμα 6: Επιλογή εξοπλισμού: Μικροελεγκτής

Η συσκευή χρησιμοποίησε το Raspberry Pi λόγω του χαμηλού κόστους και της επαρκούς ισχύος επεξεργασίας για τον υπολογισμό του χάρτη βάθους. Το Intel Joule θα ήταν η προτιμώμενη επιλογή, αλλά η τιμή του θα είχε διπλασιάσει το κόστος του συστήματος, το οποίο δεν θα ήταν ιδανικό για αυτήν τη συσκευή, η οποία έχει αναπτυχθεί για να προσφέρει μια επιλογή χαμηλότερου κόστους για τους χρήστες. Το arduino χρησιμοποιήθηκε στο σύστημα επειδή μπορεί εύκολα να λάβει πληροφορίες από αισθητήρες. Το BeagleBone και το Intel Edison δεν χρησιμοποιήθηκαν λόγω της χαμηλής σχέσης τιμής προς απόδοσης που είναι κακό για αυτό το σύστημα χαμηλού κόστους.

Μικροελεγκτής: Πλεονεκτήματα --- Μειονεκτήματα:

• Raspberry Pi: Έχει αρκετή επεξεργαστική ισχύ για την εύρεση εμποδίων και έχει ενσωματωμένο WiFi/Bluetooth --- Δεν υπάρχουν πολλές επιλογές για λήψη δεδομένων από αισθητήρες
• Arduino: Λάβετε εύκολα δεδομένα από μικρούς αισθητήρες. δηλ. LIDAR, Υπερήχων, SONAR, κλπ --- Δεν υπάρχει αρκετή επεξεργαστική ισχύς για την εύρεση εμποδίων
• Intel Edison: Μπορεί να επεξεργαστεί εμπόδια γρήγορα με γρήγορο επεξεργαστή --- Απαιτεί επιπλέον κομμάτια προγραμματιστή για να λειτουργήσει για το σύστημα
• Intel Joule: Έχει διπλή ταχύτητα επεξεργασίας οποιουδήποτε από τους μικροελεγκτές στην καταναλωτική αγορά μέχρι σήμερα --- Πολύ υψηλό κόστος για αυτό το σύστημα και δύσκολο να αλληλεπιδράσει με το GPIO για αλληλεπίδραση αισθητήρα
• BeagleBone Black: Συμπαγές και συμβατό με τους αισθητήρες που χρησιμοποιούνται στο έργο χρησιμοποιώντας την Έξοδο εισόδου γενικού σκοπού (GPIO) --- Δεν υπάρχει αρκετή ισχύ επεξεργασίας για αποτελεσματική εύρεση αντικειμένων

Βήμα 7: Επιλογή εξοπλισμού: Αισθητήρες

Χρησιμοποιείται ένας συνδυασμός αρκετών αισθητήρων για να επιτευχθεί υψηλή ακρίβεια τοποθεσίας. Το Kinect είναι ο κύριος αισθητήρας λόγω της έκτασης της περιοχής που μπορεί να σαρώσει για εμπόδια ταυτόχρονα. Το LIDAR που σημαίνει LIght Detection and Ranging, είναι μια μέθοδος τηλεπισκόπησης που χρησιμοποιεί το φως με τη μορφή παλμικού λέιζερ για τη μέτρηση των αποστάσεων από το σημείο που βρίσκεται ο αισθητήρας στα γρήγορα αντικείμενα. αυτός ο αισθητήρας χρησιμοποιείται επειδή μπορεί να εντοπίσει μια περιοχή έως και 40 μέτρα (m) μακριά και δεδομένου ότι μπορεί να σαρώσει σε διάφορες γωνίες, μπορεί να ανιχνεύσει αν κάποια βήματα ανεβαίνουν ή κατεβαίνουν. Οι αισθητήρες SOND Navigation And Ranging (SONAR) και υπερήχων χρησιμοποιούνται ως εφεδρική παρακολούθηση σε περίπτωση που το Kinect χάσει έναν πόλο ή χτύπημα στο έδαφος που θα αποτελούσε κίνδυνο για τον χρήστη. Ο αισθητήρας 9 βαθμών ελευθερίας χρησιμοποιείται για την παρακολούθηση της κατεύθυνσης που αντιμετωπίζει ο χρήστης, έτσι ώστε η συσκευή να μπορεί να αποθηκεύσει τις πληροφορίες για υψηλότερη ακρίβεια κατευθύνοντας την επόμενη φορά που το άτομο θα περπατήσει στο ίδιο σημείο.

Αισθητήρες: Πλεονεκτήματα --- Μειονεκτήματα:

• Kinect V1: Μπορεί να παρακολουθεί τρισδιάστατα αντικείμενα με --- Μόνο μία κάμερα για τον εντοπισμό περιβάλλοντος
• Kinect V2: Διαθέτει 3 κάμερες υπέρυθρης ακτινοβολίας και μια κόκκινη, πράσινη, μπλε, βάθος (RGB-D) για ανίχνευση αντικειμένων 3D υψηλής ακρίβειας --- Μπορεί να ζεσταθεί και μπορεί να χρειαστεί ανεμιστήρας ψύξης και είναι μεγαλύτερη από άλλους αισθητήρες
• LIDAR: Δοκός που μπορεί να εντοπίσει τοποθεσίες έως και 40 μέτρα μακριά --- Πρέπει να τοποθετηθεί προς το αντικείμενο και μπορεί να κοιτάξει μόνο προς αυτήν την κατεύθυνση
• SONAR: Δοκός που μπορεί να εντοπίσει 5 μέτρα μακριά αλλά σε μεγάλη απόσταση --- Μικρά αντικείμενα όπως τα φτερά μπορούν να ενεργοποιήσουν τον αισθητήρα
• Υπερήχων: Έχει εμβέλεια έως 3 μέτρα και είναι πολύ φθηνό --- Οι αποστάσεις μπορεί περιστασιακά να είναι ανακριβείς
• Αισθητήρας 9 βαθμών ελευθερίας: Καλός για την ανίχνευση του προσανατολισμού και της ταχύτητας του χρήστη --- Εάν κάτι παρεμβαίνει στους αισθητήρες, οι υπολογισμοί της απόστασης μπορούν να υπολογιστούν λανθασμένα

Βήμα 8: Επιλογή εξοπλισμού: Λογισμικό

Το επιλεγμένο λογισμικό για τα πρώτα πρωτότυπα που κατασκευάστηκαν με τον αισθητήρα Kinect V1 ήταν Freenect, αλλά δεν ήταν πολύ ακριβές. Κατά την εναλλαγή σε Kinect V2 και Freenect2, τα αποτελέσματα παρακολούθησης βελτιώθηκαν σημαντικά λόγω της βελτιωμένης παρακολούθησης καθώς το V2 διαθέτει κάμερα HD και 3 κάμερες υπερύθρων σε αντίθεση με μία μόνο κάμερα στο Kinect V1. Όταν χρησιμοποιούσα το OpenNi2 με το Kinect V1, οι λειτουργίες ήταν περιορισμένες και δεν μπορούσα να ελέγξω μερικές από τις λειτουργίες της συσκευής.

Λογισμικό: Πλεονεκτήματα --- Μειονεκτήματα:

• Freenect: Έχει χαμηλότερο επίπεδο ελέγχου για τον έλεγχο όλων --- Υποστηρίζει μόνο το Kinect V1
• OpenNi2: Μπορεί εύκολα να δημιουργήσει τα δεδομένα του cloud cloud από τη ροή πληροφοριών από το Kinect --- Υποστηρίζει μόνο το Kinect V1 και δεν υποστηρίζει έλεγχο χαμηλού επιπέδου
• Freenect2: Έχει χαμηλότερο επίπεδο ελέγχου για τη γραμμή αισθητήρων --- Λειτουργεί μόνο για το Kinect V2
• ROS: Λειτουργικό σύστημα ιδανικό για προγραμματισμό λειτουργιών κάμερας --- Πρέπει να εγκατασταθεί σε μια γρήγορη κάρτα SD έτσι ώστε το λογισμικό να λειτουργεί

Βήμα 9: Επιλογή εξοπλισμού: Άλλα ανταλλακτικά

Οι μπαταρίες ιόντων λιθίου επιλέχθηκαν λόγω ελαφριάς, υψηλής χωρητικότητας και επαναφορτιζόμενης. Η παραλλαγή 18650 της μπαταρίας ιόντων λιθίου έχει κυλινδρικό σχήμα και ταιριάζει απόλυτα στο πρωτότυπο του μπαστούνι. Το 1ο πρωτότυπο μπαστούνι είναι κατασκευασμένο από σωλήνα PVC επειδή είναι κοίλο και μειώνει το βάρος του μπαστούνι.

Βήμα 10: Ανάπτυξη συστήματος: Δημιουργία υλικού Μέρος 1

Πρώτα πρέπει να αποσυναρμολογήσουμε το Kinect για να το κάνουμε πιο ελαφρύ και έτσι ώστε να ταιριάζει στο εσωτερικό του μπαστούνι. Ξεκίνησα αφαιρώντας όλο το εξωτερικό περίβλημα από το Kinect καθώς το πλαστικό που χρησιμοποιείται ζυγίζει πολύ. Στη συνέχεια έπρεπε να κόψω το καλώδιο ώστε να αφαιρεθεί η βάση. Πήρα τα καλώδια από το βύσμα που φαίνεται στην εικόνα και τα κόλλησα σε ένα καλώδιο usb με καλώδια σήματος και οι άλλες δύο συνδέσεις ήταν για την ισχύ εισόδου 12V. Δεδομένου ότι ήθελα ο ανεμιστήρας μέσα στο καλάμι να λειτουργεί σε πλήρη ισχύ για να κρυώσει όλα τα άλλα εξαρτήματα, έκοψα τον σύνδεσμο από τον ανεμιστήρα από το Kinect και ένωσα 5V από το Raspberry Pi. Έφτιαξα επίσης έναν μικρό προσαρμογέα για το σύρμα LiDAR, έτσι ώστε να μπορεί να συνδεθεί απευθείας στο Raspberry Pi χωρίς κανένα άλλο σύστημα στο μεταξύ.

Κόλλησα κατά λάθος το λευκό σύρμα στο μαύρο, οπότε μην κοιτάτε τις εικόνες για διαγράμματα καλωδίωσης

Βήμα 11: Ανάπτυξη συστήματος: Δημιουργία υλικού Μέρος 2

Δημιούργησα ένα κομμάτι ρυθμιστή για να παρέχω ενέργεια σε όλες τις συσκευές που απαιτούν 5V, όπως το Raspberry Pi. Ρύθμισα τον ρυθμιστή βάζοντας έναν μετρητή στην έξοδο και ρυθμίζοντας την αντίσταση έτσι ώστε ο ρυθμιστής να παρέχει 5,05V. Το έθεσα λίγο υψηλότερο από 5V επειδή με την πάροδο του χρόνου, η τάση της μπαταρίας μειώνεται και επηρεάζει ελαφρώς την τάση εξόδου. Έφτιαξα επίσης έναν προσαρμογέα που μου επιτρέπει να τροφοδοτήσω έως και 5 συσκευές που απαιτούν τα 12V από την μπαταρία.

Βήμα 12: Ανάπτυξη συστήματος: Προγραμματισμός του συστήματος Μέρος 1

Ένα από τα πιο δύσκολα μέρη αυτού του συστήματος είναι ο προγραμματισμός. Όταν πήρα για πρώτη φορά το Kinect να παίξει με αυτό, εγκατέστησα ένα πρόγραμμα που ονομάζεται RTAB Map, το οποίο παίρνει τη ροή δεδομένων από το Kinect και το μετατρέπει σε ένα σημείο σύννεφο. Με το σύννεφο σημείου, δημιούργησε μια τρισδιάστατη εικόνα που μπορεί να περιστραφεί, οπότε δείτε το βάθος του τόπου όπου βρίσκονται όλα τα αντικείμενα. Αφού το έπαιξα για λίγο και προσαρμόστηκα όλες τις ρυθμίσεις, αποφάσισα να εγκαταστήσω κάποιο λογισμικό στο Raspberry Pi για να μου επιτρέψει να δω τη ροή δεδομένων από το Kinect. Οι δύο τελευταίες εικόνες παραπάνω δείχνουν τι μπορεί να παράγει το Raspberry Pi με ταχύτητα περίπου 15-20 καρέ ανά δευτερόλεπτο.