Αυτόνομο drone με κάμερα υπερύθρων για να βοηθήσει τους πρώτους ανταποκριτές: 7 βήματα

2024 Συγγραφέας: John Day | [email protected]. Τελευταία τροποποίηση: 2024-01-30 08:34

Σύμφωνα με έκθεση του Παγκόσμιου Οργανισμού Υγείας, κάθε χρόνο φυσικές καταστροφές σκοτώνουν περίπου 90.000 ανθρώπους και πλήττουν σχεδόν 160 εκατομμύρια ανθρώπους παγκοσμίως. Οι φυσικές καταστροφές περιλαμβάνουν σεισμούς, τσουνάμι, ηφαιστειακές εκρήξεις, κατολισθήσεις, τυφώνες, πλημμύρες, πυρκαγιές, κύματα καύσωνα και ξηρασίες. Ο χρόνος είναι ουσιαστικός καθώς η πιθανότητα επιβίωσης αρχίζει να μειώνεται κάθε λεπτό που περνά. Οι πρώτοι ανταποκριτές μπορεί να έχουν πρόβλημα με τον εντοπισμό επιζώντων σε σπίτια που έχουν υποστεί ζημιά και θέτουν σε κίνδυνο τη ζωή τους ενώ τους αναζητούν. Η ύπαρξη ενός συστήματος που μπορεί να εντοπίσει άτομα από απόσταση θα αυξήσει σημαντικά την ταχύτητα με την οποία οι πρώτοι ανταποκριτές θα είναι σε θέση να τους απομακρύνουν από τα κτίρια. Μετά από έρευνα σε άλλα συστήματα, διαπίστωσα ότι ορισμένες εταιρείες δημιούργησαν ρομπότ που βασίζονται στη γη ή έχουν δημιουργήσει drones που μπορούν να παρακολουθούν ανθρώπους αλλά να λειτουργούν μόνο έξω από κτίρια. Ο συνδυασμός καμερών βάθους μαζί με ειδικές κάμερες υπερύθρων μπορούν να επιτρέψουν την ακριβή παρακολούθηση του εσωτερικού χώρου και την ανίχνευση των αλλαγών θερμοκρασίας που αντιπροσωπεύουν τη φωτιά, τους ανθρώπους και τα ζώα. Με την εφαρμογή αισθητήρων με προσαρμοσμένο αλγόριθμο σε μη επανδρωμένα αεροσκάφη (UAV), θα είναι δυνατή η αυτόνομη επιθεώρηση των σπιτιών και ο εντοπισμός της θέσης των ανθρώπων και των ζώων για τη διάσωσή τους το συντομότερο δυνατό.

Παρακαλώ ψηφίστε με στον διαγωνισμό Optics!

Βήμα 1: Απαιτήσεις σχεδιασμού

Αφού ερεύνησα τις διαθέσιμες τεχνολογίες, συζήτησα πιθανές λύσεις με ειδικούς μηχανικής όρασης και έναν πρώτο ανταποκριτή για να βρω την καλύτερη μέθοδο για τον εντοπισμό επιζώντων σε επικίνδυνες περιοχές. Οι παρακάτω πληροφορίες παραθέτουν τα σημαντικότερα χαρακτηριστικά που απαιτούνται και στοιχεία σχεδιασμού για το σύστημα.

• Επεξεργασία οράματος - Το σύστημα πρέπει να παρέχει γρήγορη ταχύτητα επεξεργασίας για τις ανταλλασσόμενες πληροφορίες μεταξύ των αισθητήρων και της απόκρισης Τεχνητής Νοημοσύνης (AI). Για παράδειγμα, το σύστημα πρέπει να είναι σε θέση να ανιχνεύει τοίχους και εμπόδια για να τα αποφύγει, ενώ βρίσκει επίσης ανθρώπους που κινδυνεύουν.
• Αυτόνομο - Το σύστημα πρέπει να είναι σε θέση να λειτουργεί χωρίς την είσοδο χρήστη ή χειριστή. Προσωπικό με ελάχιστη εμπειρία στην τεχνολογία UAV θα πρέπει να μπορεί να πατήσει ένα ή μερικά κουμπιά για να ξεκινήσει το σύστημα τη σάρωση από μόνο του.
• Εύρος - Το εύρος είναι η απόσταση μεταξύ του συστήματος και όλων των άλλων αντικειμένων σε εγγύτητα. Το σύστημα θα πρέπει να μπορεί να ανιχνεύει διαδρόμους και εισόδους από απόσταση τουλάχιστον 5 μέτρων. Το ιδανικό ελάχιστο εύρος είναι 0,25 m, ώστε να μπορούν να ανιχνευθούν κοντινά αντικείμενα. Όσο μεγαλύτερο είναι το εύρος ανίχνευσης, τόσο μικρότερος είναι ο χρόνος ανίχνευσης για τους επιζώντες.
• Ακρίβεια πλοήγησης και ανίχνευσης - Το σύστημα θα πρέπει να μπορεί να βρίσκει με ακρίβεια όλες τις εισόδους και να μην χτυπά κανένα αντικείμενο ενώ ανιχνεύει επίσης την ξαφνική εμφάνιση αντικειμένων. Το σύστημα πρέπει να είναι σε θέση να βρει τη διαφορά μεταξύ ανθρώπων και μη ζωντανών αντικειμένων μέσω διαφόρων αισθητήρων.
• Διάρκεια Λειτουργίας - Το σύστημα θα πρέπει να μπορεί να διαρκέσει 10 λεπτά ή περισσότερο ανάλογα με το πόσα δωμάτια χρειάζεται για σάρωση.
• Ταχύτητα - Θα πρέπει να είναι σε θέση να σαρώσει ολόκληρο το κτίριο σε λιγότερο από 10 λεπτά.

Βήμα 2: Επιλογή εξοπλισμού: Μέθοδος κινητικότητας

Το quadcopter επιλέχθηκε από ένα αυτοκίνητο τηλεχειριστηρίου επειδή παρόλο που το quadcopter είναι εύθραυστο, είναι ευκολότερο να ελέγχεται και να αλλάζει ύψος για να αποφευχθούν εμπόδια. Το quadcopter μπορεί να κρατήσει όλους τους αισθητήρες και να τους σταθεροποιήσει έτσι ώστε να είναι πιο ακριβείς ενώ μετακινείστε σε διαφορετικά δωμάτια. Οι έλικες είναι κατασκευασμένες από ανθρακονήματα που είναι ανθεκτικές στη θερμότητα. Οι αισθητήρες απομακρύνονται από τους τοίχους για να αποτρέψουν ατυχήματα.

• Τηλεχειριστήριο Χερσαίου Οχήματος

  • Πλεονεκτήματα - Μπορεί να κινηθεί γρήγορα χωρίς πτώση και δεν επηρεάζεται από τη θερμοκρασία
  • Μειονεκτήματα - Το όχημα θα έβαζε τους αισθητήρες χαμηλά στο έδαφος καλύπτοντας λιγότερη περιοχή κάθε φορά και μπορεί να μπλοκαριστεί από εμπόδια

• Quadcopter

  • Πλεονεκτήματα - Σηκώνει τους αισθητήρες στον αέρα για να έχετε 360 ° θέα στο περιβάλλον
  • Μειονεκτήματα - Εάν πέσει σε έναν τοίχο, μπορεί να πέσει και να μην ανακάμψει

Βήμα 3: Επιλογή εξοπλισμού: Μικροελεγκτές

Οι δύο βασικές απαιτήσεις για τους μικροελεγκτές είναι το μικρό μέγεθος για να μειωθεί το ωφέλιμο φορτίο στο τετρακόπτερο και η ταχύτητα για την ταχεία επεξεργασία της εισόδου πληροφοριών. Ο συνδυασμός του Rock64 και του DJI Naza είναι ο τέλειος συνδυασμός μικροελεγκτών καθώς το Rock64 έχει επαρκή επεξεργαστική ισχύ για να ανιχνεύει γρήγορα ανθρώπους και να εμποδίζει το quadcopter να πέφτει σε τοίχους και εμπόδια. Ο DJI Naza το επαινεί καλά κάνοντας όλη τη σταθεροποίηση και τον έλεγχο του κινητήρα που δεν μπορεί να κάνει το Rock64. Οι μικροελεγκτές επικοινωνούν μέσω σειριακής θύρας και επιτρέπουν τον έλεγχο του χρήστη εάν είναι απαραίτητο. Το Raspberry Pi θα ήταν μια καλή εναλλακτική λύση, αλλά επειδή το Rock64 είχε καλύτερο επεξεργαστή και καλύτερη συνδεσιμότητα με τους αισθητήρες που παρατίθενται στον επόμενο πίνακα, το Pi δεν επιλέχθηκε. Τα Intel Edison και Pixhawk δεν επιλέχθηκαν λόγω της έλλειψης υποστήριξης και συνδεσιμότητας.

• Raspberry Pi

  • Πλεονεκτήματα - Μπορεί να ανιχνεύσει τοίχους και σταθερά αντικείμενα
  • Μειονεκτήματα - Παλεύει να συμβαδίσει με τα δεδομένα όλων των αισθητήρων, οπότε δεν μπορεί να δει αρκετά γρήγορα τις εισόδους. Δεν μπορεί να εξάγει σήματα κινητήρα και δεν διαθέτει αισθητήρες σταθεροποίησης για το τετρακόπτερο

• Rock64

  • Πλεονεκτήματα - Δυνατότητα ανίχνευσης τοίχων και εισόδων με μικρή καθυστέρηση.
  • Μειονεκτήματα - Επίσης σε θέση να καθοδηγήσει το σύστημα σε όλο το σπίτι χωρίς να αντιμετωπίσει τίποτα χρησιμοποιώντας όλους τους αισθητήρες. Δεν είναι σε θέση να στείλει σήματα αρκετά γρήγορα για να ελέγξει την ταχύτητα του κινητήρα και δεν διαθέτει αισθητήρες σταθεροποίησης για το τετρακόπτερο

• Intel Edison

  • Πλεονεκτήματα - Δυνατότητα ανίχνευσης τοίχων και εισόδων με κάποια υστέρηση
  • Μειονεκτήματα - Παλαιότερη τεχνολογία, πολλοί από τους αισθητήρες θα χρειάζονταν νέες βιβλιοθήκες που είναι πολύ χρονοβόρο για να δημιουργηθούν
• DJI Naza
  • Πλεονεκτήματα - Διαθέτει ενσωματωμένο γυροσκόπιο, επιταχυνσιόμετρο και μαγνητόμετρο, για να επιτρέψει στο τετράπτερο να είναι σταθερό στον αέρα με μικρορυθμίσεις στην ταχύτητα του κινητήρα
  • Μειονεκτήματα - Δεν είναι δυνατή η επεξεργασία οποιουδήποτε είδους όρασης

• Pixhawk

  • Πλεονεκτήματα - Συμπαγές και συμβατό με αισθητήρες που χρησιμοποιούνται στο έργο χρησιμοποιώντας την Έξοδο εισόδου γενικού σκοπού (GPIO)
  • Μειονεκτήματα - Δεν είναι δυνατή η επεξεργασία οποιουδήποτε είδους όρασης

Βήμα 4: Επιλογή εξοπλισμού: Αισθητήρες

Χρησιμοποιείται ένας συνδυασμός αρκετών αισθητήρων για να ληφθούν όλες οι πληροφορίες που απαιτούνται για την εύρεση ανθρώπων σε επικίνδυνες περιοχές. Οι δύο κύριοι αισθητήρες που επιλέχθηκαν περιλαμβάνουν τη στερεοφωνική κάμερα υπερύθρων μαζί με το SOund Navigation And Ranging (SONAR). Μετά από μερικές δοκιμές, αποφάσισα να χρησιμοποιήσω την κάμερα Realsense D435 επειδή είναι μικρή και είναι σε θέση να παρακολουθεί με ακρίβεια αποστάσεις έως και 20 μέτρα μακριά. Λειτουργεί με ταχύτητα 90 καρέ ανά δευτερόλεπτο που επιτρέπει πολλές μετρήσεις να ληφθούν πριν από τη λήψη απόφασης σχετικά με το πού βρίσκονται τα αντικείμενα και σε ποια κατεύθυνση πρέπει να κατευθυνθεί το τετρακόπτερο. Οι αισθητήρες SONAR τοποθετούνται στο πάνω και κάτω μέρος του συστήματος για να επιτρέπουν στο τετρακόπτερο να γνωρίζει πόσο ψηλά ή χαμηλά επιτρέπεται να φτάσει πριν έρθει σε επαφή με μια επιφάνεια. Υπάρχει επίσης ένα τοποθετημένο στραμμένο προς τα εμπρός για να επιτρέπει στο σύστημα να ανιχνεύει αντικείμενα όπως το γυαλί που ο αισθητήρας στερεοφωνικής υπέρυθρης κάμερας δεν μπορεί να εντοπίσει. Οι άνθρωποι και τα ζώα ανιχνεύονται χρησιμοποιώντας αλγόριθμους αναγνώρισης κίνησης και αντικειμένου. Η κάμερα FLIR θα εφαρμοστεί για να βοηθήσει τη στερεοφωνική κάμερα υπερύθρων να παρακολουθεί τι ζει και τι όχι για να αυξήσει την αποδοτικότητα της σάρωσης σε αντίξοες συνθήκες.

• Kinect V1

  • Πλεονεκτήματα - Μπορεί να παρακολουθεί αντικείμενα 3D εύκολα έως και 6 μέτρα μακριά
  • Μειονεκτήματα -Διαθέτει μόνο 1 αισθητήρα υπέρυθρης ακτινοβολίας και είναι πολύ βαρύ για quadcopter

• Realsense D435

  • Πλεονεκτήματα - Διαθέτει 2 κάμερες υπέρυθρης ακτινοβολίας και μια κόκκινη, πράσινη, μπλε, βάθος (RGB -D) για ανίχνευση αντικειμένων υψηλής ακρίβειας σε απόσταση έως και 25 μέτρων. Έχει πλάτος 6 εκ. Επιτρέποντας την εύκολη εφαρμογή στο τετράπτερο
  • Μειονεκτήματα - Μπορεί να ζεσταθεί και μπορεί να χρειαστεί ανεμιστήρας ψύξης

• LIDAR

  • Πλεονεκτήματα - Δοκάρι που μπορεί να παρακολουθήσει τοποθεσίες έως και 40 μέτρα μακριά στην οπτική του όραση
  • Μειονεκτήματα - Η θερμότητα στο περιβάλλον μπορεί να επηρεάσει την ακρίβεια της μέτρησης

• ΥΠΟΒΡΥΧΙΟ ΡΑΝΤΑΡ

  • Πλεονεκτήματα - Δοκός που μπορεί να εντοπίσει 15 μέτρα μακριά αλλά είναι σε θέση να ανιχνεύσει διαφανή αντικείμενα όπως γυαλί και ακρυλικό
  • Μειονεκτήματα - Μόνο σημεία σε μια οπτική γωνία, αλλά μπορούν να μετακινηθούν από το τετράπτερο για σάρωση στην περιοχή

• Υπερηχητικός

  • Πλεονεκτήματα - Έχει εμβέλεια έως 3 m και είναι πολύ φθηνό
  • Μειονεκτήματα - Μόνο σημεία σε μια οπτική γωνία και μπορεί να είναι πολύ εύκολα εκτός εύρους απόστασης

• Κάμερα FLIR

  • Πλεονεκτήματα - Δυνατότητα λήψης εικόνων σε βάθος μέσω καπνού χωρίς παρεμβολές και μπορεί να ανιχνεύσει ζωντανούς ανθρώπους μέσω θερμικών υπογραφών
  • Μειονεκτήματα - Εάν κάτι παρεμβαίνει στους αισθητήρες, οι υπολογισμοί απόστασης μπορούν να υπολογιστούν λανθασμένα

• Αισθητήρας PIR

  • Πλεονεκτήματα - Δυνατότητα ανίχνευσης αλλαγής θερμοκρασίας
  • Μειονεκτήματα - Δεν είναι δυνατό να εντοπιστεί πού βρίσκεται η διαφορά θερμοκρασίας

Βήμα 5: Επιλογή εξοπλισμού: Λογισμικό

Χρησιμοποίησα το Realsense SDK μαζί με το λειτουργικό σύστημα ρομπότ (ROS) για να δημιουργήσω μια απρόσκοπτη ολοκλήρωση μεταξύ όλων των αισθητήρων με τον μικροελεγκτή. Το SDK παρείχε μια σταθερή ροή των δεδομένων σημειακού νέφους που ήταν ιδανικό για την παρακολούθηση όλων των αντικειμένων και των ορίων του τετρακόπτερου. Το ROS με βοήθησε να στείλω όλα τα δεδομένα αισθητήρων στο πρόγραμμα που δημιούργησα και το οποίο εφαρμόζει Τεχνητή Νοημοσύνη. Το AI αποτελείται από αλγόριθμους ανίχνευσης αντικειμένων και αλγόριθμους ανίχνευσης κίνησης που επιτρέπουν στο τετρακόπτερο να βρίσκει κίνηση στο περιβάλλον του. Ο ελεγκτής χρησιμοποιεί διαμόρφωση πλάτους σφυγμού (PWM) για τον έλεγχο της θέσης του τετρακόπτερου.

• Freenect

  • Πλεονεκτήματα - Έχει χαμηλότερο επίπεδο πρόσβασης για τον έλεγχο των πάντων
  • Μειονεκτήματα - Υποστηρίζει μόνο το Kinect V1

• Realsense SDK

  • Πλεονεκτήματα - Μπορεί εύκολα να δημιουργήσει δεδομένα σημείου cloud από τη ροή πληροφοριών από την κάμερα Realsense
  • Μειονεκτήματα - Υποστηρίζει μόνο κάμερα Realsense D435

• FLIR πρόγραμμα οδήγησης Linux

  • Πλεονεκτήματα - Μπορεί να ανακτήσει ροή δεδομένων από την κάμερα FLIR
  • Μειονεκτήματα - Η τεκμηρίωση είναι πολύ περιορισμένη

• Λειτουργικό σύστημα ρομπότ (ROS)

  • Πλεονεκτήματα - Λειτουργικό σύστημα ιδανικό για τον προγραμματισμό των λειτουργιών της κάμερας
  • Μειονεκτήματα - Πρέπει να εγκατασταθεί σε μια γρήγορη κάρτα SD για αποτελεσματική συλλογή δεδομένων

Βήμα 6: Ανάπτυξη συστήματος

Τα «μάτια» της συσκευής είναι ο στερεοφωνικός αισθητήρας υπερύθρων Realsense D435, ο οποίος είναι ένας αισθητήρας που χρησιμοποιείται κυρίως για ρομποτικές εφαρμογές όπως η τρισδιάστατη χαρτογράφηση (Εικόνα 1). Όταν αυτός ο αισθητήρας είναι εγκατεστημένος στο τετρακόπτερο, η κάμερα υπερύθρων μπορεί να καθοδηγήσει και να επιτρέψει στο τετρακόπτερο να κινείται αυτόνομα. Τα δεδομένα που δημιουργούνται από την κάμερα ονομάζονται σύννεφο σημείων, το οποίο αποτελείται από μια σειρά σημείων σε ένα χώρο που έχουν πληροφορίες σχετικά με τη θέση ενός συγκεκριμένου αντικειμένου στην όραση της κάμερας. Αυτό το σημείο σύννεφο μπορεί να μετατραπεί σε χάρτη βάθους που δείχνει χρώματα ως διαφορετικά βάθη (Εικόνα 2). Το κόκκινο είναι πιο μακριά, ενώ το μπλε είναι πιο κοντά μέτρα.

Για να διασφαλιστεί ότι αυτό το σύστημα είναι απρόσκοπτο, χρησιμοποιήθηκε ένα λειτουργικό σύστημα ανοιχτού κώδικα που ονομάζεται ROS, το οποίο χρησιμοποιείται συνήθως σε ρομπότ. Επιτρέπει την εκτέλεση ελέγχου συσκευής χαμηλού επιπέδου και την πρόσβαση σε όλους τους αισθητήρες και τη μεταγλώττιση δεδομένων που θα χρησιμοποιηθούν από άλλα προγράμματα. Το ROS θα επικοινωνήσει με το Realsense SDK το οποίο επιτρέπει την ενεργοποίηση και απενεργοποίηση διαφορετικών καμερών για να παρακολουθείτε πόσο μακριά είναι τα αντικείμενα από το σύστημα. Ο σύνδεσμος και των δύο μου επιτρέπει να έχω πρόσβαση στη ροή δεδομένων από την κάμερα που δημιουργεί ένα σύννεφο σημείου. Οι πληροφορίες του σημειακού νέφους μπορούν να καθορίσουν πού βρίσκονται τα όρια και τα αντικείμενα σε απόσταση 30 μέτρων και ακρίβεια 2 εκατοστών. Οι άλλοι αισθητήρες όπως οι αισθητήρες SONAR και οι ενσωματωμένοι αισθητήρες στον ελεγκτή DJI Naza επιτρέπουν μια ακριβέστερη τοποθέτηση του τετρακόπτερου. Το λογισμικό μου χρησιμοποιεί αλγόριθμους τεχνητής νοημοσύνης για πρόσβαση στο σύννεφο σημείων και μέσω της τοπικής προσαρμογής, δημιουργεί έναν χάρτη ολόκληρου του χώρου που περιβάλλει τη συσκευή. Μόλις το σύστημα ξεκινήσει και ξεκινήσει τη σάρωση, θα ταξιδέψει στους διαδρόμους και θα βρει εισόδους σε άλλα δωμάτια όπου θα μπορεί στη συνέχεια να σαρώνει το δωμάτιο αναζητώντας ειδικά άτομα. Το σύστημα επαναλαμβάνει αυτήν τη διαδικασία μέχρι να σαρωθούν όλα τα δωμάτια. Επί του παρόντος, το quadcopter μπορεί να πετάξει για περίπου 10 λεπτά, το οποίο είναι αρκετό για να κάνει μια πλήρη σάρωση, αλλά μπορεί να βελτιωθεί με διαφορετικές ρυθμίσεις μπαταρίας. Οι πρώτοι που θα απαντήσουν θα λάβουν ειδοποιήσεις όταν εντοπιστούν οι άνθρωποι, έτσι ώστε να μπορούν να εστιάσουν τις προσπάθειές τους σε επιλεγμένα κτίρια.

Βήμα 7: Συζήτηση και Συμπέρασμα

Μετά από πολλές δοκιμές, είχα δημιουργήσει ένα πρωτότυπο εργασίας που πληρούσε τις απαιτήσεις που αναφέρονται στον Πίνακα 1. Χρησιμοποιώντας τη στερεοφωνική κάμερα υπέρυθρης ακτινοβολίας Realsense D435 με το SDK Realsense, δημιουργήθηκε ένας χάρτης βάθους υψηλής ανάλυσης στο μπροστινό μέρος του τετρακόπτερου. Στην αρχή είχα κάποια προβλήματα με την υπέρυθρη κάμερα που δεν μπόρεσα να ανιχνεύσω ορισμένα αντικείμενα όπως το γυαλί. Προσθέτοντας έναν αισθητήρα SONAR, κατάφερα να ξεπεράσω αυτό το πρόβλημα. Ο συνδυασμός του Rock64 και του DJI Naza ήταν επιτυχής καθώς το σύστημα μπόρεσε να σταθεροποιήσει το τετρακόπτερο ενώ ήταν σε θέση να ανιχνεύσει αντικείμενα και τοίχους μέσω προσαρμοσμένων αλγορίθμων όρασης υπολογιστή χρησιμοποιώντας OpenCV. Αν και το τρέχον σύστημα είναι λειτουργικό και πληροί τις απαιτήσεις, θα μπορούσε να επωφεληθεί από κάποια μελλοντικά πρωτότυπα.

Αυτό το σύστημα θα μπορούσε να βελτιωθεί χρησιμοποιώντας κάμερες υψηλότερης ποιότητας για να είναι σε θέση να εντοπίζει με μεγαλύτερη ακρίβεια άτομα. Μερικές από τις πιο ακριβές κάμερες FLIR έχουν τη δυνατότητα ανίχνευσης υπογραφών θερμότητας που μπορούν να επιτρέψουν ακριβέστερη ανίχνευση. Το σύστημα θα μπορούσε επίσης να είναι σε θέση να λειτουργήσει σε διαφορετικά περιβάλλοντα, όπως δωμάτια που είναι σκονισμένα και γεμάτα καπνό. Με τη νέα τεχνολογία και την πυροπροστασία, αυτό το σύστημα θα μπορούσε να σταλεί σε σπίτια που καίγονται και εντοπίζουν γρήγορα πού βρίσκονται οι άνθρωποι, έτσι ώστε οι πρώτοι ανταποκριτές να μπορούν να ανασύρουν τους επιζώντες από τον κίνδυνο.

Ευχαριστώ για την ανάγνωση! Μην ξεχάσετε να με ψηφίσετε στο διαγωνισμό Optics!