Ποσοτική επεξεργασία εικόνας: 5 βήματα

2024 Συγγραφέας: John Day | [email protected]. Τελευταία τροποποίηση: 2024-01-30 08:37

(Το παραπάνω σχήμα απεικονίζει τη σύγκριση της υπάρχουσας μεθόδου επεξεργασίας εικόνας με την ποσοτική μέτρηση της εικόνας. Σημειώστε το βελτιωμένο αποτέλεσμα. Στην επάνω δεξιά εικόνα εμφανίζονται περίεργα τεχνουργήματα που προέρχονται από εσφαλμένη υπόθεση ότι οι εικόνες μετρούν κάτι όπως το φως. Η κάτω δεξιά εικόνα δείχνει καλύτερο αποτέλεσμα κάνοντας το ίδιο πράγμα ποσοτικά).

Σε αυτό το Instructable θα μάθετε πώς να βελτιώνετε σημαντικά την απόδοση των υφιστάμενων συστημάτων απεικόνισης ή όρασης χρησιμοποιώντας μια πολύ απλή ιδέα: Quantimetric sensing image

Η ποσοτικομετρική επεξεργασία εικόνας βελτιώνεται σημαντικά σε οποιοδήποτε από τα ακόλουθα:

• Υφιστάμενη επεξεργασία εικόνας, όπως το θάμπωμα της εικόνας.
• Μηχανική μάθηση, όραση υπολογιστή και αναγνώριση προτύπων.
• Φορετή συσκευή αναγνώρισης προσώπου (βλ. Http://wearcam.org/vmp.pdf), όραση βασισμένη σε AI και HI, κλπ

Η βασική ιδέα είναι η ποσομετρική προεπεξεργασία και μετά επεξεργασία των εικόνων, ως εξής:

1. Αναπτύξτε το δυναμικό εύρος της εικόνας ή των εικόνων.
2. Επεξεργαστείτε την εικόνα ή τις εικόνες όπως θα κάνατε συνήθως.
3. Συμπίεση του δυναμικού εύρους της εικόνας ή των εικόνων (δηλαδή αναιρέστε το βήμα 1).

Σε προηγούμενα Instructables, δίδαξα ορισμένες πτυχές της ανίχνευσης HDR (High Dynamic Range) και της ποσοτικής μέτρησης, π.χ. γραμμικότητα, υπέρθεση κλπ.

Τώρα ας χρησιμοποιήσουμε αυτή τη γνώση.

Πάρτε οποιαδήποτε υπάρχουσα διαδικασία που θέλετε να χρησιμοποιήσετε. Το παράδειγμα που θα δείξω είναι το θάμπωμα εικόνας, αλλά μπορείτε επίσης να το χρησιμοποιήσετε για οτιδήποτε άλλο.

Βήμα 1: Αναπτύξτε το Δυναμικό εύρος της εικόνας ή των εικόνων σας

(Εικόνες προσαρμοσμένες από το "Intelligent Image Processing", John Wiley and Sons Interscience Series, Steve Mann, Νοέμβριος 2001)

Το πρώτο βήμα είναι η επέκταση του δυναμικού εύρους της εικόνας εισόδου.

Στην ιδανική περίπτωση, θα πρέπει πρώτα να προσδιορίσετε τη λειτουργία απόκρισης της κάμερας, f, και στη συνέχεια να εφαρμόσετε την αντίστροφη απόκριση, f αντίστροφα, στην εικόνα.

Οι τυπικές κάμερες είναι συμπιεστικές του δυναμικού εύρους, οπότε συνήθως θέλουμε να εφαρμόσουμε μια εκτεταμένη συνάρτηση.

Εάν δεν γνωρίζετε τη συνάρτηση απόκρισης, ξεκινήστε δοκιμάζοντας κάτι απλό όπως φόρτωση της εικόνας σε πίνακα εικόνας, μεταφορά των μεταβλητών σε έναν τύπο δεδομένων όπως (float) ή (διπλό) και αύξηση της τιμής εικονοστοιχείου σε έναν εκθέτη, όπως, για παράδειγμα, τετραγωνισμός κάθε τιμής εικονοστοιχείου.

Λογική:

Γιατί το κάνουμε αυτό;

Η απάντηση είναι ότι οι περισσότερες κάμερες συμπιέζουν το δυναμικό εύρος τους. Ο λόγος που το κάνουν αυτό είναι ότι τα περισσότερα μέσα προβολής διευρύνουν το δυναμικό εύρος. Αυτό συμβαίνει εντελώς τυχαία: η ποσότητα φωτός που εκπέμπεται από μια τηλεοπτική οθόνη σωλήνων καθοδικών ακτίνων είναι περίπου ίση με την τάση που αυξάνεται στον εκθέτη του 2,22, έτσι ώστε όταν η είσοδος τάσης βίντεο είναι περίπου στο μισό της διαδρομής, η ποσότητα του εκπεμπόμενου φωτός είναι πολύ λιγότερο από μισό.

Τα φωτογραφικά μέσα είναι επίσης επεκτατικά δυναμικού εύρους. Για παράδειγμα, μια φωτογραφική "ουδέτερη" γκρι κάρτα εκπέμπει το 18% του προσπίπτοντος φωτός (όχι το 50% του προσπίπτοντος φωτός). Αυτό το πολύ φως (18%) θεωρείται ότι βρίσκεται στη μέση της απόκρισης. Έτσι, όπως μπορείτε να δείτε, αν εξετάσουμε ένα γράφημα εξόδου ως συνάρτηση εισόδου, τα μέσα εμφάνισης συμπεριφέρονται σαν να είναι ιδανικές γραμμικές οθόνες που περιέχουν επέκταση δυναμικού εύρους πριν από την ιδανική γραμμική απόκριση.

Στο επάνω σχήμα, παραπάνω, μπορείτε να δείτε την οθόνη να είναι εγκιβωτισμένη με διακεκομμένη γραμμή και είναι ισοδύναμη με το να έχετε έναν διαστολέα πριν από την ιδανική γραμμική οθόνη.

Δεδομένου ότι οι οθόνες είναι εγγενώς επεκτατικές, οι κάμερες πρέπει να σχεδιάζονται ώστε να είναι συμπιεστικές ώστε οι εικόνες να φαίνονται καλές στις υπάρχουσες οθόνες.

Παλαιότερα, όταν υπήρχαν χιλιάδες οθόνες δέκτη τηλεόρασης και μόνο ένας ή δύο σταθμοί μετάδοσης (π.χ. μόνο μία ή δύο τηλεοπτικές κάμερες), ήταν ευκολότερο να διορθώσουμε μια συμπιεστική μη γραμμικότητα στην κάμερα παρά να ανακαλέσουμε όλες τις τηλεοράσεις και βάλτε ένα σε κάθε δέκτη τηλεόρασης.

Τυχαία αυτό βοήθησε επίσης στη μείωση του θορύβου. Στον ήχο το ονομάζουμε "Dolby" ("συμπλέκοντας") και του απονέμεται δίπλωμα ευρεσιτεχνίας. Στο βίντεο συνέβη εντελώς τυχαία. Ο Stockham πρότεινε να πάρουμε τον λογάριθμο των εικόνων πριν τις επεξεργαστούμε και στη συνέχεια να πάρουμε τον αντίλογο. Αυτό που δεν συνειδητοποίησε είναι ότι οι περισσότερες κάμερες και οθόνες το κάνουν ήδη τυχαία. Αντ 'αυτού, αυτό που πρότεινα είναι να κάνουμε το ακριβώς αντίθετο από αυτό που πρότεινε ο Stockham. (Βλέπε "Ευφυής επεξεργασία εικόνας", σειρά John Wiley and Sons Interscience, σελίδα 109-111.)

Στην κάτω εικόνα, βλέπετε την προτεινόμενη αντιομόμορφη (ποσοτική) επεξεργασία εικόνας, όπου προσθέσαμε το βήμα επέκτασης και συμπίεσης του δυναμικού εύρους.

Βήμα 2: Επεξεργασία των εικόνων ή Εκτέλεση του οράματος υπολογιστή, μηχανική εκμάθηση ή παρόμοια

Το δεύτερο βήμα, μετά την επέκταση δυναμικού εύρους, είναι η επεξεργασία των εικόνων.

Στην περίπτωσή μου, απλώς έκανα μια αποσυμπίεση της εικόνας, με τη λειτουργία θόλωσης, δηλαδή το θάμπωμα της εικόνας, όπως είναι κοινώς γνωστό στην προηγούμενη τεχνική.

Υπάρχουν δύο μεγάλες κατηγορίες ποσοτικής ανίχνευσης εικόνας:

• Βοηθώντας τους ανθρώπους να δουν.
• Βοηθά τα μηχανήματα βλ.

Εάν προσπαθούμε να βοηθήσουμε τους ανθρώπους να δουν (που είναι το παράδειγμα που δείχνω εδώ), δεν έχουμε τελειώσει ακόμα: πρέπει να επαναφέρουμε το επεξεργασμένο αποτέλεσμα πίσω στο χώρο εικόνων.

Εάν βοηθάμε τα μηχανήματα να βλέπουν (π.χ. αναγνώριση προσώπου), τελειώσαμε τώρα (δεν χρειάζεται να προχωρήσουμε στο βήμα 3).

Βήμα 3: Επανασυμπίεση του δυναμικού εύρους του αποτελέσματος

Όταν εργαζόμαστε σε διευρυμένο δυναμικό εύρος, λέμε ότι βρισκόμαστε στο "lightspace" (ποσοτικομετρικός χώρος εικόνων).

Στο τέλος του Βήματος 2, βρισκόμαστε στο χώρο του φωτός και πρέπει να επιστρέψουμε στον χώρο εικόνας.

Αυτό λοιπόν το βήμα 3 αφορά την επιστροφή στον χώρο εικόνας.

Για να εκτελέσετε το βήμα 3, απλώς συμπιέστε το δυναμικό εύρος της εξόδου του Βήματος 2.

Εάν γνωρίζετε τη λειτουργία απόκρισης της κάμερας, απλώς εφαρμόστε την, για να πάρετε το αποτέλεσμα, f (p (q)).

Εάν δεν γνωρίζετε τη λειτουργία απόκρισης της κάμερας, απλώς εφαρμόστε μια καλή εικασία.

Εάν τετραγωνίσατε τα εικονοστοιχεία εικόνας στο βήμα 1, τώρα είναι η ώρα να λάβετε την τετραγωνική ρίζα κάθε εικονοστοιχείου εικόνας για να επιστρέψετε στην εικασία σας σχετικά με το χώρο εικόνας.

Βήμα 4: Μπορεί να θέλετε να δοκιμάσετε κάποιες άλλες παραλλαγές

Το Deblurring είναι μόνο ένα από τα πολλά πιθανά παραδείγματα. Εξετάστε, για παράδειγμα, το συνδυασμό πολλαπλών εκθέσεων.

Τραβήξτε δύο φωτογραφίες όπως αυτές που έχω παραπάνω. Το ένα ελήφθη τη μέρα και το άλλο τη νύχτα.

Συνδυάστε τα για να φτιάξετε μια εικόνα που μοιάζει με το σούρουπο.

Αν τα κάνετε απλά κατά μέσο όρο, μοιάζει με σκουπίδια. Δοκιμάστε το μόνοι σας!

Αν όμως πρώτα επεκτείνετε το δυναμικό εύρος κάθε εικόνας, μετά το προσθέσετε και στη συνέχεια συμπιέσετε το δυναμικό εύρος του αθροίσματος, φαίνεται υπέροχο.

Συγκρίνετε την επεξεργασία εικόνας (προσθήκη εικόνων) με την ποσοτική μέτρηση της εικόνας (επέκταση, προσθήκη και στη συνέχεια συμπίεση).

Μπορείτε να κατεβάσετε τον κώδικα και περισσότερο παράδειγμα υλικού από εδώ:

Βήμα 5: Προχωρώντας περαιτέρω: Τώρα δοκιμάστε το με σύνθετα εικόνας HDR

(Πάνω στην εικόνα: Κράνος συγκόλλησης HDR χρησιμοποιεί ποσοτική μέτρηση εικόνας για επικαλύψεις επαυξημένης πραγματικότητας. Δείτε Slashgear 2012 12 Σεπτεμβρίου.)

Συνοψίζοντας:

τραβήξτε μια εικόνα και εφαρμόστε τα ακόλουθα βήματα:

1. επεκτείνετε το δυναμικό εύρος της εικόνας.
2. επεξεργασία της εικόνας.
3. συμπίεση του δυναμικού εύρους του αποτελέσματος.

Και αν θέλετε ακόμα καλύτερο αποτέλεσμα, δοκιμάστε τα εξής:

καταγράψτε μια πληθώρα διαφορετικών εκτεθειμένων εικόνων.

1. επεκτείνω το δυναμικό εύρος στο χώρο φωτισμού, σύμφωνα με το προηγούμενο Instructable στο HDR.
2. επεξεργασία της προκύπτουσας ποσομετρικής εικόνας, q, στο χώρο φωτισμού.
3. συμπίεση του δυναμικού εύρους μέσω του tonemapping.

Διασκεδάστε και κάντε κλικ στο "Τα κατάφερα" και δημοσιεύστε τα αποτελέσματά σας και θα χαρώ να σχολιάσω ή να παράσχω κάποια εποικοδομητική βοήθεια.