Χρήση φωτογραμμετρίας για δημιουργία μοντέλων: 9 βήματα

2024 Συγγραφέας: John Day | [email protected]. Τελευταία τροποποίηση: 2024-01-30 08:33

Ποιός είμαι?

Είμαι ο Samuel Conklin και είμαι δευτεροετής στο E. L. Λύκειο Meyers. Έχω πειραματιστεί με τη φωτογραμμετρία τους τελευταίους μήνες και ελπίζω να σας βοηθήσω αν επιλέξετε να δημιουργήσετε ξανά αυτό το προϊόν. Με ενδιαφέρει να δω πώς άλλοι άνθρωποι μπορούν να χρησιμοποιήσουν αυτήν τη νέα και συνεχώς εξελισσόμενη τεχνολογία.

Τι είναι η εικονική πραγματικότητα και το SteamVR;

Η εικονική πραγματικότητα είναι μια νέα μορφή καλλιτεχνικής έκφρασης και εμπειρίας. Είναι ακόμα ένα νέο όριο τεχνολογίας καθώς αμέτρητες εταιρείες και άνθρωποι εργάζονται για να βελτιώσουν το μέσο. Αν δεν έχετε δοκιμάσει ποτέ το VR, κάνετε πολύ κακή υπηρεσία στον εαυτό σας, καθώς ενσωματώνει πλήρως την αίσθηση όρασης και ήχου του χρήστη. Μία από τις σημαντικότερες πλατφόρμες για την εικονική πραγματικότητα είναι το SteamVR της Valve. Το SteamVR επιτρέπει στους χρήστες να μοιράζονται ελεύθερα περιβάλλοντα και να ορίζουν κομμάτια μεταξύ τους χωρίς κόστος. Είναι ως επί το πλείστον ανοιχτής προέλευσης και επιτρέπει μια μυριάδα ακουστικών. Αυτά περιλαμβάνουν, αλλά δεν περιορίζονται στη σειρά HTC Vive, Oculus Rifts, Oculus Quest, Valve Index, Windows Mixed Reality κ.λπ. Το SteamVR είναι η πλατφόρμα που χρησιμοποιούμε για να δημιουργήσουμε το περιβάλλον μας.

Τι είναι η φωτογραμμετρία και πώς μπορεί να χρησιμοποιηθεί;

Η φωτογραμμετρία είναι η διαδικασία λήψης φωτογραφιών ή βίντεο και μετατροπής των εικόνων σε τρισδιάστατο μοντέλο. Το πιο διάσημο παράδειγμα χρήσης αυτής της τεχνολογίας είναι το Google Earth. Η Google χρησιμοποιεί δορυφορικές εικόνες και θέα στο δρόμο για την ανακατασκευή τοπίων και κτιρίων. Κοιτάζοντας το Google Earth, είναι σαφές ότι είχαν λίγες εικόνες για να λειτουργήσουν, οπότε ορισμένα κτίρια θα φαίνονται παραμορφωμένα. Όταν χρησιμοποιείται σωστά, η φωτογραμμετρία είναι ένας εξαιρετικά πειστικός τρόπος για τη δημιουργία τρισδιάστατων μοντέλων. Αυτό το έργο χρησιμοποιεί αυτήν την τεχνολογία για τη διατήρηση ιστορικών ορόσημων. Η διάβρωση και η έκθεση στα στοιχεία σημαίνει ότι τα ιστορικά ορόσημα θα υποβαθμιστούν τελικά και οι άνθρωποι θα τα ξεχάσουν. Χρησιμοποιώντας τη φωτογραμμετρία, μπορούμε να διατηρήσουμε τα πάντα ψηφιακά, έτσι ώστε οι επόμενες γενιές να μπορούν να βιώσουν και να εκτιμήσουν αυτές τις δομές. Αυτό σημαίνει επίσης ότι περισσότεροι άνθρωποι παγκοσμίως θα μπορούσαν να βιώσουν άλλους πολιτισμούς χωρίς το κόστος ή τον κίνδυνο ταξιδιού.

Τι προμήθειες χρειάζομαι;

Για αυτό το έργο, χρησιμοποίησα Reality Capture, SteamVR και Krita. Υπάρχουν προγράμματα Autodesk, Agisoft και Zephyr που μπορούν να χρησιμοποιηθούν αντί για Reality Capture αν δεν έχετε την απαιτούμενη GPU Nvidia για να το εκτελέσετε. Το Photoshop ή άλλα προγράμματα επεξεργασίας φωτογραφιών μπορούν να χρησιμοποιηθούν αντί του Krita, αλλά επειδή είναι δωρεάν και δημόσια στη χρήση, επέλεξα να το χρησιμοποιήσω για αυτό το έργο. Θα χρειαστείτε επίσης ένα Desktop VR headset που μπορεί να συνδεθεί απευθείας στον υπολογιστή σας. Τέλος, απαιτείται κάμερα υψηλής ποιότητας. Μια κινητή κάμερα είναι αξιοπρεπής, αλλά χρησιμοποίησα μια Nikon D7000 αφού το Reality Capture μπορεί να ανιχνεύσει αυτόματα το διάφραγμα της κάμερας, το οποίο οδηγεί σε μοντέλα υψηλότερης ποιότητας.

Βήμα 1: Λήψη φωτογραφιών

Αυτό είναι το πιο σημαντικό μέρος αυτού του έργου καθώς πρέπει να το κάνετε σωστά με μία λήψη. Εάν δεν το κάνετε, θα χρειαστεί να επιστρέψετε στην τοποθεσία και να ξαναπάρτε τα πάντα.

Πρώτον, θα πρέπει να βρείτε μια κατάλληλη τοποθεσία και δομή. Η δομή πρέπει να είναι μεγάλη και εύκολα αναγνωρίσιμη. Αυτό σημαίνει ότι το λογισμικό φωτογραμμετρίας θα είναι σε θέση να ανιχνεύσει τις διαφορές μεταξύ της δομής και του φόντου.

Συνήθως, η λήψη φωτογραφιών σε μια συννεφιασμένη ημέρα είναι ο καλύτερος τρόπος. Αυτό συμβαίνει επειδή μια ηλιόλουστη μέρα έχει τη δυνατότητα να υπερεκθέσει κάποιες φωτογραφίες και να υποεκθέσει άλλες. Θα μπορούσε επίσης να δημιουργήσει ανεπιθύμητες σκιές. Ένα μοντέλο με ελάχιστες έως καθόλου σκιές θα διευκολύνει τον φωτισμό στο τμήμα ανάπτυξης επιπέδου. Επιπλέον, το λογισμικό χρειάζεται την ισορροπία χρωμάτων για να παραμείνει το ίδιο με κάθε φωτογραφία, καθώς χρησιμοποιεί χρώματα για τον υπολογισμό του μεγέθους του αντικειμένου. Η λήψη φωτογραφιών σε μια συννεφιασμένη μέρα, ωστόσο, θα βελτιώσει την ποιότητα της δομής. Τα σύννεφα στον ουρανό θα λειτουργήσουν ως φυσικός διαχύτης για την κάμερα. Θα διανείμει το φως πιο ομοιόμορφα και σημαίνει ότι το μοντέλο θα γίνει ακριβές κατά τη διαδικασία απόδοσης.

Η τελευταία συμβουλή είναι να τραβήξετε όσο το δυνατόν περισσότερες φωτογραφίες. Τα περισσότερα προγράμματα επιλέγουν και επιλέγουν ποιες φωτογραφίες πρόκειται να χρησιμοποιήσει για το τελικό προϊόν. Με τη λήψη περισσότερων φωτογραφιών, όλα θα είναι πιο ακριβή και θα δώσουν στο πρόγραμμα κάποια αναπνοή. Είχα περίπου 150-300 φωτογραφίες για κάθε μοντέλο.

Βήμα 2: Ξεκινώντας με το λογισμικό Photogrammetry

Τώρα, πρόκειται να εισαγάγουμε τις φωτογραφίες στο λογισμικό. Σημειώστε ότι το Reality Capture απαιτεί κάρτα γραφικών Nvidia. Δεν μπορείτε να ξεπεράσετε την ενότητα Ευθυγράμμιση εικόνων χωρίς αυτήν.

Εάν έχετε έναν φάκελο με όλες τις εικόνες που θέλετε να χρησιμοποιήσετε, επιλέξτε την επιλογή Φάκελος στην επάνω αριστερή γωνία. Αυτό θα σας μεταφέρει στο File Manager και μπορείτε να επιλέξετε το φάκελο. Οι εισαγωγές θα σας επιτρέψουν να επιλέξετε μεμονωμένες φωτογραφίες με το File Manager.

Στη συνέχεια, θα ξεκινήσουμε τη διαδικασία κατασκευής του μοντέλου. Στο επάνω μέρος της οθόνης, κάτω από τη ροή εργασίας, υπάρχει μια ενότητα Διαδικασία. Θέλουμε να πατήσουμε το μεγαλύτερο κουμπί Έναρξη. Αυτό θα αρχίσει να ευθυγραμμίζει τις εικόνες. Η τέταρτη φωτογραφία δείχνει εν συντομία τι συμβαίνει κατά τη διάρκεια αυτής της διαδικασίας. Θα αναγνωρίσει το αριστερό μάτι του ελαφιού και θα συγκρίνει την απόσταση με άλλες φωτογραφίες. Θα συνεχίσει να συγκρίνει διαφορετικές φωτογραφίες μέχρι να περάσει από όλους τους πιθανούς συνδυασμούς. Αυτό το βήμα είναι πλήρες εάν μπορείτε να δείτε μικρές κουκίδες που μοιάζουν με τη δομή.

Βήμα 3: Υπολογίστε και απλοποιήστε

Το επόμενο βήμα είναι ο υπολογισμός του μοντέλου. Για να γίνει αυτό, κάνουμε κλικ στο Υπολογισμός μοντέλου στην ενότητα Διαδικασία. Αυτό θα μεταφράσει άμεσα ό, τι βρίσκει στις φωτογραφίες σε τρισδιάστατη μορφή. Τα αποτελέσματα είναι αξιοπρεπώς κοντά σε αυτό που θέλουμε να μοιάζει το μοντέλο, αλλά υπάρχουν τρία ζητήματα με αυτήν την έκδοση του μοντέλου. Πρώτον, υπάρχουν τρύπες στο μοντέλο που δεν είναι στη δομή της πραγματικής ζωής. Δεύτερον, η επιφάνεια είναι πολύ ανώμαλη. Δεδομένου ότι το πρόγραμμα προσεγγίζει τους υπολογισμούς του, θα κάνει λανθασμένα κάποιες λείες επιφάνειες ανώμαλες. Τρίτον, υπάρχουν πάρα πολλά τρίγωνα. Κάθε μοντέλο στο Reality Capture δημιουργείται με μικρά τρίγωνα. Κάθε τρίγωνο αντιπροσωπεύει μια μικρή επιφάνεια του μοντέλου. Θέλουμε όσο το δυνατόν λιγότερα τρίγωνα για τη βελτιστοποίηση του μοντέλου. Εάν υπάρχουν πάρα πολλά τρίγωνα, μπορεί να προκαλέσει ορισμένα προβλήματα απόδοσης.

Αυτά τα ζητήματα μπορούν να επιλυθούν με το εργαλείο Απλοποίηση. Όλα τα μοντέλα θα έχουν 3, 000, 000 τρίγωνα μετά το στάδιο Υπολογισμός μοντέλου και μπορούμε να επιλέξουμε να κάνουμε αυτόν τον αριθμό υψηλότερο ή χαμηλότερο. Για όλα τα μοντέλα όπως αυτά που βρέθηκαν σε αυτό το έργο, μείωσα τον αριθμό τριγώνων σε 1, 000, 000. Το αποτέλεσμα μπορεί να βρεθεί στη δεύτερη εικόνα, όπου όλες οι ανώμαλες επιφάνειες είναι πιο λείες και υπάρχουν λιγότερες τρύπες. Επιπλέον, με λιγότερα τρίγωνα για απόδοση, η απόδοση θα είναι καλύτερη όταν μπαίνουμε στο VR.

Βήμα 4: Χρώμα και υφή

Τώρα το μοντέλο θα χρειαστεί χρώμα και υφή για να γίνει ακόμα πιο αληθινό στη ζωή. Αυτά τα δύο μέρη είναι παρόμοια σε αυτό που επιτυγχάνουν αλλά είναι διαφορετικά στον τρόπο λειτουργίας τους. Χρησιμοποιώντας το χρώμα, το οποίο βρίσκεται στην ενότητα Διαδικασία, το πρόγραμμα θα χρωματίσει στο μοντέλο. Το εργαλείο θα τραβήξει τις φωτογραφίες που χρησιμοποίησε για να δημιουργήσει το μοντέλο και θα τυλίξει τις εικόνες σας στις διάφορες επιφάνειες του μοντέλου σας. Η υφή, από την άλλη πλευρά, θα χρωματιστεί στα απλοποιημένα μέρη του μοντέλου. Κοιτάζοντας την πρώτη εικόνα, είναι σαφώς ορατό πώς το πρόγραμμα περιτύλιξε τις εικόνες γύρω από το μοντέλο, αλλά στη δεύτερη εικόνα μετά τη διαδικασία της υφής, οι ευκρινείς πλευρές των εικόνων εξομαλύνονται τώρα.

Βήμα 5: Εξαγωγή και SteamVR

Στο Reality Capture, πρόκειται να μεταφέρουμε τα μοντέλα στο SteamVR. Στο επάνω μέρος της οθόνης, στην περιοχή Εξαγωγή, επιλέξτε Πλέγμα, το οποίο βρίσκεται δίπλα στην ενότητα Διαδικασία. Θα πρέπει να δείτε αυτό το αναδυόμενο παράθυρο που σας επιτρέπει να αλλάξετε τις ρυθμίσεις και τις παραμέτρους του μοντέλου. Είναι καλύτερο να διατηρήσετε όλες τις ρυθμίσεις ως προεπιλεγμένες, εκτός από την αλλαγή μορφής υφής JPEG. Το πρόγραμμα θα εξάγει τώρα ένα αρχείο σε μορφή OBJ, το οποίο είναι το αρχείο mesh, και ένα JPEG, το οποίο είναι το αρχείο υφής για το μοντέλο. Για λόγους αναφοράς, το JPEG πρέπει να μοιάζει με τη δεύτερη εικόνα σε αυτό το βήμα.

Τώρα, πρέπει να εισαγάγουμε τα μοντέλα μας στο SteamVR. Αρχικά, ανοίξτε το SteamVR και, στη συνέχεια, μεταβείτε στην επιλογή Δημιουργία/τροποποίηση περιβάλλοντος, η οποία βρίσκεται στην καρτέλα Εργαστήριο. Τα Εργαλεία εργαστηρίου SteamVR θα ανοίξουν τώρα. Επιλέξτε Δημιουργία Άδειου Προσθήκης και κάντε κλικ στο Launch Tools.

Το Asset Browser θα ανοίξει τώρα με διαφορετικά υλικά και μοντέλα που έχουν ήδη συμπεριληφθεί. Επάνω αριστερά, υπάρχει ένα εικονίδιο με σύμβολο Hammer. Πρόκειται για τον ενσωματωμένο επεξεργαστή SteamVR Hammer, ο οποίος σας δίνει τη δυνατότητα δημιουργίας χαρτών. Οι χάρτες είναι το περιβάλλον στο οποίο θα κατοικεί ο χρήστης VR κατά τη διάρκεια του παιχνιδιού.

Βήμα 6: Δημιουργία του χάρτη SteamVR

Με τον επεξεργαστή Hammer ανοιχτό στο SteamVR, μπορούμε τώρα να δημιουργήσουμε έναν κύβο. Θέλουμε να δημιουργήσουμε έναν κύβο για να ξεκινήσουμε την οικοδόμηση του περιβάλλοντος. Το πρόγραμμα σάς επιτρέπει να αλλάξετε το μέγεθος του κύβου πριν ασφαλιστεί στη θέση του. Αυτή τη στιγμή, μόνο οι εξωτερικές επιφάνειες του κύβου είναι ορατές. Πατώντας CTRL+F όλες οι επιφάνειες θα αναστραφούν και θα μετατρέψουν τον κύβο σε δωμάτιο. Επιπλέον, θα χρειαστεί να προσθέσετε ένα αντικείμενο που ονομάζεται info_player_start, το οποίο θα πει στον Hammer πού να αναπαραγάγει τον χρήστη κατά τη φόρτωση του προγράμματος.

Για να κάνουμε το δωμάτιο πιο ρεαλιστικό, πρέπει επίσης να προσθέσουμε υφές. Μπορούμε να προσθέσουμε μερικές προσαρμοσμένες εικόνες μέσω του Υλικού επεξεργασίας. Αυτό είναι το κυκλικό εικονίδιο στα δεξιά του κουμπιού Hammer στο πρόγραμμα περιήγησης στοιχείων. Η επιλογή του Υλικού επεξεργασίας θα σας οδηγήσει σε ένα νέο παράθυρο που θα σας επιτρέψει να εισαγάγετε μια εικόνα που θα γίνει σε υφή. Μπορείτε να χρησιμοποιήσετε τις δικές σας εικόνες ή να λάβετε εικόνες από ιστότοπους με υφή αποθέματος όπως το textures.com. Κάντε κλικ στο κουμπί Αρχείο κάτω από την επιλογή χρώματος για να επιλέξετε την εικόνα που θέλετε να χρησιμοποιήσετε. Αφού επιλέξετε την εικόνα σας, βεβαιωθείτε ότι την αποθηκεύετε πατώντας το εικονίδιο Floppy Disk στην επάνω αριστερή γωνία του παραθύρου Material Editor. Τώρα, κλείστε τον επεξεργαστή υλικών και επιστρέψτε στο πρόγραμμα περιήγησης στοιχείων. Εδώ, αναζητήστε το αρχείο υφής που θέλετε να χρησιμοποιήσετε και, στη συνέχεια, κάντε κλικ και σύρετέ το στο Hammer Editor. Σε αυτό το παράθυρο, μπορείτε να εφαρμόσετε την υφή σας στις διαφορετικές όψεις του κύβου.

Πρέπει επίσης να προσθέσουμε φωτισμό στο δωμάτιο. Για να γίνει αυτό, βάζουμε ένα light_omni ή ένα light_spot στο χάρτη μας, το οποίο βρίσκεται στην ενότητα Οντότητα στα αριστερά της προβολής του χάρτη. Μια φωτεινή_όμνη θα φωτίζει προς όλες τις κατευθύνσεις, ενώ μια κηλίδα φωτός φωτίζει το φως προς μία συγκεκριμένη κατεύθυνση. Για αυτό το έργο, χρησιμοποίησα τουλάχιστον δύο φωτεινές κηλίδες για κάθε αντικείμενο και μία φωτεινή ένδειξη για να φωτίσω το δωμάτιο.

Βήμα 7: Προσθήκη των αντικειμένων μας στο χάρτη

Τώρα, ήρθε η ώρα να αρχίσουμε να μετακινούμε τα αντικείμενά μας στον χάρτη μας. Στο πρόγραμμα περιήγησης περιουσιακών στοιχείων, στα δεξιά του εικονιδίου του Υλικού επεξεργαστή βρίσκεται το Πρότυπο επεξεργαστή που μοιάζει με ένα εικονίδιο ανθρωποειδούς. Με το άνοιγμα του Model Editor, θα έχετε την επιλογή να περιηγηθείτε ή να δημιουργήσετε ένα νέο VDML, το οποίο είναι η έκδοση του Hammer Editor ενός αρχείου OBJ. Επιλέξτε την επιλογή για να δημιουργήσετε ένα νέο VDML και θα χρειαστεί να δημιουργήσετε ένα φάκελο. Αυτός ο φάκελος θα αποθηκεύσει το αρχείο VDML. Βεβαιωθείτε ότι βρίσκεται στο φάκελο Προσθήκη On και πατήστε συνέχεια.

Αυτό θα σας μεταφέρει σε μια οθόνη με το μοντέλο σας, το οποίο έχει λευκή υφή. Για να προσθέσετε την υφή για αυτό το μοντέλο, επιλέξτε Υλικά από τη γραμμή εργαλείων στα αριστερά. Αυτό θα σας μεταφέρει στον Υλικό επεξεργαστή και μπορείτε να επιλέξετε το JPEG από την εξαγωγή Reality Capture. Βεβαιωθείτε ότι έχετε αποθηκεύσει την υφή και το μοντέλο κάνοντας κλικ στο εικονίδιο Δισκέτας. Επιστροφή στο Hammer Editor.

Στο Hammer, μπορείτε να μεταφέρετε και να αποθέσετε το μοντέλο από το Asset Browser στο χάρτη. Το μοντέλο πιθανότατα θα είναι μικροσκοπικό και θα χρειαστεί να το αλλάξετε μέγεθος. Πατώντας το T στο πληκτρολόγιό σας, μπορείτε να αλλάξετε τη θέση του στο χάρτη. Πατώντας το E θα αλλάξει η αναλογία του μοντέλου ενώ το R θα το περιστρέψει.

Βήμα 8: Δημιουργία ετικετών αντικειμένων

Οι ετικέτες αντικειμένων που εμφανίζονται δίπλα σε κάθε ορόσημο παρέχουν περιβάλλον και ιστορικό για να βελτιώσουν την εμπειρία του χρήστη. Για τις ετικέτες αντικειμένων μου, έβγαλα φωτογραφίες από τις ενημερωτικές πινακίδες σε κάθε τοποθεσία για να καταγράψω εύκολα σημαντικές πληροφορίες που ήθελα να χρησιμοποιήσω αργότερα. Στη συνέχεια χρησιμοποίησα το Krita, ένα δωρεάν πρόγραμμα λογισμικού επεξεργασίας φωτογραφιών, προκειμένου να δημιουργήσω τις ετικέτες αντικειμένων που περιλαμβάνουν πρόσθετες εικόνες και κείμενο.

Για την πλευρά Miner Park και Anchor του δωματίου, δεν υπήρχαν προβλήματα με την προσθήκη ετικετών ως υφής. Απλώς προσθέστε τα στο Asset Browser σας μέσω του Material Editor και προσθέστε την εικόνα σε ένα μπλοκ που μπορεί να δημιουργηθεί στο Hammer Editor. Τα προβλήματα προέκυψαν όταν δημιούργησα σανίδες για την άλλη πλευρά του δωματίου. Όλο το κείμενο και οι εικόνες ήταν προς τα πίσω και δεν υπήρχε σαφής τρόπος αντιστροφής των υφών μέσα στον επεξεργαστή. Για να το διορθώσω, επέστρεψα στην Κρίτα και ανέστρεψα τους πίνακες για το ελάφι και την αρκούδα και ευτυχώς αυτό έλυσε το ζήτημα.

Επιπλέον, πρόσθεσα διάφορες εικόνες του Wilkes-Barre, καθώς ήθελα να δημιουργήσω ένα δωμάτιο που είχε την αίσθηση και την ατμόσφαιρα ενός boutique μουσείου.

Βήμα 9: Συμπέρασμα

Συμπερασματικά, τόσο η Εικονική Πραγματικότητα όσο και η Φωτογραμμετρία έχουν τη δύναμη να βελτιώσουν σημαντικά αμέτρητες βιομηχανίες, συμπεριλαμβανομένων αλλά χωρίς περιορισμό σε αθλήματα, ακίνητα και ιατροδικαστική. Σήμερα, χρησιμοποίησα τη φωτογραμμετρία για να διατηρήσω μερικά μικρά αλλά σημαντικά μέρη της τοπικής ιστορίας της πατρίδας μου. Το VR και η Φωτογραμμετρία είναι και οι δύο ακόμα πειραματικές τεχνολογίες που μερικές φορές μπορεί να σας προκαλέσουν. Παρά ορισμένες ελλείψεις, ο αριθμός των καινοτόμων χρήσεων και για τις δύο διαδικασίες είναι συναρπαστικός και απεριόριστος. Σας ευχαριστώ που διαβάσατε για αυτό το έργο και ελπίζω ότι αυτό σας ενέπνευσε να δοκιμάσετε κάτι νέο με την Εικονική Πραγματικότητα.

Ο σύνδεσμος λήψης του έργου μπορεί να βρεθεί εδώ.