Το Instant NeRF της NVIDIA είναι ένα μοντέλο νευρωνικής απόδοσης που “μαθαίνει” μια σκηνή 3D υψηλής ανάλυσης σε δευτερόλεπτα — και μπορεί να αποδώσει εικόνες αυτής της σκηνής σε λίγα χιλιοστά του δευτερολέπτου.
Στο GTC 2022, η ερευνητική ομάδα της NVIDIA παρουσίασε μια εντυπωσιακή τεχνολογία που ονομάζεται Instant NeRF που θα μπορούσε να μετατρέψει τις 2D φωτογραφίες σε 3D σκηνές σε λίγα δευτερόλεπτα.
Δείτε επίσης: Η NVIDIA παρουσιάζει το Grace CPU Superchip
Για να γίνει αυτό, οι ερευνητές χρησιμοποίησαν τη δύναμη της τεχνητής νοημοσύνης (AI). Τα NeRF χρησιμοποιούν νευρωνικά δίκτυα για να ανασυνθέσουν το scene από τις εικόνες προβλέποντας το χρώμα του φωτός που ακτινοβολεί προς οποιαδήποτε κατεύθυνση. Η NVIDIA ισχυρίζεται ότι το Instant NeRF είναι η ταχύτερη τεχνολογία του είδους της – τουλάχιστον μέχρι σήμερα- επιτρέποντας πολλαπλασιαστική επιτάχυνση πάνω από 1.000x σε ορισμένες περιπτώσεις, έτσι ώστε η απόδοση στα 1080p να γίνεται σε λίγα χιλιοστά του δευτερολέπτου.
Η δημιουργία μιας τρισδιάστατης σκηνής με παραδοσιακές μεθόδους διαρκεί ώρες, ανάλογα με την πολυπλοκότητα και την ανάλυση της απεικόνισης. Η μεταφορά της τεχνητής νοημοσύνης στην εικόνα επιταχύνει τα πράγματα. Τα πρώτα μοντέλα NeRF απέδιδαν ευκρινείς σκηνές χωρίς τεχνουργήματα μέσα σε λίγα λεπτά, αλλά χρειάζονταν ώρες για να εκπαιδευτούν.
Δείτε επίσης: Nvidia: Εκτέθηκαν πάνω από 71.000 credentials υπαλλήλων κατά την πρόσφατη παραβίαση δεδομένων
Το μοντέλο για το Instant NeRF αναπτύχθηκε με το CUDA Toolkit και τη βιβλιοθήκη Tiny CUDA Neural Networks. Σε αυτή την σελίδα μπορείτε να βουτήξετε βαθύτερα στην έρευνα και ακόμη και να αποκτήσετε πρόσβαση στον κώδικά της. Σύμφωνα με τη NVIDIA, το νευρωνικό δίκτυο είναι αρκετά ελαφρύ ώστε να λειτουργεί εύκολα σε μία μόνο GPU, ειδικά εάν είναι εξοπλισμένο με πυρήνες Tensor.
Ο David Luebke, αντιπρόεδρος για την έρευνα γραφικών της NVIDIA, δήλωσε:
Εάν οι παραδοσιακές τρισδιάστατες αναπαραστάσεις όπως τα πολυγωνικά πλέγματα είναι παρόμοιες με διανυσματικές εικόνες, τα NeRF είναι σαν εικόνες bitmap: αποτυπώνουν τον τρόπο με τον οποίο το φως ακτινοβολεί από ένα αντικείμενο ή μέσα σε μια σκηνή. Υπό αυτή την έννοια, το Instant NeRF θα μπορούσε να είναι τόσο σημαντικό για το 3D όσο οι ψηφιακές φωτογραφικές μηχανές και η συμπίεση JPEG για τη φωτογραφία 2D — αυξάνοντας κατά πολύ την ταχύτητα, την ευκολία και την εμβέλεια της τρισδιάστατης λήψης και κοινής χρήσης.
Δείτε επίσης: Dell, Intel και Nvidia συνεργάζονται σε ένα metaverse για επαγγελματίες
Το Instant NeRF θα μπορούσε να χρησιμοποιηθεί για τη δημιουργία avatar ή σκηνών για εικονικούς κόσμους, για την καταγραφή των συμμετεχόντων σε βιντεοδιάσκεψη και των περιβαλλόντων τους σε 3D ή για την ανακατασκευή σκηνών για τρισδιάστατους ψηφιακούς χάρτες.
Επίσης, η τεχνολογία θα μπορούσε να χρησιμοποιηθεί για την εκπαίδευση ρομπότ και αυτοοδηγούμενων αυτοκινήτων ώστε να κατανοούν το μέγεθος και το σχήμα αντικειμένων του πραγματικού κόσμου, τραβώντας εικόνες 2D ή βίντεο από αυτά. Θα μπορούσε επίσης να χρησιμοποιηθεί στην αρχιτεκτονική και την ψυχαγωγία για την ταχεία δημιουργία ψηφιακών αναπαραστάσεων πραγματικών περιβαλλόντων που οι δημιουργοί μπορούν να τροποποιήσουν και να αξιοποιήσουν.
Σε ένα αφιέρωμα στις πρώτες μέρες των εικόνων Polaroid, η NVIDIA Research αναδημιούργησε μια εμβληματική φωτογραφία του Andy Warhol που τραβούσε μια στιγμιαία φωτογραφία, μετατρέποντάς την σε 3D σκηνή χρησιμοποιώντας το Instant NeRF.
Πηγή πληροφοριών: wccftech.com
