Οι ερευνητές της Apple έχουν δημιουργήσει ένα μοντέλο AI που ανακατασκευάζει ένα τρισδιάστατο αντικείμενο από μία μόνο εικόνα, διατηρώντας τις αντανακλάσεις, τις φωτεινότητες και άλλα εφέ συνεπή σε διαφορετικές γωνίες θέασης.
Δείτε επίσης: Το κλασικό ποντίκι Apple Macintosh ενέπνευσε τη ρετρό θήκη AirPods της Spigen
Ενώ η έννοια του λανθάνοντος χώρου στη μηχανική μάθηση δεν είναι ακριβώς νέα, έχει γίνει πιο δημοφιλής από ποτέ τα τελευταία χρόνια, με την έκρηξη των μοντέλων AI που βασίζονται στην αρχιτεκτονική των μετασχηματιστών και, πιο πρόσφατα, των μοντέλων κόσμου.
Σε πρακτικούς όρους, η αποθήκευση πληροφοριών ως μαθηματικές αναπαραστάσεις σε λανθάνοντα χώρο καθιστά ταχύτερη και λιγότερο υπολογιστικά δαπανηρή τη μέτρηση αποστάσεων μεταξύ τους και την εκτίμηση της πιθανότητας του τι πρέπει να παραχθεί.
Στη νέα μελέτη της Apple, με τίτλο LiTo: Surface Light Field Tokenization, οι ερευνητές προτείνουν μια τρισδιάστατη λανθάνουσα αναπαράσταση που μοντελοποιεί από κοινού τη γεωμετρία του αντικειμένου και την εμφάνιση που εξαρτάται από τη γωνία θέασης. Δημιούργησαν έναν τρόπο να αναπαραστήσουν, σε λανθάνοντα χώρο, όχι μόνο πώς να ανακατασκευάσουν ένα τρισδιάστατο αντικείμενο, αλλά και πώς θα πρέπει να φαίνεται το φως που αλληλεπιδρά με αυτό από διαφορετικές γωνίες.
Δείτε ακόμα: Η Apple κάνει κάτι μυστικό στη Νέα Υόρκη
Τα περισσότερα προηγούμενα έργα επικεντρώνονται είτε στην ανακατασκευή της τρισδιάστατης γεωμετρίας είτε στην πρόβλεψη της εμφάνισης που δεν εξαρτάται από τη γωνία θέασης, και έτσι δυσκολεύονται να αποτυπώσουν ρεαλιστικά εφέ που εξαρτώνται από τη γωνία θέασης. Η προσέγγιση αξιοποιεί το γεγονός ότι οι εικόνες RGB-βάθους παρέχουν δείγματα ενός πεδίου φωτός επιφάνειας. Με την κωδικοποίηση τυχαίων υποδειγμάτων αυτού του πεδίου φωτός επιφάνειας σε ένα συμπαγές σύνολο λανθανόντων διανυσμάτων, το μοντέλο μαθαίνει να αναπαριστά τόσο τη γεωμετρία όσο και την εμφάνιση μέσα σε έναν ενιαίο τρισδιάστατο λανθάνοντα χώρο.
Αυτή η αναπαράσταση αναπαράγει εφέ που εξαρτώνται από τη γωνία θέασης, όπως οι καθρεπτικές φωτεινότητες και οι ανακλάσεις Fresnel υπό πολύπλοκο φωτισμό.
Οι ερευνητές κατάφεραν να εκπαιδεύσουν το μοντέλο ώστε να μπορεί να κάνει όλα αυτά από μία μόνο εικόνα, αντί για τις πιο κοινές μεθόδους που απαιτούν εικόνες από διαφορετικές γωνίες για να επιτρέψουν την τρισδιάστατη ανακατασκευή.
Για να εκπαιδεύσουν το μοντέλο, οι ερευνητές επέλεξαν χιλιάδες αντικείμενα που αποδόθηκαν από 150 διαφορετικές γωνίες θέασης και 3 συνθήκες φωτισμού. Αντί να τροφοδοτήσουν όλες αυτές τις πληροφορίες απευθείας στο μοντέλο, το σύστημα επέλεξε τυχαία μικρά υποσύνολα αυτών των δειγμάτων και τα συμπίεσε σε μια λανθάνουσα αναπαράσταση. Ο αποκωδικοποιητής εκπαιδεύτηκε να ανακατασκευάζει το πλήρες αντικείμενο και την εμφάνισή του υπό διαφορετικές γωνίες και συνθήκες φωτισμού, μόνο από αυτό το υποσύνολο των δεδομένων.
Δείτε επίσης: Η Apple μειώνει τα τέλη του App Store στην Κίνα
Κατά τη διάρκεια της εκπαίδευσης, το σύστημα έμαθε μια λανθάνουσα αναπαράσταση που κατέγραψε τόσο τη γεωμετρία του αντικειμένου όσο και το πώς αλλάζει η εμφάνισή του ανάλογα με τη γωνία θέασης. Μόλις ολοκληρώθηκε αυτό, εκπαιδεύτηκε ένα ακόμη μοντέλο που παίρνει μία μόνο εικόνα ενός αντικειμένου και προβλέπει τη λανθάνουσα αναπαράσταση που αντιστοιχεί σε αυτήν. Ο αποκωδικοποιητής στη συνέχεια ανακατασκευάζει το πλήρες τρισδιάστατο αντικείμενο, συμπεριλαμβανομένου του πώς αλλάζει η εμφάνισή του καθώς η γωνία θέασης ποικίλλει.
