Πριν από μερικούς μήνες, η Apple κυκλοφόρησε το FastVLM, ένα Οπτικό Μοντέλο Γλώσσας (VLM) που προσέφερε σχεδόν άμεση επεξεργασία εικόνων υψηλής ανάλυσης. Τώρα, μπορείτε να το δοκιμάσετε, εφόσον διαθέτετε έναν Mac με Αpple Silicon.
Δείτε επίσης: Όλα τα νέα που έρχονται στο Apple TV+ τον Σεπτέμβριο
Όταν καλύψαμε για πρώτη φορά το FastVLΜ, εξηγήσαμε ότι αξιοποιούσε το MLX, το δικό του ανοικτό πλαίσιο μηχανικής μάθησης της Apple, ειδικά σχεδιασμένο για το Apple Silicon, για να προσφέρει έως και 85 φορές ταχύτερους υποτίτλους βίντεο, ενώ είναι περισσότερο από 3 φορές μικρότερο από παρόμοια μοντέλα.
Έκτοτε, η Apple έχει εργαστεί περαιτέρω στο έργο, το οποίο τώρα μπορεί να βρεθεί στο Hugging Face, όχι μόνο στο GitHub. Στο Hugging Face, μπορείτε να φορτώσετε την ελαφρύτερη έκδοση, FastVLM-0.5B, απευθείας από τον browser σας και να το δοκιμάσετε μόνοι σας.
Ανάλογα με το hardware σας, μπορεί να χρειαστεί λίγος χρόνος για να φορτώσει. Σε MacBook Pro M2 Pro 16GB, χρειάστηκαν μερικά λεπτά. Αλλά μόλις φορτώθηκε, το μοντέλο άρχισε να περιγράφει με ακρίβεια την εμφάνισή μου, το δωμάτιο πίσω, διάφορες εκφράσεις και αντικείμενα που υπήρχαν στο οπτικό του πεδίο. Μπορείτε να προσαρμόσετε την προτροπή που θα λάβει υπόψη το μοντέλο καθώς ενημερώνει ζωντανά τον υπότιτλο, ή μπορείτε να επιλέξετε από μερικές προτάσεις.
Αν θέλετε να προχωρήσετε περισσότερο, μπορείτε να δοκιμάσετε να χρησιμοποιήσετε μια εικονική εφαρμογή κάμερας για να τροφοδοτήσετε βίντεο στο εργαλείο και να το δείτε να περιγράφει στιγμιαία πολλές σκηνές με λεπτομέρεια, σε σημείο που να γίνεται δύσκολο να κατανοήσετε τι συμβαίνει. Αυτό υπογραμμίζει πόσο γρήγορο και ακριβές μπορεί να είναι το μοντέλο.
Αυτό που είναι ιδιαίτερα ενδιαφέρον σε αυτό το πείραμα είναι ότι λειτουργεί τοπικά στον περιηγητή, πράγμα που σημαίνει ότι κανένα δεδομένο δεν φεύγει ποτέ από τη συσκευή και μπορεί ακόμη και να λειτουργήσει εκτός σύνδεσης. Αυτό θα ήταν μια εξαιρετική περίπτωση χρήσης για φορητές συσκευές και τεχνολογία υποβοήθησης, όπου η ελαφρότητα και η χαμηλή καθυστέρηση θα είναι πρωταρχικής σημασίας για την απελευθέρωση καλύτερων περιπτώσεων χρήσης.
Δείτε ακόμα: Ευπάθεια Apple: Κυκλοφόρησε PoC Exploit για zero-day bug
Αξίζει να σημειωθεί ότι η επίδειξη λειτουργεί στο ελαφρύτερο μοντέλο με 0.5 δισεκατομμύρια παραμέτρους, ενώ η οικογένεια FastVLΜ περιλαμβάνει επίσης μεγαλύτερες και πιο ισχυρές παραλλαγές με 1.5 δισεκατομμύρια και 7 δισεκατομμύρια παραμέτρους. Με μεγαλύτερα μοντέλα, η απόδοση και η ταχύτητα θα μπορούσαν να βελτιωθούν ακόμη περισσότερο, αν και η εκτέλεσή του απευθείας στον browser πιθανότατα δεν θα ήταν εφικτή.
Το FastVLΜ (Fast Vision Language Model) της Apple είναι ένα καινοτόμο μοντέλο οπτικο-γλωσσικής κατανόησης (VLM), σχεδιασμένο για εξαιρετικά γρήγορη και αποδοτική επεξεργασία εικόνων, με χαμηλό latency και υψηλή ακρίβεια, ιδανικό για πραγματικές εφαρμογές σε συσκευές Apple όπως iPhone, iPad και Mac Αpple Machine Learning Research+1.
Ο πυρήνας του FastVLM βασίζεται στον νέο vision encoder που ονομάζεται FastViTHD—μια υβριδική αρχιτεκτονική που συνδυάζει συμμετρικά (convolutional) στάδια και transformer-based blocks. Αυτό του επιτρέπει να επεξεργάζεται εικόνες υψηλής ανάλυσης γρήγορα και αποδοτικά, μειώνοντας δραστικά τον αριθμό των visual tokens και βελτιώνοντας την ταχύτητα Time‑to‑First‑Token (TTFT) χωρίς να χάνει ακρίβεια Apple Machine Learning ResearcharXiv.
Σύμφωνα με τα πειράματα, το FastVLΜ‑0.5B είναι 85 φορές πιο γρήγορο από το LLaVA‑OneVision‑0.5B στην TTFT, ενώ ο encoder του είναι 3.4 φορές μικρότερος, με παρόμοια απόδοση στα benchmarks Αpple Machine Learning ResearcharXiv. Οι μεγαλύτερες εκδόσεις (FastVLΜ‑7B, με LLM βασισμένο στο Qwen2‑7B) είναι 7.9 φορές ταχύτερες από μεθόδους όπως το Cambrian‑1‑8B, διατηρώντας υψηλή ακρίβεια fastvΙm.siteHugging FaceAibase News.
Το FastVLΜ καταφέρνει να εξισορροπήσει επακριβώς την ανάλυση εισόδου εικόνας, τον χρονοκαθυστέρηση και την ακρίβεια, χάρη στη στρατηγική επιλογή του encoder και την απλοποιημένη του αρχιτεκτονική—χωρίς να χρειάζεται περίπλοκες τεχνικές όπως token pruning ή dynamic tiling Apple Machine Learning ResearcharXiv.
Δείτε επίσης: Apple zero-day: Βρέθηκε νέα ευπάθεια – Κάντε update τώρα
Η Apple έχει κυκλοφορήσει κώδικα και προκατασκευασμένα checkpoints (0.5B, 1.5B, 7B) ανοικτά στο GitHub, καθώς και demo app για iOS/macOS μέσω του MLX περιβάλλοντος GitHubAibase News. Αυτό δείχνει τη στρατηγική της εταιρείας να προωθεί την τοπική (on‑device) επεξεργασία, διασφαλίζοντας ταχύτητα, απόρρητο χρήστη και λειτουργία χωρίς σύνδεση στο cloud
