Μια νέα μελέτη από ερευνητές του MIT και της Empirical Health χρησιμοποίησε δεδομένα 3 εκατομμυρίων ημερών από Apple Watch, για να αναπτύξει ένα μοντέλο βάσης που προβλέπει ιατρικές καταστάσεις με εντυπωσιακή ακρίβεια.
Δείτε επίσης: Apple Watch – AirPods: Επέκταση λειτουργιών υγείας σε περισσότερες χώρες
Ενώ ο Yann LeCun ήταν ακόμα ο Κύριος Επιστήμονας AI της Meta, πρότεινε την Αρχιτεκτονική Κοινής Ενσωμάτωσης Πρόβλεψης, ή JEPA, η οποία διδάσκει σε ένα AI να συμπεραίνει τη σημασία των ελλιπών δεδομένων αντί για τα ίδια τα δεδομένα. Όταν αντιμετωπίζει κενά στα δεδομένα, το μοντέλο μαθαίνει να προβλέπει τι αντιπροσωπεύουν τα ελλείποντα μέρη, αντί να προσπαθεί να μαντέψει και να ανακατασκευάσει τις ακριβείς τιμές τους.
Για μια εικόνα, όπου κάποια μέρη είναι καλυμμένα και άλλα ορατά, το JEPA θα ενσωματώσει τόσο τις ορατές όσο και τις καλυμμένες περιοχές σε έναν κοινό χώρο και θα έχει το μοντέλο να συμπεράνει την αναπαράσταση της καλυμμένης περιοχής από το ορατό πλαίσιο, αντί για το ακριβές περιεχόμενο που ήταν κρυμμένο.
Το 2023, η Meta κυκλοφόρησε ένα μοντέλο που ονομάζεται I-JEPA, το οποίο βασίστηκε στην αρχική μελέτη του LeCun για το JEPA. Αυτή η αρχιτεκτονική έχει γίνει η βάση για έναν τομέα που εξερευνά τα “μοντέλα κόσμου”, που αποτελεί απόκλιση από την εστίαση στην πρόβλεψη τοκενών των LLMs και συστημάτων βασισμένων στο GPT. Ο LeCun πρόσφατα άφησε τη Meta για να ξεκινήσει μια εταιρεία που επικεντρώνεται αποκλειστικά στα μοντέλα κόσμου, τα οποία υποστηρίζει ότι είναι ο πραγματικός δρόμος προς την AGI.
Η εργασία με τίτλο “JETS: Ένα Αυτο-Εποπτευόμενο Μοντέλο Βάσης Κοινής Ενσωμάτωσης Χρονικών Σειρών για Δεδομένα Συμπεριφοράς στην Υγειονομική Περίθαλψη” έγινε δεκτή σε ένα εργαστήριο στο NeurIPS. Προσαρμόζει την προσέγγιση κοινής ενσωμάτωσης του JEPA σε ακανόνιστες πολυμεταβλητές χρονικές σειρές, όπως τα μακροπρόθεσμα δεδομένα από wearable συσκευές όπου ο καρδιακός ρυθμός, ο ύπνος, η δραστηριότητα και άλλες μετρήσεις εμφανίζονται ασυνεπώς ή με μεγάλα κενά με την πάροδο του χρόνου.
Δείτε ακόμα: Το AI μπορεί να αποκαλύψει βαθύτερα δεδομένα καρδιάς από τον οπτικό αισθητήρα του Apple Watch
Η μελέτη χρησιμοποιεί ένα διαχρονικό σύνολο δεδομένων που περιλαμβάνει δεδομένα από φορετές συσκευές που συλλέχθηκαν από μια ομάδα 16.522 ατόμων, με συνολικά περίπου 3 εκατομμύρια ημέρες. Για κάθε άτομο, καταγράφηκαν 63 διακριτές μετρικές χρονικών σειρών σε ημερήσια ή χαμηλότερη ανάλυση, κατηγοριοποιημένες σε πέντε φυσιολογικούς και συμπεριφορικούς τομείς: καρδιαγγειακή υγεία, αναπνευστική υγεία, ύπνος, φυσική δραστηριότητα και γενικές στατιστικές.
Ενδιαφέρον παρουσιάζει το γεγονός ότι μόνο το 15% των συμμετεχόντων είχε επισημασμένο ιατρικό ιστορικό για αξιολόγηση, πράγμα που σημαίνει ότι το 85% των δεδομένων θα ήταν μη χρησιμοποιήσιμο σε παραδοσιακές προσεγγίσεις εποπτευόμενης μάθησης. Αντίθετα, το JETS πρώτα έμαθε από το πλήρες σύνολο δεδομένων μέσω αυτο-εποπτευόμενης προ-εκπαίδευσης και στη συνέχεια προσαρμόστηκε στο επισημασμένο υποσύνολο.
Για να λειτουργήσει το μοντέλο, οι ερευνητές δημιούργησαν τριπλέτες δεδομένων από παρατηρήσεις που αντιστοιχούν σε ημέρα, τιμή και τύπο μετρικής. Αυτό τους επέτρεψε να μετατρέψουν κάθε παρατήρηση σε ένα τοκεν, το οποίο υποβλήθηκε σε διαδικασία κάλυψης, κωδικοποιήθηκε και στη συνέχεια τροφοδοτήθηκε μέσω ενός προβλεπτικού μοντέλου για να προβλέψει την ενσωμάτωση των ελλειπόντων τμημάτων.
Μόλις ολοκληρώθηκε, οι ερευνητές συνέκριναν το JETS με άλλα βασικά μοντέλα, συμπεριλαμβανομένης μιας προηγούμενης έκδοσης του JETS βασισμένης στην αρχιτεκτονική Transformer και τα αξιολόγησαν χρησιμοποιώντας AUROC και AUPRC, δύο τυπικά μέτρα του πόσο καλά ένα AI διακρίνει μεταξύ θετικών και αρνητικών περιπτώσεων.
Δείτε επίσης: Χρήστες Apple Watch παραπονιούνται για το Workout app
Το JETS πέτυχε AUROC 86.8% για την υψηλή αρτηριακή πίεση, 70.5% για την κολπική μαρμαρυγή, 81% για το σύνδρομο χρόνιας κόπωσης και 86.8% για το σύνδρομο άρρυθμου κόλπου, μεταξύ άλλων. Αν και δεν κέρδισε πάντα, τα πλεονεκτήματα του JETS είναι εμφανή στα μετρικά της απόδοσης του.
