Υπάρχει ένα νέο μεγάλο γλωσσικό μοντέλο (LLM) στην πόλη -για την ακρίβεια δύο- και τα παιδιά της δεκαετίας του ’90 θα αναγνωρίσουν αμέσως τα ονόματά τους: FreeWilly1 και FreeWilly2.
Δείτε επίσης: Η OpenAI εγκαινιάζει τις προσαρμοσμένες οδηγίες για το ChatGPT
Η Stability AI, η εταιρεία που βρίσκεται πίσω από το Stable Diffusion image generation AI και ιδρύθηκε από τον πρώην χρηματοδότη του Ηνωμένου Βασιλείου Emad Mostaque, παρουσίασε δύο νέα LLM που βασίζονται σε εκδόσεις των μοντέλων ανοικτού κώδικα LLaMA και LLaMA 2 της Meta. Και τα δύο μοντέλα διακρίνονται για την περίπλοκη συλλογιστική, τις γλωσσικές λεπτομέρειες και την απάντηση σύνθετων ερωτήσεων που σχετίζονται με εξειδικευμένους τομείς όπως το δίκαιο και τα μαθηματικά. Η θυγατρική της Stability, η CarperAI, κυκλοφόρησε τα FreeWillys με μια “μη εμπορική άδεια” που αποσκοπεί στην προώθηση της έρευνας και την προώθηση της ανοικτής πρόσβασης στην κοινότητα της τεχνητής νοημοσύνης.
Μικρότερες φάλαινες, πιο φιλικές προς το περιβάλλον
Τα ονόματα των μοντέλων είναι ένα λογοπαίγνιο με τη μεθοδολογία εκπαίδευσης της τεχνητής νοημοσύνης “Orca” που αναπτύχθηκε από ερευνητές της Microsoft, η οποία επιτρέπει σε “μικρότερα” μοντέλα (που εκτίθενται σε πιο περιορισμένα δεδομένα) να επιτύχουν τις επιδόσεις των μεγάλων θεμελιωδών μοντέλων που εκτίθενται σε πιο μαζικά σύνολα δεδομένων. (Δεν πρόκειται για αναφορά στις IRL orcas που βυθίζουν βάρκες).
Συγκεκριμένα, τα FreeWilly1 και FreeWilly2 εκπαιδεύτηκαν με 600.000 δεδομένα – μόλις το 10% του μεγέθους του αρχικού συνόλου δεδομένων Orca – χρησιμοποιώντας οδηγίες από τέσσερα σύνολα δεδομένων που δημιουργήθηκαν από τον Enrico Shippole, πράγμα που σημαίνει ότι ήταν πολύ λιγότερο δαπανηρά και πολύ πιο φιλικά προς το περιβάλλον (χρησιμοποιώντας λιγότερη ενέργεια και έχοντας μικρότερο αποτύπωμα άνθρακα) από το αρχικό μοντέλο Orca και τα περισσότερα κορυφαία LLM. Τα μοντέλα εξακολουθούσαν να παράγουν εξαιρετικές επιδόσεις, συγκρίσιμες με τις επιδόσεις του ChatGPT σε GPT-3.5 και σε ορισμένες περιπτώσεις ακόμη και μεγαλύτερες.
Πρόταση: Google: Παρουσίασε το Genesis AI για δημοσιογράφους
Η εκπαίδευση σε συνθετικά δεδομένα είναι πολλά υποσχόμενη
Ένα ζήτημα με τον πολλαπλασιασμό των LLMs είναι η πιθανότητα “κατάρρευσης του μοντέλου”, όπου τα LLMs που εκπαιδεύονται σε αυξανόμενες ποσότητες δεδομένων που παράγονται από τεχνητή νοημοσύνη αποδίδουν χειρότερα από τους προκατόχους τους που εκπαιδεύονται σε δεδομένα που παράγονται από ανθρώπους. Ωστόσο, κατά την εκπαίδευση του FreeWillys, η Stability AI χρησιμοποίησε δύο άλλα LLMs για τη δημιουργία συνθετικών παραδειγμάτων και διαπίστωσε ότι το FreeWillys εξακολουθούσε να έχει καλές επιδόσεις, δείχνοντας ότι τα συνθετικά δεδομένα μπορεί να είναι μια απάντηση στην κατάρρευση του μοντέλου και στην αποφυγή της χρήσης δεδομένων που προστατεύονται από πνευματικά δικαιώματα ή δικαιώματα ιδιοκτησίας.
Κολυμπώντας στο μέλλον με την Stability AI
Η Stability AI οραματίζεται ότι αυτά τα μοντέλα θα θέσουν νέα πρότυπα στον τομέα των LLM ανοικτής πρόσβασης, ενισχύοντας την κατανόηση της φυσικής γλώσσας και επιτρέποντας σύνθετες εργασίες.
“Είμαστε ενθουσιασμένοι με τις ατελείωτες δυνατότητες που θα προσφέρουν αυτά τα μοντέλα στην κοινότητα της τεχνητής νοημοσύνης και τις νέες εφαρμογές που θα εμπνεύσουν”, δήλωσε η ομάδα Stability AI. Εξέφρασαν την ευγνωμοσύνη τους προς τους ερευνητές, τους μηχανικούς και τους συνεργάτες των οποίων η αφοσίωση κατέστησε δυνατό αυτό το ορόσημο.
Οι ερευνητές και οι προγραμματιστές μπορούν να έχουν πρόσβαση στα βάρη του FreeWilly2 ως έχουν, ενώ τα βάρη του FreeWilly1 δημοσιεύονται ως δέλτα σε σχέση με το αρχικό μοντέλο.
Διαβάστε επίσης: Η OpenAI μπορεί να κυκλοφορήσει ένα μοντέλο AI ανοιχτού κώδικα
πηγή πληροφοριών:venturebeat.com
 στην πόλη -για την ακρίβεια δύο- και τα ονόματά τους: FreeWilly1 και FreeWilly2.){kind=link}