Νωρίτερα φέτος, η Microsoft παρουσίασε τη σειρά μικρών γλωσσικών μοντέλων Phi-3. Σήμερα, έκανε ένα ακόμα βήμα παραπέρα με την ανακοίνωση του Phi-4, ενός προηγμένου μικρού γλωσσικού μοντέλου (SLM) με 14 δισεκατομμύρια παραμέτρους.
Το Phi-4 όχι μόνο εντυπωσιάζει με τις δυνατότητές του, αλλά ξεπερνά και το GPT-4 της OpenAI σε σημαντικούς δείκτες τεχνητής νοημοσύνης, όπως οι MATH και GPQA.
Διαβάστε σχετικά: Το Phi-3 μας δείχνει τη δύναμη των μικρών AI γλωσσικών μοντέλων
Η εξαιρετική απόδοση του Phi-4 σε μαθηματική συλλογιστική αποδίδεται στη χρήση υψηλής ποιότητας συνθετικών συνόλων δεδομένων, στην προσεκτική επιμέλεια οργανικών δεδομένων και στις σημαντικές βελτιώσεις που έγιναν μετά την αρχική εκπαίδευση. Τα συνθετικά δεδομένα εκπαίδευσης δημιουργήθηκαν μέσω καινοτόμων τεχνικών, όπως προτροπές πολλαπλών πρακτόρων, αυτοαναθεώρηση και αντιστροφή οδηγιών.
Βόρεια Κορέα: Κλάπηκαν crypto αξίας $ 659 εκατ. το 2024
Αξίζει να σημειωθεί ότι τα συνθετικά δεδομένα αποτελούν τη μεγαλύτερη αναλογία των δεδομένων εκπαίδευσης του Phi-4. Παράλληλα, η Microsoft εφάρμοσε τεχνικές όπως η δειγματοληψία απόρριψης, βελτιώνοντας τις εξόδους του μοντέλου κατά τη φάση της μετά-εκπαίδευσης.
Στο τεχνικό έγγραφο του Phi-4, η Microsoft αντιμετώπισε επίσης τις ανησυχίες σχετικά με τη διαρροή συνόλων δεδομένων αξιολόγησης στο διαδίκτυο. Για να διασφαλίσει την ακρίβεια των αποτελεσμάτων, βελτίωσε τη διαδικασία απορρύπανσης δεδομένων του Phi-4, εξαλείφοντας κάθε ενδεχόμενη αθέμιτη επίδραση.
Δείτε επίσης: Deceptive Delight: Τεχνική Jailbreak για παραβίαση Γλωσσικών Μοντέλων
Η αξιόπιστη απόδοση του Phi-4 επιβεβαιώθηκε μέσα από δοκιμές στους διαγωνισμούς μαθηματικών AMC-10 και AMC-12 του Νοεμβρίου 2024, οι οποίοι διενεργήθηκαν μετά την ολοκλήρωση της συλλογής δεδομένων εκπαίδευσης.
Όπως φαίνεται και στο διάγραμμα παρακάτω, το Phi-4 ξεπερνά τόσο μοντέλα παρόμοιου μεγέθους ή ανοιχτού κώδικα όσο και μεγαλύτερα, κορυφαία μοντέλα, όπως το Gemini 1.5 Pro. Μέσω αυτών των δοκιμών, η Microsoft διαβεβαιώνει ότι η ανώτερη απόδοση του Phi-4 στον δείκτη MATH δεν οφείλεται σε υπερπροσαρμογή ή μόλυνση δεδομένων.
Παρόλα αυτά, το Phi-4 έχει και τους περιορισμούς του. Λόγω του μεγέθους του, παραμένει περιορισμένο σε θέματα πραγματικών γνώσεων και έχει μικρότερη ικανότητα να ακολουθεί λεπτομερείς οδηγίες με ακρίβεια. Σε θέματα ασφάλειας, η ομάδα του Phi-4 συνεργάστηκε με την ανεξάρτητη ομάδα AI Red Team (AIRT) της Microsoft για την ανάλυση και την αξιολόγηση πιθανών κινδύνων ασφάλειας και προστασίας, τόσο σε τυπικές όσο και σε εχθρικές συνθήκες χρήσης.
Διαβάστε ακόμη: Microsoft: Οι απαιτήσεις της στο «Copilot+» για υπολογιστές ενοχλούν την Intel και την AMD
Το Phi-4 είναι πλέον διαθέσιμο μέσω του Azure AI Foundry, υπό τη Σύμβαση Άδειας Χρήσης Microsoft Research License Agreement (MSRLA). Επιπλέον, η Microsoft σχεδιάζει να κυκλοφορήσει το Phi-4 και στο Hugging Face την ερχόμενη εβδομάδα.
Πηγή: neowin
 με 14 δισεκατομμύρια παραμέτρους.){kind=link}