Τα μοντέλα deep learning που βασίζονται σε μετασχηματιστές, όπως το GPT-3, έχουν λάβει μεγάλη προσοχή στον κόσμο του machine learning. Αυτά τα μοντέλα υπερέχουν στην κατανόηση σημασιολογικών σχέσεων και συνέβαλαν σε μεγάλες βελτιώσεις στην εμπειρία αναζήτησης του Microsoft Bing. Ωστόσο, αυτά τα μοντέλα μπορεί να αποτύχουν να συλλάβουν πιο λεπτές σχέσεις μεταξύ όρων ερωτήματος και εγγράφων πέρα από την καθαρή σημασιολογία.
Δείτε επίσης: Πεντάγωνο: Η τεχνολογία AI του μπορεί να προβλέψει γεγονότα
Η ομάδα ερευνητών της Microsoft ανέπτυξε ένα νευρωνικό δίκτυο με 135 δισεκατομμύρια παραμέτρους, το οποίο είναι η μεγαλύτερη «καθολική» τεχνητή νοημοσύνη που διαθέτουν στην παραγωγή. Ο μεγάλος αριθμός παραμέτρων καθιστά αυτό ένα από τα πιο εξελιγμένα μοντέλα τεχνητής νοημοσύνης που έχουν αναφερθεί ποτέ δημοσίως μέχρι σήμερα. Το μοντέλο επεξεργασίας φυσικής γλώσσας GPT-3 της OpenAI έχει 175 δισεκατομμύρια παραμέτρους και παραμένει ως το μεγαλύτερο νευρωνικό δίκτυο στον κόσμο που έχει κατασκευαστεί μέχρι σήμερα.
Οι ερευνητές της Microsoft ονομάζουν το τελευταίο τους έργο AI MEB (Make Every Feature Binary). Το μηχάνημα παραμέτρων 135 δισεκατομμυρίων είναι κατασκευασμένο για να αναλύει ερωτήματα που εισάγουν οι χρήστες του Bing. Στη συνέχεια, βοηθά στον εντοπισμό των πιο σχετικών σελίδων από τον ιστό με ένα σύνολο άλλων αλγορίθμων machine learning που περιλαμβάνονται στη λειτουργικότητά του και χωρίς να εκτελεί καθόλου εργασίες από μόνο του.
Δείτε επίσης: Ο συνιδρυτής της Bitmain μετατρέπει την επιχείρηση Crypto σε Unicorn
Το MEB είναι ένα εξαιρετικό συμπλήρωμα στα μοντέλα deep learning που βασίζονται στο Transformer, επειδή μπορεί να χαρτογραφήσει μεμονωμένα γεγονότα και χαρακτηριστικά, γεγονός που επιτρέπει στο MEB να αποκτήσει πιο λεπτή κατανόηση. Για παράδειγμα, πολλά μοντέλα γλώσσας DNN (deep neural network) ενδέχεται να γενικεύονται κατά τη συμπλήρωση του κενού αυτής της πρότασης: “(κενό) μπορεί να πετάξει.” Δεδομένου ότι οι περισσότερες περιπτώσεις εκπαίδευσης έχουν ως αποτέλεσμα τα “πουλιά” να μπορούν να πετάξουν, ορισμένα DNN μπορούν να συμπληρώσουν τη λέξη “πουλί” μόνο για αυτά τα κενά. Ωστόσο, η χαρτογράφηση των δυνατοτήτων MEB βοηθά όχι μόνο στηριζόμενοι σε ένα ή δύο παραδείγματα, αλλά αντίθετα δίνοντας επιπλέον προσοχή σε κάθε πιθανό αποτέλεσμα.
Το MEB επέτρεψε τελικά την κάλυψη 100% σε όλες τις αναζητήσεις Bing. Σε αντίθεση με άλλα μοντέλα που μπορεί να είναι λίγο άκαμπτα και στατικά με χαρακτηριστικά, αυτό είναι σε θέση να μαθαίνει από τεράστιες ποσότητες δεδομένων συνεχώς ενώ θυμάται αξιόπιστα γεγονότα που αντιπροσωπεύονται από binary χαρακτηριστικά.
Δείτε επίσης: NVIDIA AI hub τώρα διαθέσιμο στους πελάτες της Βόρειας Αμερικής
Η ομάδα του Microsoft Bing ανακάλυψε ότι η προσθήκη MEB στη μηχανή αναζήτησης επέφερε αύξηση 2% στις αναλογίες κλικ και μεγαλύτερη από 1% μείωση των χρηστών που ξαναγράφουν ερωτήματα επειδή δεν έλαβαν κανένα σχετικό αποτέλεσμα.
Πηγή πληροφοριών: marktechpost.com
