Η OpenAI κυκλοφορεί ένα νέο AI εργαλείο, το CriticGPT, το οποίο έχει σχεδιαστεί για να βοηθά τους ανθρώπους να εντοπίζουν λάθη στον κώδικα που παράγεται από το ChatGPT.
Το νέο εργαλείο έρχεται στα πλαίσια μιας προσπάθειας της OpenAI να βελτιώσει την ακρίβεια και τη χρησιμότητα των μοντέλων GPT. Η εταιρεία χρησιμοποιεί μια τεχνική που ονομάζεται Reinforcement Learning from Human Feedback (RLHF), όπου οι άνθρωποι εξετάζουν και ασκούν κριτική στα αποτελέσματα από τα μοντέλα AI. Το CriticGPT έχει σχεδιαστεί για να βοηθά τους εκπαιδευτές AI στη διαδικασία RLHF.
Δείτε επίσης: Τώρα μπορείτε να μιλήσετε στο ChatGPT ενώ χρησιμοποιείτε άλλες εφαρμογές
Η OpenAI λέει: «Οι άνθρωποι που λαμβάνουν βοήθεια από το CriticGPT για να ελέγξουν τον κώδικα ChatGPT, κάνουν καλύτερη δουλειά από εκείνους που δεν έχουν βοήθεια (στο 60% των περιπτώσεων)».
Το σημαντικότερο πλεονέκτημα του συνδυασμού του ανθρώπου με το CriticGPT, για την παροχή ανατροφοδότησης στη διαδικασία RLHF, είναι ότι το CriticGPT μπορεί να γράψει πιο ολοκληρωμένες και εμπεριστατωμένες κριτικές από έναν άνθρωπο που λειτουργεί μόνος του. Ταυτόχρονα, όμως, οι άνθρωποι μπορούν να παρέμβουν όταν το μοντέλο αναφέρει hallucinated errors ή όταν το CriticGPT αναφέρει πάρα πολλά μη χρήσιμα «nitpicks».
Με τη χρήση του CriticGPT, οι προγραμματιστές μπορούν να εξοικονομήσουν χρόνο και πόρους, καθώς δεν χρειάζεται να περνούν ώρες ελέγχοντας και διορθώνοντας τον κώδικα. Αυτό επιτρέπει στους προγραμματιστές να επικεντρωθούν σε πιο σημαντικά tasks.
Το νέο εργαλείο θα ενισχύσει την ποιότητα του κώδικα που παράγεται από το ChatGPT, διασφαλίζοντας ότι ο κώδικας είναι πιο καθαρός και λιγότερο επιρρεπής σε σφάλματα.
Δείτε επίσης: Πώς να επεξεργαστείτε εικόνες με το ChatGPT
Πώς εκπαιδεύτηκε το CriticGPT;
Το CriticGPT εκπαιδεύτηκε χρησιμοποιώντας τις μεθοδολογίες RLHF της OpenAI. Οι εκπαιδευτές πήραν κώδικα που γράφτηκε από το ChatGPT και στη συνέχεια εισήγαγαν σφάλματα στον κώδικα. Έπειτα, έγραψαν παραδείγματα ανατροφοδότησης, που θα μπορούσε να παρέχει ένα μοντέλο εάν είχε βρει το σφάλμα.
Ελέγχοντας τα αποτελέσματα του νέου AI μοντέλου και εξετάζοντας πολλαπλές κριτικές για το τροποποιημένο τμήμα του κώδικα, ο εκπαιδευτής μπόρεσε να δει πότε το μοντέλο είχε αναγνωρίσει σωστά και είχε εξηγήσει το σφάλμα που εισήχθη.
Ποιοι είναι οι περιορισμοί του CriticGPT;
Τα δεδομένα εκπαίδευσης μέχρι στιγμής για το CriticGPT έχουν επικεντρωθεί μόνο σε σύντομες απαντήσεις που γράφτηκαν από το ChatGPT. Αυτό σημαίνει ότι θα χρειαστεί περαιτέρω έρευνα και ανάπτυξη για μεγαλύτερα και πιο σύνθετα αποτελέσματα. Επιπλέον, υπάρχει πάντα ο κίνδυνος AI hallucinations που μαστίζουν τα LLM.
Δείτε επίσης: ChatGPT: Το AI chatbot έρχεται στα ακουστικά της Nothing
Θα χρειαστεί επίσης περαιτέρω εργασία για να μπορέσει το μοντέλο να εντοπίσει και να ελέγξει τα διασκορπισμένα σφάλματα – επί του παρόντος μπορεί να χειριστεί μόνο διακριτά σφάλματα που εμφανίζονται σε ένα μέρος.
Η OpenAI σκοπεύει να ενσωματώσει το CriticGPT στο RLHF pipeline και στη συνέχεια να παρέχει βελτιώσεις για να αυξήσει τη χρησιμότητά του.
Πηγή: readwrite.com
