Οι εικόνες και τα βίντεο αποτελούν αναπόσπαστο μέρος οποιουδήποτε κοινωνικού δικτύου. Ωστόσο αυτά τα μέσα κοινωνικής δικτύωσης μπορούν να αποδειχτούν επίσης ως οι συνήθεις ύποπτοι για τη διάδοση fake news και ρητορικών μίσους. Για να ελαχιστοποιηθεί η επίδραση τέτοιων αρνητικών περιστατικών, εταιρείες όπως το Facebook χρησιμοποιούν αυτοματοποιημένα εργαλεία.
Σε πρόσφατη ανάρτηση στο ιστολόγιό του, το Facebook περιέγραψε ένα νέο σύστημα που βασίζεται στη μηχανική εκμάθηση, το οποίο μπορεί να αναγνωρίσει αν υπάρχει κείμενο σε βίντεο και εικόνες και να το μεταγράψει το σε μηχανικά αναγνώσιμη μορφή.
Το σύστημα αυτό που ονομάζεται Rosetta, πηγαίνει ένα βήμα πιο πέρα από την παραδοσιακή τεχνική της οπτικής αναγνώρισης χαρακτήρων (OCR), καθώς καταβάλλει προσπάθειες να κατανοήσει το πλαίσιο της εικόνας και του κειμένου μαζί.
Η εταιρεία χρησιμοποίησε ένα δισεκατομμύριο εικόνες και βίντεο από το Facebook και το Instagram, για να εκπαιδεύσει το πρότυπο αναγνώρισης κειμένου. Η συνολική διαδικασία περιλαμβάνει δύο βήματα: ανίχνευση μιας ορθογώνιας περιοχής που μπορεί να περιέχει κείμενο και στη συνέχεια εκτελεί αναγνώριση κειμένου χρησιμοποιώντας convolutional neural network (CNN).
Το μοντέλο δεν περιορίζεται απλώς στο αγγλικό κείμενο. Υποστηρίζει διάφορες γλώσσες και κωδικοποιήσεις, συμπεριλαμβανομένων των Χίντι και των Αραβικών.
Το σύστημα Rosetta έχει ήδη ενσωματωθεί ευρέως σε διάφορα προϊόντα του Instagram και του Facebook. Η εταιρεία λέει ότι το χρησιμοποιεί επίσης για τη βελτίωση της αναζήτησης φωτογραφιών, την προβολή εξατομικευμένου περιεχομένου και την αναγνώριση περιεχομένου ρητορικής μίσους σε διάφορες γλώσσες.
