«Βάλε το μπολ στο πιάτο». Για έναν άνθρωπο, η εντολή είναι απλή. Για ένα ρομπότ που πρέπει να μετατρέψει τη γλώσσα σε κίνηση, κρύβει δυσκολότερα ερωτήματα: κατάλαβε η μηχανή πράγματι τι της ζητήσαμε; Μια ελληνική startup δοκίμασε να μάθει σε ένα ρομπότ ελληνικά. Στην πορεία ανακάλυψε ότι το δυσκολότερο κομμάτι ήταν να διαπιστώσει αν το ρομπότ καταλάβαινε πραγματικά την γλώσσα, ή αν μάντευε τι να κάνει από την εικόνα που βρισκόταν μπροστά του.
Η ομάδα πίσω από την έρευνα είναι η Sophea AI, το οικοσύστημα τεχνητής νοημοσύνης της ελληνικής Kiefer SA. Σε πρόσφατο paper με τίτλο «Measuring Language Transfer in Robot Policies: Adding Greek to a Cosmos3 Vision-Language-Action Policy», οι Ayoub Kirouane, Γιώργος Γιαπλές και Χρήστος Πετρόχειλος πήραν ένα ανοιχτό robotic foundation model, το τροφοδότησαν με μεταφρασμένες στα ελληνικά εντολές, και δοκίμασαν να απαντήσουν σε ένα ερώτημα που ακούγεται απλό αλλά δεν είναι: πώς ξέρεις αν ένα ρομπότ πραγματικά καταλαβαίνει μια γλώσσα, ή απλώς μαντεύει σωστά;
«Αν κανείς δεν φτιάξει τα ελληνικά δεδομένα και δεν κάνει την ελληνική αξιολόγηση, ρομπότ που μιλούν ελληνικά απλά δεν θα υπάρξουν, όσο καλά κι αν γίνονται τα παγκόσμια μοντέλα».
Η μέθοδος: πρόσθεσαν ελληνικά σε ένα Vision-Language-Action μοντέλο και το δοκίμασαν σε προσομοιωμένη κουζίνα. Το ρομπότ βλέπει τη σκηνή, λαμβάνει μια γλωσσική οδηγία, και πρέπει να χρησιμοποιήσει τον βραχίονά του για να εκτελέσει την αντίστοιχη πράξη.
Το σημαντικό εδώ δεν είναι αν ένα AI μπορεί να μιλήσει ελληνικά. Τα ρομπότ της Kiefer μιλούν ήδη άπταιστα ελληνικά, όπως επισημαίνει στο WIRED Greece ο Ayoub Kirouane, ML Lead της KIEFER. Ήδη μπορούν να βλέπουν μέσα από κάμερες και να συνομιλούν σε πραγματικό χρόνο. Αυτό το εμπόδιο έχει ξεπεραστεί.
Αυτό που παραμένει ανοιχτό είναι να αλλάζει η συμπεριφορά του ρομπότ επειδή άλλαξαν τα λόγια που του είπαμε. «Το να μιλάς για το μπολ έχει λυθεί. Το να μετακινήσεις το μπολ επειδή το ζήτησες στα ελληνικά είναι το ανοιχτό πρόβλημα», εξηγεί ο Kirouane.
Το τεστ που πρότειναν: βάλε το ρομπότ σε μια κουζίνα όπου μπορούν να γίνουν πολλά πράγματα, ζήτα του στα ελληνικά «βάλε το μπολ στο πιάτο», και δες αν κάνει ακριβώς αυτό, αντί να βάζει το αντικείμενο κάπου αλλού ή να ανάβει τον φούρνο. «Το μόνο τεστ που μετράει είναι αν η αλλαγή των λέξεων αλλάζει τη συμπεριφορά», λέει ο Kirouane.
Σήμερα, σε προσομοιωμένη κουζίνα, το ρομπότ πετυχαίνει περίπου το ένα τέταρτο των ελληνικών εντολών σε ενενήντα διαφορετικά καθήκοντα, έναντι περίπου έξι στις δέκα φορές στα αγγλικά. Μερικές εντολές δουλεύουν σχεδόν πάντα, άλλες σχεδόν ποτέ. Είναι επίσης εξαιρετικά ευαίσθητο στη διατύπωση: αν πεις την ίδια εντολή με διαφορετικά λόγια, η επιτυχία πέφτει κατά 23 περίπου μονάδες στα ελληνικά, ενώ στα αγγλικά μόλις 4-5.
Πολλά πρότυπα αξιολόγησης ρομπότ έχουν έναν περιορισμό. Σύμφωνα με τον Kirouane, στα περισσότερα, κάθε σκηνή επιτρέπει μόνο ένα πιθανό καθήκον. Αν η μόνη εντολή που δίνεται ποτέ σε μια συγκεκριμένη κουζίνα είναι «βάλε την κούπα στον φούρνο μικροκυμάτων», το ρομπότ μαθαίνει να αναγνωρίζει το δωμάτιο και να κάνει το ένα πράγμα που ταιριάζει εκεί. Οι λέξεις γίνονται, επομένως, περιττές.
Όταν η ομάδα δοκίμασε το ρομπότ της σε ένα τέτοιο σύστημα αξιολόγησης, πέτυχε 84,6% με σωστές ελληνικές εντολές. Το ποσοστό ήταν 82,6% όταν σκόπιμα του έδωσαν λάθος εντολή.
«Έμοιαζε να καταλαβαίνει ελληνικά. Στην πραγματικότητα διάβαζε την εικόνα, όχι την πρόταση», λέει ο Kirouane, παρομοιάζοντας το φαινόμενο με έναν μαθητή που παίρνει άριστα σε ένα διαγώνισμα όπου κάθε σελίδα έχει μόνο μία δυνατή απάντηση: «Δεν έχεις τεστάρει αν διάβασε τις ερωτήσεις».
Ένα benchmark μπορεί δηλαδή να λέει ότι ένα robot policy «πετυχαίνει» μια εργασία, χωρίς να αποκαλύπτει αν χρησιμοποιεί πράγματι τη γλώσσα για να αποφασίσει τι θα κάνει. Γι’ αυτό οι ερευνητές έβαλαν στο paper ένα απλό αλλά κρίσιμο τεστ: δώσε στο ρομπότ λάθος εντολή, και δες αν αλλάζει συμπεριφορά.
Το δίδαγμα, λέει ο Kirouane, είναι ότι όλοι οι προφανείς, φτηνοί τρόποι μέτρησης οδηγούν στο ίδιο λανθασμένο συμπέρασμα. Η καμπύλη εκπαίδευσης δεν μπορεί να ξεχωρίσει ένα ρομπότ που ακολουθεί σωστά τα ελληνικά από ένα που τα αγνοεί εντελώς. Ένα μεμονωμένο πείραμα μπορεί να είναι παραπλανητικό -το ελληνικό αποτέλεσμα μετακινήθηκε πάνω από τριάντα μονάδες μόνο επειδή άλλαξε ο τυχαίος seed, ενώ το αγγλικό σχεδόν καθόλου.
Πέντε από τα αρχικά τους συμπεράσματα αποδείχτηκαν λανθασμένα όταν έτρεξαν τους σωστούς ελέγχους, και τα κράτησαν στο paper ως ανακλήσεις. Η λύση, λένε, είναι πάντα να τρέχεις το τεστ της «λανθασμένης εντολής», να χρησιμοποιείς σκηνές με περισσότερους από έναν πιθανούς στόχους, και να επαναλαμβάνεις το πείραμα πολλές φορές πριν πιστέψεις το αποτέλεσμα.
Αυτό έχει σημασία επειδή η πραγματική, φυσική γλώσσα δεν έχει τέτοιους περιορισμούς. Δεν θα πούμε όλοι «τοποθέτησε το φλιτζάνι στον φούρνο μικροκυμάτων» με τον ίδιο ακριβώς τρόπο. Άλλος θα πει «βάλε την κούπα στον φούρνο», άλλος «μπορείς να το βάλεις εκεί;», κι άλλος κάτι ακόμη πιο απρόβλεπτο. Ένα ρομπότ που καταλαβαίνει μόνο τη διατύπωση που έχει δει στην εκπαίδευσή του δεν καταλαβαίνει ακόμη τη γλώσσα με τον τρόπο που την αντιλαμβάνεται ένας άνθρωπος.
Σημειώνεται πως όλα τα αποτελέσματα προέρχονται από προσομοίωση -έναν εικονικό βραχίονα σε εικονικές κουζίνες (το σύστημα LIBERO). Η ομάδα μετέφρασε επίσης ένα τεράστιο σύνολο δεδομένων από πραγματικά ρομπότ, αλλά δεν μπόρεσε να το αξιολογήσει, καθώς αυτό απαιτεί τον ίδιο τον φυσικό βραχίονα στον οποίο καταγράφηκε, τον οποίο δεν διαθέτουν.
Τρία πράγματα κρατούν τα ελληνικά πίσω, σύμφωνα με τον Kirouane. Πρώτον, δεν υπάρχει πουθενά αντίστοιχης κλίμακας corpus ελληνικών robot demonstrations. Τα αγγλικά κυριαρχούν στα σύνολα δεδομένων ρομπότ παγκοσμίως, οπότε χρειάστηκε να παραγάγουν οι ίδιοι τα ελληνικά, χρησιμοποιώντας γλωσσικό μοντέλο με αφετηρία τα αγγλικά.
Δεύτερον, το μοντέλο πρέπει ήδη να ξέρει κάποια ελληνικά πριν ξεκινήσει το πείραμα.
Τρίτον, ακόμα και με πολύγλωσσο μοντέλο, τα ελληνικά μόνα τους δεν αρκούσαν. Το ρομπότ χρειάστηκε αγγλικά παραδείγματα παράλληλα με τα ελληνικά για να μάθει να «διαβάζει» ελληνικά, και παρόλα αυτά μένει πολύ πίσω από τα αγγλικά.
Όλα αυτά έχουν σημασία για τη χώρα μας, αλλά όχι μόνο.
«Τα ρομπότ θα εμφανιστούν σε σπίτια, νοσοκομεία, αποθήκες και δομές φροντίδας στην Ελλάδα. Αν καταλαβαίνουν αξιόπιστα μόνο αγγλικά, οι Έλληνες χρήστες είτε αλλάζουν γλώσσα είτε παίρνουν μια χειρότερη, λιγότερο ασφαλή μηχανή», λέει ο Kirouane.
Και τα ελληνικά είναι, σε σχέση με άλλες γλώσσες, σχετικά καλά εφοδιασμένα με ψηφιακούς πόρους. «Το ίδιο πρόβλημα αντιμετωπίζει σχεδόν κάθε γλώσσα στη Γη, και η μέθοδος που περιγράφουμε -μετάφρασε τα δεδομένα και μετά έλεγξε αυστηρά αν πραγματικά δούλεψε- είναι αυτό που θα έπρεπε να κάνει κάθε τέτοια κοινότητα». Το δεύτερο μισό αυτής της πρότασης, σημειώνει, είναι το κομμάτι που συνήθως παραλείπεται, και είναι αυτό που, αν λείπει, αφήνει μια χώρα να πιστεύει ότι η γλώσσα της «δουλεύει» ενώ το ρομπότ απλώς μαντεύει από τη σκηνή.
Στο ερώτημα πόσο σημαντικό είναι για μια χώρα να έχει AI εκπαιδευμένο στη δική της γλώσσα, η απάντηση του Kirouane είναι απερίφραστη: η ικανότητα αυτή δεν έρχεται δωρεάν. Ένα μοντέλο που ήδη «μιλάει» ελληνικά σε κείμενο δεν μετέφερε αυτή τη γνώση σε δράση μέχρι να του δώσουν ελληνικά robotic demonstrations. Χωρίς αυτά, συμπεριφερόταν σαν να μην καταλαβαίνει τίποτα, σε κάθε δοκιμή. «Αν κανείς δεν φτιάξει τα ελληνικά δεδομένα και δεν κάνει την ελληνική αξιολόγηση, ρομπότ που μιλούν ελληνικά απλά δεν θα υπάρξουν, όσο καλά κι αν γίνονται τα παγκόσμια μοντέλα».
Είναι ένα ερώτημα που θα γίνεται όλο και πιο πρακτικό όσο τα AI συστήματα μετακινούνται από την οθόνη στον φυσικό κόσμο: σε ποια γλώσσα θα τους μιλάμε; Αν τα ρομπότ μπουν σε σπίτια, νοσοκομεία, αποθήκες ή χώρους φροντίδας στην Ελλάδα, δεν θα συζητάμε μόνο αν ένα μοντέλο μπορεί να συνομιλήσει μαζί μας στα ελληνικά. Θα πρέπει να κάνει το σωστό πράγμα όταν του πούμε τι θέλουμε.
«Είναι μια επιλογή που μια χώρα μπορεί να κάνει ή να μην κάνει, και είναι φθηνότερη από ό,τι πιστεύει ο κόσμος. Το ακριβό κομμάτι είναι να ελεγχθεί με ειλικρίνεια αν απέδωσε», καταλήγει ο Kirouane.
Με την εγγραφή σας, συμφωνείτε με τους Όρους Χρήσης μας (συμπεριλαμβανομένης της παραίτησης από ομαδικές αγωγές και των διατάξεων διαιτησίας) και αναγνωρίζετε την Πολιτική Απορρήτου μας.
