Φαντάσου ότι βρίσκεσαι σε μια χώρα που δεν μιλάς τη γλώσσα της. Χρειάζεσαι βοήθεια. Δεν υπάρχει διερμηνέας, δεν υπάρχει κανένας που να ξέρει ελληνικά. Και όμως, κάπως, γίνεσαι κατανοητός. Δείχνεις, χειρονομείς, βάζεις έναν τόνο, αλλάζεις ύφος, επαναλαμβάνεις. Κάτι γίνεται αντιληπτό. Όχι η λέξη που χρησιμοποιείς, αλλά η έννοια πίσω από αυτή.
Κάτι παρόμοιο συμβαίνει όταν γράφεις σε ένα LLM στα ελληνικά. Το μοντέλο δεν ψάχνει για μεταφραστή. Δεν μετατρέπει το κείμενό σου σε αγγλικά για να μπορέσει να το επεξεργαστεί, αλλά λειτουργεί απευθείας με αυτό που έγραψες, μέσα από έναν χώρο, τον οποίο η ελληνική και η αγγλική γλώσσα μοιράζονται. Για να καταλάβουμε, όμως, πώς κάτι τέτοιο είναι δυνατό, πρέπει να δούμε πώς χτίστηκε αυτός ο χώρος.
Πώς δύο λέξεις από διαφορετικές γλώσσες καταλήγουν στην ίδια πινέζα του χάρτη;
Τα γλωσσικά μοντέλα εκπαιδεύτηκαν σε δισεκατομμύρια προτάσεις από δεκάδες γλώσσες. Και κατά τη διάρκεια αυτής της εκπαίδευσης, κατέγραψαν ότι ορισμένες λέξεις από διαφορετικές γλώσσες εμφανίζονται πάντα σε παρόμοια συμφραζόμενα.
Το “μήλο” στα ελληνικά εμφανίζεται δίπλα σε λέξεις όπως “τρώω”, “δέντρο”, “φρούτο”. Το “apple” στα αγγλικά εμφανίζεται δίπλα στις αντίστοιχες “eat”, “tree”, “fruit”. Τα συμφραζόμενα είναι σχεδόν πανομοιότυπα. Και αφού το μοντέλο μαθαίνει τη σημασία των λέξεων μέσα από τα συμφραζόμενά τους, οι δύο λέξεις καταλήγουν στο ίδιο σημείο στον χάρτη εννοιών.
Η ελληνική γλώσσα, με την πλούσια μορφολογία της και τις πολλές καταλήξεις, χρειάζεται περισσότερα tokens για να εκφράσει το ίδιο νόημα σε σχέση με τα αγγλικά.
Αυτή η αρχή ονομάζεται distributional semantics: η ιδέα ότι η σημασία μιας λέξης αποκαλύπτεται από τις λέξεις που τη συντροφεύουν. Και είναι ο λόγος που ο “σκύλος” και το “dog”, το “Αθήνα” και το “Athens”, το “τρώω” και το “eat” καταλήγουν σε γειτονικά σημεία στον χώρο, χωρίς κανείς να έχει ορίσει ρητά τη σχέση τους.
Ο παρακάτω πίνακας δείχνει ακριβώς αυτό. Όχι τη σχέση μεταξύ διαφορετικών εννοιών, αλλά την ομοιότητα της ίδιας έννοιας σε δύο γλώσσες. Ο “σκύλος” και το “dog” έχουν σχεδόν πανομοιότυπο προφίλ σε κάθε διάσταση. Το ίδιο ο “άνθρωπος” και το “human”, το “μήλο” και το “apple”:
| Διάσταση | σκύλος | dog | άνθρωπος | human | μήλο | apple |
| Είναι ζωντανό; | 0.97 | 0.96 | 0.99 | 0.99 | 0.02 | 0.02 |
| Τρώγεται; | 0.41 | 0.40 | 0.03 | 0.03 | 0.95 | 0.94 |
| Είναι κατοικίδιο; | 0.89 | 0.88 | 0.04 | 0.04 | 0.01 | 0.01 |
| Είναι φυτό; | 0.01 | 0.01 | 0.00 | 0.00 | 0.91 | 0.92 |
| Γαβγίζει; | 0.93 | 0.92 | 0.00 | 0.00 | 0.00 | 0.00 |
(*) Απλοποιημένο παράδειγμα με ενδεικτικές τιμές. Αυτό που είναι πραγματικό είναι η λογική: λέξεις που εμφανίζονται σε παρόμοια νοητικά περιβάλλοντα, ανεξάρτητα από γλώσσα, αποκτούν σχεδόν πανομοιότυπο προφίλ στον χώρο εννοιών.
Βοήθησαν, φυσικά, και τα παράλληλα κείμενα. Εκατομμύρια έγγραφα που υπάρχουν σε πολλές γλώσσες ταυτόχρονα όπως οι αποφάσεις του ΟΗΕ, τα άρθρα της Wikipedia, ιστοσελίδες που μεταφράστηκαν κ.λπ.. Κάθε φορά που το μοντέλο έβλεπε μια ελληνική πρόταση και την αγγλική μετάφρασή της, μάθαινε να τοποθετεί τις αντίστοιχες έννοιες πιο κοντά στον χάρτη. Αν έκανε λάθος, το σύστημα εκπαίδευσης το διόρθωνε. Σιγά σιγά, οι γλωσσικοί χώροι των διαφορετικών γλωσσικών μοντέλων ευθυγραμμίστηκαν.
Μετάφραση ή κάτι άλλο;
Το μοντέλο δεν μεταφράζει αυτό που γράφεις. Δεν υπάρχει κάποιο στάδιο στο οποίο το ελληνικό κείμενο γίνεται αγγλικό και μετά γίνεται αντικείμενο επεξεργασίας.
Στην πραγματικότητα, στο παραπάνω παράδειγμα, για λόγους απλούστευσης, έχουμε παραβλέψει κάποια βήματα. Όταν ένα LLM “διαβάζει” μία λέξη, την χωρίζει σε tokens, μικρά κομμάτια της, δηλαδή, τα οποία έχουν χωριστεί κατά την φάση δημιουργίας του συγκεκριμένου μοντέλου LLM. Το καθένα από αυτά τα tokens, μετατρέπεται σε ένα διάνυσμα, μία σειρά αριθμών πρακτικά που περιγράφουν τα νοηματικά χαρακτηριστικά του token. Αυτό το διάνυσμα είναι κάπως σαν να δείχνει ένα σημείο αυτού του νοηματικού χάρτη.
Εκεί τα ελληνικά tokens χαρτογραφούνται απευθείας στον πολυδιάστατο χώρο εννοιών. Τον ίδιο χώρο που χρησιμοποιείται για τα αγγλικά, τα κινέζικα, τα ισπανικά. Δεν υπάρχει ξεχωριστός “ελληνικός χώρος”. Υπάρχει ένας κοινός χώρος εννοιών, και κάθε γλώσσα βρίσκει τη θέση της μέσα σε αυτόν.
Με αυτή την έννοια, η ερώτηση “μεταφράζει το AI;” δεν έχει απλή απάντηση, γιατί απλώς, είναι λανθασμένη εξαρχής. Το μοντέλο δεν μεταφράζει. Αναγνωρίζει. Βρίσκει το “πού βρίσκεται” αυτό που έγραψες στον εννοιολογικό χάρτη, και από εκεί συνεχίζει.
Ο κοινός χώρος δεν είναι ουδέτερος
Τα μοντέλα εκπαιδεύτηκαν κυρίως σε αγγλικό κείμενο. Αυτό σημαίνει ότι ο χάρτης εννοιών έχει διαμορφωθεί σε μεγάλο βαθμό από αγγλικά δεδομένα και τις δομές, τις συνδέσεις, τα πλαίσια που είναι συνηθισμένα στην αγγλική γλώσσα. Όταν γράφεις στα ελληνικά, τα tokens σου βρίσκουν θέση στον χάρτη, αλλά αυτός ο χάρτης έχει ήδη σχεδιαστεί από άλλη γλώσσα.
Στην πράξη αυτό σημαίνει ότι για εξειδικευμένα θέματα, τεχνικές έννοιες, επιστημονική ορολογία, νομικά κείμενα κ.λπ. ο χάρτης είναι πυκνότερος στα αγγλικά. Υπάρχουν περισσότερα σημεία αναφοράς, περισσότερες συνδέσεις, μεγαλύτερη ακρίβεια. Στα ελληνικά, τα αντίστοιχα tokens υπάρχουν, αλλά ο γύρω τους χώρος μπορεί να είναι πιο “αραιός”.
Τι σημαίνει αυτό για τον ελληνόφωνο χρήστη
Υπάρχει και μια δεύτερη παράμετρος που συνδέεται με αυτή: η ελληνική γλώσσα, με την πλούσια μορφολογία της και τις πολλές καταλήξεις, χρειάζεται περισσότερα tokens για να εκφράσει το ίδιο νόημα σε σχέση με τα αγγλικά. Και αφού κάθε μοντέλο έχει ένα μέγιστο όριο tokens που μπορεί να επεξεργαστεί σε μια συνομιλία, αυτό που ονομάζεται context window, η ελληνική γλώσσα καταναλώνει αναλογικά περισσότερο από αυτό το όριο.
Το αποτέλεσμα είναι διπλό. Από τη μια, “πληρώνεις” περισσότερο σε χώρο μνήμης. Το μοντέλο θα αρχίσει να χάνει το νήμα της συνομιλίας νωρίτερα, όχι γιατί είναι λιγότερο ικανό, αλλά γιατί η γλώσσα σου καταλαμβάνει περισσότερο χώρο. Από την άλλη, περιηγείσαι σε έναν χώρο εννοιών που σχεδιάστηκε κυρίως για άλλους, με λιγότερες συνδέσεις, λιγότερα σημεία αναφοράς, μικρότερη πυκνότητα εκεί που ψάχνεις.
Αυτό δεν σημαίνει ότι τα μοντέλα δεν λειτουργούν στα ελληνικά. Λειτουργούν, και μάλιστα, όλο και καλύτερα, καθώς τα δεδομένα εκπαίδευσης γίνονται πιο πολύγλωσσα. Αλλά η γλώσσα που χρησιμοποιείς δεν είναι αδιάφορη επιλογή. Επηρεάζει πού τοποθετείσαι στον χάρτη, με πόση ακρίβεια, και τελικά τι αποτέλεσμα παίρνεις πίσω.
Στην αρχή αυτού του άρθρου, φανταστήκαμε κάποιον σε ξένη χώρα που γίνεται κατανοητός χωρίς κοινή γλώσσα. Η αναλογία ισχύει, αλλά με μια ουσιαστική διαφορά: σε αυτόν τον χώρο, ορισμένες γλώσσες έχουν χαρτογραφηθεί με λεπτομέρεια, και άλλες λιγότερο. Γίνεσαι κατανοητός. Αλλά, μοιάζει να μην γίνεσαι κατανοητός εξίσου.
O Φίλιππος Ζακόπουλος είναι Managing Partner του Found.ation
Το άρθρο αυτό αποτελεί μέρος μιας σειράς κειμένων του Found.ation για την τεχνητή νοημοσύνη και τον ψηφιακό μετασχηματισμό, αναδεικνύοντας πώς η στρατηγική κατανόηση και εφαρμογή των νέων τεχνολογιών μπορεί να μεταφραστεί σε μετρήσιμη αξία και ανταγωνιστικό πλεονέκτημα για τους εταιρικούς οργανισμούς.
