Ο χάρτης της σημασίας: Πώς το AI μετατρέπει τις λέξεις σε θέσεις

Όταν ετοιμάζεις ένα prompt, μπορεί να θεωρείς ότι γράφεις λέξεις που καταλαβαίνει ένα LLM και περιμένεις να σου απαντήσει. Στην πραγματικότητα, αυτό που κάνει κάθε γλωσσικό μοντέλο είναι κάτι διαφορετικό. Το κείμενό σου σπάει πρώτα σε tokens, μικρά κομμάτια λέξεων που αντιστοιχούν σε μοναδικούς αριθμούς. Για παράδειγμα, η λέξη “καλοκαίρι” μπορεί να φτάνει ως τέσσερα ή πέντε τέτοια κομμάτια. Το ποια ακριβώς είναι αυτά τα κομμάτια για κάθε λέξη εξαρτάται από το μοντέλο. Για παράδειγμα άλλα tokens για κάθε λέξη έχει το ChatGPT 5.5 και άλλα το Claude Sonnet 4.6. Ορίζονται στην φάση της δημιουργίας του κάθε μοντέλου, στον προγραμματισμό του, δηλαδή, όπου ο κατασκευαστής του έχει δώσει ένα τεράστιο όγκο κειμένων και προτάσεων που αυτες το οδηγούν στο να χωρίσει την κάθε λέξη σε tokens. 

Κάθε λέξη λοιπόν αποτελείται από tokens και κάθε token είναι στην πραγματικότητα ένας μοναδικός αριθμός. Αλλά αν σταματούσαμε εκεί, θα είχαμε μια ατελή εικόνα. Γιατί οι αριθμοί που αντιστοιχούν στα tokens δεν είναι απλώς ετικέτες. Δεν λειτουργούν δηλαδή όπως ένας κωδικός προϊόντος σε ένα ράφι σούπερ μάρκετ, όπου το 1 είναι το γάλα και το 2 είναι το ψωμί και ανάμεσά τους δεν υπάρχει καμία σχέση. Αυτοί οι αριθμοί αποτελούν κάτι πολύ πιο ενδιαφέρον, γιατί στην πραγματικότητα είναι συντεταγμένες ένας ιδιαίτερου χάρτη.

Από ετικέτα σε συντεταγμένη

Για να καταλάβουμε πώς δουλεύουν αυτές οι συντεταγμένες, πρέπει να σκεφτούμε τι περιμένουμε από ένα γλωσσικό μοντέλο να κάνει.

Αν το μοντέλο αντιμετωπίζει κάθε token ως έναν αυθαίρετο αριθμό-ετικέτα, τότε δεν έχει κανέναν τρόπο να “ξέρει” ότι τα tokens της λέξης “σκύλος” και της λέξης “γάτα” σχετίζονται περισσότερο μεταξύ τους απ’ ό,τι αυτά των “σκύλος” και “αεροπλάνο”. Και αν δεν μπορεί να αναγνωρίσει αυτές τις σχέσεις, δεν μπορεί να κάνει τίποτα ουσιαστικό με τη γλώσσα.

Η λύση είναι να δοθεί σε κάθε token, όχι ένας αριθμός, αλλά μια λίστα από εκατοντάδες ή χιλιάδες αριθμούς. Αυτή η λίστα ονομάζεται διάνυσμα, και η διαδικασία που μετατρέπει ένα token σε διάνυσμα ονομάζεται vectorization.

Το αποτέλεσμα είναι ότι κάθε token αποκτά μια θέση σε έναν πολυδιάστατο χώρο. Και αυτή η θέση, αυτές οι συντεταγμένες, ονομάζεται embedding.

Η διαφορά των δύο όρων είναι απλή: το vectorization είναι η διαδικασία, το embedding είναι το αποτέλεσμα. Το vectorization μετατρέπει ένα token σε διάνυσμα. Το embedding είναι η ίδια η θέση που αποκτά αυτό το token στον χώρο.

Ο χώρος που έχει νόημα

Φαντάσου έναν χάρτη, όχι γεωγραφικό, αλλά έναν χάρτη εννοιών. Για ευκολία στην συνέχεια της κουβέντας μας θα θεωρήσουμε ότι κάθε σημείο σε αυτόν αντιπροσωπεύει μια λέξη – στην πραγματικότητα κάθε σημείο αντιπροσωπεύει ένα token, ένα κομμάτι μίας ανθρώπινης λέξης αλλά για χάριν ευκολίας το απλοποιούμε. 

Μιλώντας για λέξεις, λοιπόν, πάνω σε αυτό τον γεωγραφικό χάρτη εννοιών, η θέση κάθε λέξης αποκαλύπτει τη σημασία της. Λέξεις με παρόμοια σημασία βρίσκονται κοντά. Λέξεις που δεν σχετίζονται βρίσκονται μακριά.

Η απόσταση ανάμεσα σε δύο λέξεις μετριέται με μια μέθοδο που ονομάζεται cosine similarity: μετράει τη γωνία ανάμεσα σε δύο διανύσματα. Αν δείχνουν στην ίδια κατεύθυνση, άρα η γωνία είναι μικρή, σημαίνουν κάτι παρόμοιο. Αν δείχνουν σε εντελώς διαφορετικές κατευθύνσεις, άρα η γωνία είναι μεγάλη, δεν σχετίζονται.

Αλλά πώς αποφασίζεται ποια λέξη πηγαίνει πού;

Ο χάρτης δεν σχεδιάστηκε, προέκυψε

Κανείς δεν κάθισε να αποφασίσει ότι ο “σκύλος” θα έχει αυτές τις συντεταγμένες και το “μήλο” εκείνες. Ο χάρτης αυτός απλώς προέκυψε.

Κατά τη διάρκεια της εκπαίδευσης, το εκάστοτε μοντέλο διάβασε δισεκατομμύρια προτάσεις και παρατήρησε ότι ορισμένες λέξεις εμφανίζονται συνεχώς σε παρόμοια γλωσσικά περιβάλλοντα. Η λέξη “σκύλος” εμφανίζεται δίπλα στις λέξεις “γαβγίζει”, “κατοικίδιο”, “τρέχει”. Η λέξη “γάτα” εμφανίζεται δίπλα στις λέξεις “νιαουρίζει”, “κατοικίδιο”, “γάλα”. Αφού μοιράζονται συμφραζόμενα (“κατοικίδιο”), το μοντέλο τις τοποθετεί κοντά στον χάρτη.

Αυτή η αρχή ονομάζεται distributional semantics: η ιδέα ότι η σημασία μιας λέξης αποκαλύπτεται από τις λέξεις που τη συντροφεύουν. Δεν χρειάζεται κανείς να ορίσει τι σημαίνει “σκύλος”. Αρκεί να δει αρκετές φορές τη λέξη σε πλαίσιο, και η θέση της στον χάρτη αρχίζει να αποκαλύπτει τη σημασία της.

Κάθε αριθμός μέσα σε ένα διάνυσμα αντιστοιχεί σε μια αφηρημένη διάσταση, ένα χαρακτηριστικό που για το μοντέλο δεν σημαίνει τίποτα, καθώς το ίδιο δεν καταλαβαίνει ανθρώπινες έννοιες, όμως έχει σημασία για τον άνθρωπο που θα χρησιμοποιήσει το LLM. Για να γίνει κατανοητή η λογική τους, ας φανταστούμε ότι μερικές αντιστοιχούν σε ερωτήσεις όπως: πόσο “ζωντανό” είναι αυτό; πόσο “τρώγεται”; κ.ο.κ..

Με αυτό το πλαίσιο, ας δούμε τρεις λέξεις δίπλα δίπλα:

(*) Απλοποιημένο παράδειγμα. Τα πραγματικά διανύσματα αντιστοιχούν σε χιλιάδες διαστάσεις χωρίς ανθρώπινα ερμηνεύσιμη σημασία, και οι τιμές προκύπτουν από την εκπαίδευση του μοντέλου, όχι χειροκίνητα.

Ο “σκύλος” και ο “άνθρωπος” μοιράζονται μια σημαντική διάσταση γιατί είναι και οι δύο ζωντανοί οργανισμοί, αλλά αποκλίνουν έντονα σε όλες τις άλλες. Το “μήλο” βρίσκεται σε εντελώς διαφορετική “γειτονιά”. Αυτό που ο πίνακας κάνει ορατό είναι ότι η “απόσταση” στον χάρτη δεν είναι μονοδιάστατη. Δεν υπάρχει απλώς το “κοντά” ή το “μακριά”. Κάθε λέξη έχει ένα σύνθετο προφίλ, και δύο λέξεις μπορεί να είναι κοντά σε ορισμένες διαστάσεις και μακριά σε άλλες, ταυτόχρονα.

Η αριθμητική της σημασίας

Αν κάθε έννοια έχει θέση στον χάρτη, τότε μπορείς να κάνεις πράξεις με αυτές τις θέσεις. Να αφαιρέσεις μια έννοια από μια άλλη, να προσθέσεις μια τρίτη, και να δεις πού καταλήγεις. Το πιο γνωστό παράδειγμα:

βασιλιάς − άντρας + γυναίκα ≈ βασίλισσα

Αφαίρεσε από τη θέση του “βασιλιά” αυτό που συνεισφέρει η έννοια “άντρας”, πρόσθεσε αυτό που συνεισφέρει η έννοια “γυναίκα” και το αποτέλεσμα είναι μια θέση στον χάρτη που βρίσκεται πολύ κοντά στη “βασίλισσα”.

(*) Απλοποιημένο παράδειγμα με ενδεικτικές τιμές. Η πραγματική πράξη γίνεται σε χιλιάδες διαστάσεις ταυτόχρονα. Το αποτέλεσμα, ότι η στήλη “= ?” βρίσκεται κοντά στη “βασίλισσα”, είναι επαληθευμένο πειραματικά.

Για να το οπτικοποιήσουμε διαφορετικά, ας φανταστούμε τις έννοιες σαν συνταγές που μοιράζονται τα ίδια βασικά υλικά. Αν πάρεις ένα κέικ σοκολάτας, του αφαιρέσεις το αλεύρι και το μπέικιν πάουντερ που του δίνουν ύψος, και του προσθέσεις επιπλέον λιωμένη σοκολάτα και βούτυρο, καταλήγεις στο brownie. Δεν βγήκες ποτέ από τον “χάρτη της σοκολάτας”. Παρέμεινες στην ίδια γευστική οικογένεια, αλλά με μια απλή προσθαφαίρεση υλικών, μετατοπίστηκες σε ένα νέο αποτέλεσμα με εντελώς διαφορετική ταυτότητα.

Αυτό το “πείραμα” είναι η απόδειξη ότι οι σχέσεις ανάμεσα σε ανθρώπινες έννοιες έχουν μεταφραστεί σε μαθηματικές σχέσεις ανάμεσα σε θέσεις στον χώρο. Το μοντέλο δεν “ξέρει” τι είναι βασιλιάς ή βασίλισσα με την έννοια που το αντιλαμβανόμαστε εμείς. Απλά έχει συνδέσει ότι η σχέση ανάμεσά τους ακολουθεί τη σχέση ανάμεσα σε “άντρας” και “γυναίκα”,  γιατί αυτό αποκαλύπτουν τα δεδομένα στα οποία εκπαιδεύτηκε.

Αυτός ο χάρτης, χτισμένος εξ ολοκλήρου από στατιστικά μοτίβα, χωρίς κανείς να έχει ορίσει ρητά καμία έννοια, είναι το θεμέλιο πάνω στο οποίο στηρίζεται κάθε απάντηση που λαμβάνεις από ένα LLM. Δεν υπάρχει “κατανόηση” πίσω από αυτόν. Υπάρχει, απλώς, γεωμετρία. Ένα LLM, λοιπόν, είναι στην πραγματικότητα ένα μοντέλο συσχετίσεων ανθρωπίνων εννοιών μεταξύ τους. Τα υπολογιστικά συστήματα δεν καταλαβαίνουν τις έννοιές μας, αλλά έχουν αναλύσει ένα τόσο μεγάλο όγκο ανθρωπίνου κειμένου ώστε να χαρτογραφήσουν όλες τις συσχετίσεις της ανθρώπινης νόησης που έχει αποτυπωθεί σε κείμενο.

Ο Φίλιππος Ζακόπουλος είναι Managing Partner του Found.ation.

Το άρθρο αυτό αποτελεί μέρος μιας σειράς κειμένων του Found.ation για την τεχνητή νοημοσύνη και τον ψηφιακό μετασχηματισμό, αναδεικνύοντας πώς η στρατηγική κατανόηση και εφαρμογή των νέων τεχνολογιών μπορεί να μεταφραστεί σε μετρήσιμη αξία και ανταγωνιστικό πλεονέκτημα για τους εταιρικούς οργανισμούς.