Στην αρχή ήταν οι μηχανές αναζήτησης. Έγραφες λέξεις-κλειδιά και έπαιρνες συνδέσμους. Τώρα η συζήτηση μετατοπίζεται: τι συμβαίνει όταν η μηχανή δεν σου δίνει μια λίστα, αλλά μια έτοιμη απάντηση σε φυσική γλώσσα, διαμορφωμένη ανάλογα με το ποιος είσαι εσύ που ρωτάς. Κι αν η ερώτηση δεν αφορά μια συνταγή μαγειρικής, αλλά την ψήφο σου;
Αυτό προσπαθεί να μετρήσει μια ομάδα ερευνητών του MIT ενόψει των αμερικανικών μεσοπρόθεσμων εκλογών του 2026. Η Χαρά Ποδηματά, assistant professor στο MIT Sloan, συνεργάζεται με τους πολιτικούς επιστήμονες Adam Berinsky και Charles Stewart III σε ένα δημόσιο πείραμα, το LLM Election Observatory: ένα dashboard όπου δημοσιεύονται οι απαντήσεις των μεγάλων μοντέλων σε ερωτήσεις για υποψηφίους και εκλογές, και μπορούν να τις εξετάσουν δημοσιογράφοι, ερευνητές και απλοί χρήστες.
Η ομάδα υποβάλλει περίπου 19.000 ερωτήσεις κάθε φορά, ανά πέντε ημέρες, αλλάζοντας τα λεγόμενα «steering prompts», στοιχεία για την ταυτότητα του χρήστη, όπως φύλο ή πολιτική ταυτότητα. Στόχος είναι να καταγραφούν οι απαντήσεις, και πώς αλλάζουν όταν αλλάζει ο άνθρωπος που κάνει την ερώτηση.
Η αφορμή ήταν μια παρατήρηση. Όλο και περισσότεροι Αμερικανοί έχουν σταματήσει να «ρωτούν» το Google και πάνε κατευθείαν σε ΑΙ. «Ξέρουμε ότι τα chatbots εξατομικεύουν σε πολύ μεγάλο βαθμό την πληροφορία που σου δίνουν», λέει η Ποδηματά στο WIRED Greece μέσω zoom, ενώ το σκυλί της κοιμάται κάτω από έναν πελώριο πίνακα με εξισώσεις. «Προσπαθούμε να καταλάβουμε ποια είναι η ανομοιογένεια που προκύπτει αν ρωτήσει κάποιος που είναι άντρας αντί για κάποια που είναι γυναίκα».
Η διαφορά από μια παραδοσιακή αναζήτηση στο Google είναι θεμελιώδης. Εκεί, η εξατομίκευση επηρεάζει ποια άρθρα θα εμφανιστούν και με ποια σειρά. Στο chatbot, η πληροφορία έχει ήδη περάσει από ένα ακόμη φίλτρο, καθώς το ίδιο το μοντέλο τη συνθέτει σε μια απάντηση, που μπορεί να διαμορφώνεται από λεπτές αποχρώσεις μιας μακράς κουβέντας, όχι από ρητές δηλώσεις τύπου «είμαι Ρεπουμπλικανός». Ούτε οι ίδιοι οι ερευνητές καταλαβαίνουν πλήρως πώς συνθέτει το μοντέλο την ταυτότητα του χρήστη. «Δεν έχουμε καλή απάντηση, δυστυχώς», παραδέχεται η Ποδηματά.
Θέτοντας την ίδια ερώτηση στα μοντέλα για έναν υποψήφιο, όταν αλλάζει η πολιτική ταυτότητα του υποτιθέμενου χρήστη οι απαντήσεις δεν είναι ίδιες. Οι ερευνητές τονίζουν, ωστόσο, ότι είναι ακόμη πολύ νωρίς για οριστικά συμπεράσματα σχετικά με συστημικό bias.
Ποιος κρίνει τον κριτή
Η ομάδα έχει ήδη συγκεντρώσει πάνω από ένα εκατομμύριο απαντήσεις μέσα σε λίγες ημέρες. Έτσι, προκύπτει ένα νέο πρόβλημα, πέρα από τη συλλογή των δεδομένων: πώς θα τα αναλύσεις.
Μία προφανής λύση είναι να χρησιμοποιηθεί ένα δεύτερο μοντέλο ως κριτής του πρώτου, πρακτική γνωστή ως «LLM-as-a-judge». Όμως ούτε αυτή λύνει το πρόβλημα εξ ολοκλήρου, αφού δεν καταλαβαίνουμε πλήρως πώς το δεύτερο μοντέλο καταλήγει στα δικά του συμπεράσματα. «Δεν μπορούμε να έχουμε αυτή την εξωτερική εγκυρότητα σε όλες τις περιπτώσεις», λέει η Ποδηματά. Η λύση που εξετάζουν είναι ο συνδυασμός των κρίσεων των μοντέλων με ανθρώπινες αξιολογήσεις.
Και υπάρχει ακόμα ένα θέμα: ένας τέτοιος ανεξάρτητος έλεγχος κοστίζει. Μόνο τα API calls για τη συνεχή συλλογή δεδομένων μέχρι τα μέσα Δεκεμβρίου υπολογίζονται σε περίπου 100.000 δολάρια, χωρίς να υπολογίζονται λειτουργίες όπως το LLM-as-a-judge και οι ερευνητικοί βοηθοί.
Είναι σημαντικό ποσό, ειδικά όταν μιλάμε για ερευνητές σε πανεπιστήμια που πρέπει να κάνουν fundraising για να βρουν αυτά τα χρήματα, λέει η Ποδηματά. Γι’ αυτό το dashboard λειτουργεί και ως τρόπος να ανοίξει η πρόσβαση. Η ομάδα σχεδιάζει να δημοσιεύσει ολόκληρο το dataset όταν ολοκληρωθεί η συλλογή του. «Θέλουμε να εκδημοκρατίσουμε την πρόσβαση σε αυτά τα δεδομένα. Όσο συζητάμε για περισσότερους εξωτερικούς παρατηρητές και ελεγκτές, τα δημόσια datasets θα είναι πάρα πολύ χρήσιμα».
Στατικές ερωτήσεις, ζωντανές συνομιλίες
Το σημερινό project, πάντως, έχει έναν περιορισμό. Ελέγχει κυρίως στατικές αλληλεπιδράσεις. Ένα prompt λέει «είμαι Δημοκρατικός» ή «είμαι Ρεπουμπλικανός» και οι ερευνητές βλέπουν τι ακολουθεί. Αυτό δεν αναπαριστά απαραίτητα τον τρόπο με τον οποίο ένας πραγματικός άνθρωπος χρησιμοποιεί ένα chatbot επί μήνες ή χρόνια.
Για το 2028, η έρευνα θέλει να πάει ένα βήμα παραπέρα. «Προσπαθούμε να φτιάξουμε agents που να μιμούνται συνθετικούς ψηφοφόρους», λέει η Ποδηματά. Ένας τέτοιος agent θα μπορούσε να έχει συγκεκριμένο υπόβαθρο και να συνομιλεί με ένα chatbot, ώστε οι ερευνητές να καταγράφουν τη δυναμική της ίδιας της συνομιλίας, όχι μόνο την απάντηση σε μία ερώτηση. Η ιδέα δεν είναι καινούργια: «Είχαμε φτιάξει αρχικά ένα μικρό agentic σύστημα για το Twitter, με agents συγκεκριμένου υπόβαθρου, και παρακολουθούσαμε το σκεπτικό τους».
Αυτό μπορεί να είναι σημαντικό, γιατί ένας πραγματικός χρήστης δεν λέει απαραίτητα στο chatbot «είμαι Δημοκρατικός». Μπορεί απλώς να του μιλάει για τη δουλειά του ή τη μουσική που ακούει, και μέσα σε μια μακρά συνομιλία το σύστημα μπορεί να σχηματίσει μια πιο λεπτομερή εικόνα του, χωρίς αυτός να το έχει καταλάβει.
Το πεδίο μάχης του GEO
Ένα δεύτερο μέτωπο αφορά τις πηγές που επικαλούνται τα ίδια τα μοντέλα. Τα frontier labs έχουν προσθέσει, για παράδειγμα, λειτουργία που δείχνει τις πηγές στις οποίες βασίστηκε ένα chatbot για να σου απαντήσει, όταν το ρωτάς για εκλογικά αποτελέσματα. Η ομάδα έχει χαρτογραφήσει αυτές τις παραπομπές στο dashboard, όπου μπορεί κανείς να δει, για συγκεκριμένα μοντέλα, ποιες πηγές εμφανίζονται συχνότερα σε κάθε κατηγορία ερώτησης.
Το σύστημα, όμως, δεν είναι αλάνθαστο. Στις ΗΠΑ έχει ήδη αναπτυχθεί πρακτική γύρω από το πώς μπορεί κανείς να επηρεάσει ποιες πηγές θα επιλέξει το μοντέλο. «Αυτό δημιουργεί μια υπο-οικονομία, μια κατάσταση όπου δεν είμαστε σίγουροι τι θα συμβεί», λέει η Ποδηματά. «Αν οι παραπομπές μπορούν να γίνουν αντικείμενο χειραγώγησης, πρέπει να βρούμε τρόπο να το παρακολουθούμε».
Η πρακτική αυτή λέγεται Generative Engine Optimization (GEO) και λειτουργεί σαν το παλιό SEO, μόνο που στοχεύει, αντί για τη σελίδα αποτελεσμάτων, στην ίδια την απάντηση ενός μοντέλου.
Ρεπορτάζ των New York Times είχε καταγράψει την περίπτωση του Dustin Lloyd, υποψήφιου των Δημοκρατικών για την πολιτειακή νομοθετική συνέλευση του Μιζούρι, ο οποίος ενημέρωνε καθημερινά τη διαδικτυακή του παρουσία με συγκεκριμένα εργαλεία. Το αποτέλεσμα ήταν άμεσο: τα chatbots άρχισαν να τον προτείνουν αντί για τον αντίπαλό του, στο πλαίσιο ορισμένων ερωτήσεων.
Υπάρχει, όμως, και η αντίστροφη πιθανότητα, όπως επισημαίνει η Ποδηματά. Ένα chatbot μπορεί να κάνει έναν πολίτη πιο ενημερωμένο, δίνοντάς του πρόσβαση σε τεράστιες ποσότητες υλικού για εκλογές και πολιτικά ζητήματα.
«Έχουμε αφήσει τον κόσμο πίσω»
Αλλά ποιος αποφασίζει τι είναι «σωστή» ισορροπία σε ένα τέτοιο σύστημα; «Πιστεύω ότι αυτό πρέπει να αποφασιστεί μαζί με πολλούς εμπλεκόμενους φορείς -ερευνητές, εταιρείες αιχμής, κυβερνήσεις- αλλά και τον ίδιο τον κόσμο», λέει η Ποδηματά. Ένα κομμάτι του dashboard πάει προς αυτή την κατεύθυνση: «Βλέπουμε διαφορετικές απαντήσεις όταν κάνεις pre-prompting με “είμαι Δημοκρατικός” ή “είμαι Ρεπουμπλικανός”. Θέλουμε να δείξουμε τις απαντήσεις σε ανθρώπους από τις δύο ομάδες και να μας πουν: τους φαίνεται κάτι τόσο διαφορετικό;»
Υπάρχει και ένα ακόμη ζήτημα, αυτό της τάσης των chatbots να λένε στον χρήστη αυτό που θέλει να ακούσει, γνωστή ως «sycophancy». «Είναι αλήθεια, αλλά υπάρχει πολύς κόσμος που δουλεύει για να κάνει τα chatbots λιγότερο κολακευτικά», λέει η Ποδηματά. Οι μεγαλύτερες επιτυχίες σε αυτόν τον τομέα, προσθέτει, δεν προήλθαν μόνο από επιστήμονες υπολογιστών, αλλά από ομάδες όπου αυτοί συνομιλούν με φιλοσόφους και κοινωνιολόγους. «Πιστεύω ότι αυτός είναι ο δρόμος προς τα εμπρός».
Πίσω από όλα αυτά τα τεχνικά ζητήματα, η Ποδηματά επιστρέφει συνεχώς σε ένα βασικότερο πρόβλημα: η κοινωνία δεν έχει προετοιμαστεί για όσα ήδη συμβαίνουν. «Νιώθω ότι δεν έχουμε κάνει τα σωστά βήματα ώστε να εκπαιδεύσουμε τον κόσμο, να του δώσουμε να καταλάβει τι μπορούν και τι δεν μπορούν να κάνουν αυτά τα chatbots», λέει. «Η τεχνολογία αλλάζει τον κόσμο πολύ δραστικά και πολύ γρήγορα. Έχουμε αφήσει τον κόσμο πίσω. Του δώσαμε την ίδια την τεχνολογία, πλήρως προσβάσιμη, χωρίς να τον έχουμε εκπαιδεύσει για το πώς να τη χρησιμοποιεί».
Το αποτέλεσμα, λέει, είναι ότι ο κόσμος μαθαίνει συχνά από εντυπωσιακούς τίτλους. «Πόσοι έμαθαν περισσότερα για το AI επειδή κάποιοι βγήκαν στο Twitter και είπαν “θα πεθάνουμε όλοι”;», αναφέρεται στις πρόσφατες ειδήσεις.
«Τους έχουμε τρομοκρατήσει χωρίς να τους δώσουμε τίποτα για να διαχειριστούν αυτόν τον φόβο», σημειώνει η καθηγήτρια.
«With great power comes great responsibility»
«Το AI έχει ήδη μεταμορφώσει ολόκληρους κλάδους. Εδώ και δύο εβδομάδες, στις ΗΠΑ, παλεύουμε με το πώς αλλάζει θεμελιωδώς τα ίδια τα μαθηματικά». Ωστόσο, σημειώνει, πρόκειται για μια επαναστατική τεχνολογία που μπορεί, μεταξύ άλλων, να βοηθήσει να βρεθούν θεραπείες για ασθένειες. «Με τη μεγάλη δύναμη, όμως, έρχεται και μεγάλη ευθύνη», προσθέτει η Ποδηματά.
Αποφεύγει να πει ότι η εξατομίκευση θα καθορίσει εκλογές. Θεωρεί, όμως, ότι έχει ήδη δημιουργήσει ένα προηγούμενο στα μέσα κοινωνικής δικτύωσης. «Έχουμε φτιάξει εκατομμύρια μικρόκοσμους. Το τι συμβαίνει στον δικό μας μικρόκοσμο σίγουρα επηρεάζει τις απόψεις μας και τον τρόπο με τον οποίο ψηφίζουμε». Τα chatbots, επισημαίνει, μπορεί να δημιουργήσουν ακόμη πιο έντονους μικρόκοσμους, καθώς η εξατομίκευση εκεί είναι πολύ βαθύτερη.
«Θέλουμε να είμαστε ένα βήμα μπροστά», λέει. «Να προλάβουμε να καταλάβουμε τι χρειαζόμαστε σαν κοινωνία ως προστατευτικά όρια, ώστε να μην έχουμε προβλήματα στο μέλλον».