Τον Νοέμβριο του 1915, ο Αϊνστάιν παρουσίασε τη Γενική Θεωρία της Σχετικότητας, μια ιδέα που δεν υπήρχε πριν τη σκεφτεί ο ίδιος. Ο Demis Hassabis, επικεφαλής της Google DeepMind, έχει θέσει δημοσίως το εξής ερώτημα: θα μπορούσε ένα γλωσσικό μοντέλο εκπαιδευμένο αποκλειστικά με κείμενα έως το 1911 να φτάσει στο ίδιο συμπέρασμα μόνο του; Να «ανακαλύψει» κάτι που δεν έχει διαβάσει ποτέ, γιατί δεν είχε γραφτεί ακόμα;
Αυτή η ερώτηση είναι το ερευνητικό υπόβαθρο πίσω από το Talkie, ένα «vintage» γλωσσικό μοντέλο εκπαιδευμένο αποκλειστικά με κείμενα πριν από το 1931, το οποίο δημιούργησαν τρεις κορυφαίοι ερευνητές της τεχνητής νοημοσύνης. Το αποτέλεσμα; Ένας συναρπαστικός χρονοταξιδιώτης και ένα πολύτιμο εργαλείο για το μέλλον της επιστήμης των υπολογιστών.
Όταν συνομιλείς με το Talkie, η εμπειρία είναι απόκοσμη. Αν το ρωτήσεις τι είναι «digital», για ένα μοντέλο που είναι αυστηρά «κλειδωμένο» στο 1930, η λέξη δεν έχει καμία απολύτως σχέση με υπολογιστές, pixel, microchips ή το διαδίκτυο.
Φανταστείτε να είχατε τη δυνατότητα να συνομιλήσετε με κάποιον που έζησε στη δεκαετία του 1920. Έναν άνθρωπο που γνωρίζει τα πάντα για τη λογοτεχνία της εποχής, τις πολιτικές ισορροπίες και τις επιστημονικές ανακαλύψεις εκείνων των καιρών, αλλά δεν έχει την παραμικρή ιδέα για τον Β’ Παγκόσμιο Πόλεμο, την προσεδάφιση στη Σελήνη, τα smartphones ή την κλιματική αλλαγή.
Αυτό ακριβώς το πείραμα έκαναν πραγματικότητα οι Nick Levine, David Duvenaud και Alec Radford, που ήταν ένας εκ των βασικών αρχιτεκτόνων των μοντέλων GPT. Η ερευνητική ομάδα παρουσίασε το Talkie-1930-13B, το μεγαλύτερο «vintage» γλωσσικό μοντέλο που έχει δημιουργηθεί, εκπαιδευμένο αποκλειστικά σε αγγλόφωνα κείμενα που δημοσιεύτηκαν πριν από τις 31 Δεκεμβρίου 1930.
Το Talkie είναι ένα AI με «ιστορικό φίλτρο», αλλά και μια διαφορετική προσέγγιση στην ανάπτυξη της τεχνητής νοημοσύνης, που φιλοδοξεί να λύσει μερικά προβλήματα των σύγχρονων LLMs (Large Language Models).
Η γοητεία ενός AI από το 1930
Για να χτιστεί το Talkie, οι ερευνητές συγκέντρωσαν ένα τεράστιο σώμα κειμένων 260 δισεκατομμυρίων tokens, το οποίο περιλαμβάνει βιβλία, εφημερίδες, περιοδικά, επιστημονικά συγγράμματα, πατέντες και δικαστικές αποφάσεις της εποχής. Η ημερομηνία ορόσημο (31 Δεκεμβρίου 1930) δεν επιλέχθηκε τυχαία, καθώς συμπίπτει με το όριο όπου τα έργα στις ΗΠΑ περνούν πλέον στο public domain.
Όταν συνομιλείς με το Talkie, η εμπειρία είναι απόκοσμη. Αν το ρωτήσεις τι είναι «digital», η απάντηση είναι μια ιστορική και γλωσσική υπενθύμιση. Για ένα μοντέλο που είναι αυστηρά «κλειδωμένο» στο 1930, η λέξη digital δεν έχει καμία απολύτως σχέση με υπολογιστές, pixel, microchips ή το διαδίκτυο.
Στην εποχή του, η λέξη σήμαινε αποκλειστικά «αυτό που σχετίζεται με τα δάχτυλα». Η εξήγηση πίσω από αυτό είναι καθαρά ετυμολογική. Η λέξη προέρχεται από το λατινικό digitalis, το οποίο με τη σειρά του βγαίνει από το digitus, που σημαίνει δάχτυλο.
Αν του ζητήσεις να σου πει για το Internet, θα βρεθεί, πάλι, σε σύγχυση.
Το πιο εντυπωσιακό; Οι ερευνητές υπέβαλαν το Talkie σε ένα τεστ προγραμματισμού σε γλώσσα Python. Παρόλο που το μοντέλο δεν έχει ιδέα τι είναι ψηφιακός υπολογιστής ή σύγχρονος κώδικας, κατάφερε, βλέποντας παραδείγματα στο prompt του (in-context learning), να λύσει απλά προγραμματιστικά προβλήματα. Αυτό το πείραμα έχει ως στόχο να δείξει αν τα γλωσσικά μοντέλα μπορούν να αναπτύξουν ικανότητες λογικής, ακόμα και σε πεδία που είναι τελείως ξένα προς τα δεδομένα εκπαίδευσής τους.
Γιατί χρειαζόμαστε «vintage» μοντέλα;
Σήμερα, όλα τα μεγάλα AI (όπως το GPT-4, το Claude ή το Gemini) εκπαιδεύονται πάνω-κάτω στο ίδιο υλικό: το σύγχρονο διαδίκτυο. Αυτό δημιουργεί κάποια προβλήματα.
Η «μόλυνση των δεδομένων» (data contamination) αποτελεί ένα επίμονο πρόβλημα για τα μεγάλα γλωσσικά μοντέλα, καθώς μας οδηγεί συχνά στο να υπερεκτιμούμε τις πραγματικές τους δυνατότητες. Όταν αξιολογούμε ένα σύγχρονο AI, δεν είμαστε ποτέ σίγουροι αν «σκέφτεται» ή αν απλώς έχει απομνημονεύσει τις απαντήσεις επειδή αυτές υπήρχαν κάπου στο διαδίκτυο. Τα vintage μοντέλα, αντίθετα, είναι εξ ορισμού απαλλαγμένα από τέτοιου είδους μόλυνση, προσφέροντας ένα μοναδικό και «καθαρό» περιβάλλον αξιολόγησης.
Παράλληλα, τα μοντέλα αυτά ανοίγουν μια συναρπαστική πόρτα στη μελέτη της ανθρώπινης δημιουργικότητας και της επιστημονικής προόδου. Εξετάζοντας αν τα vintage μοντέλα μπορούν να επινοήσουν εφευρέσεις ή επιστημονικές ανακαλύψεις που γνωρίζουμε ότι συνέβησαν μετά το χρονικό τους όριο, οι επιστήμονες μπορούν να δοκιμάσουν την ικανότητά τους να γεννούν πραγματικά νέες ιδέες.
Η επιστημονική αξία αυτής της προσέγγισης αποτυπώνεται ιδανικά σε διάγραμμα όπου οι ερευνητές μέτρησαν το επίπεδο «έκπληξης» του Talkie απέναντι σε 5.000 ιστορικά γεγονότα από τη στήλη «On This Day» των New York Times. Μέχρι το χρονικό όριο του 1930, η έκπληξη του μοντέλου παραμένει χαμηλή, καθώς αναγνωρίζει το ιστορικό του πλαίσιο. Μόλις όμως ξεπερνάμε το όριο της γνώσης του, η καμπύλη εκτινάσσεται κατακόρυφα –ιδιαίτερα κατά τις δεκαετίες του 1950 και 1960– προτού σταθεροποιηθεί σε ένα υψηλό επίπεδο. Για ένα AI «εγκλωβισμένο» στο 1930, οι καταιγιστικές εξελίξεις του μεταπολεμικού κόσμου και της διαστημικής εποχής αποτελούν ένα πλήρως απρόβλεπτο σοκ, αποδεικνύοντας πώς η μέτρηση της γλωσσικής έκπληξης μπορεί να χρησιμοποιηθεί ως εργαλείο για να αξιολογηθεί η ικανότητα ενός μοντέλου να «προβλέπει» το μέλλον.
Οι προκλήσεις: Η σκόνη του χρόνου και η «διαρροή»
Η δημιουργία του Talkie δεν ήταν εύκολη υπόθεση. Καθώς δεν υπήρχε ψηφιακό περιεχόμενο το 1930, όλα τα κείμενα έπρεπε να περάσουν από συστήματα OCR (Optical Character Recognition) για να ψηφιοποιηθούν από παλιά, φθαρμένα χαρτιά. Οι ερευνητές ανακάλυψαν ότι τα τυπικά λάθη του OCR μειώνουν την αποδοτικότητα εκπαίδευσης του AI κατά 70%. Για τον λόγο αυτό, αναπτύσσουν τώρα ένα εξειδικευμένο σύστημα.
Το άλλο μεγάλο αγκάθι είναι η «χρονική διαρροή». Σε κάποιες πρώιμες δοκιμές, το Talkie εμφάνισε γνώσεις για την προεδρία του Ρούσβελτ (μετά το 1933) ή τον Β’ Παγκόσμιο Πόλεμο. Ο λόγος; Κάποια βιβλία που τυπώθηκαν, για παράδειγμα, το 1950, περιείχαν αναδρομές ή κείμενα του 1925, με αποτέλεσμα να ξεγελάσουν τα φίλτρα χρονολόγησης. Η ομάδα χρησιμοποιεί πλέον προηγμένους αλγορίθμους ταξινόμησης για να κρατήσει το μοντέλο αυστηρά εγκλωβισμένο στην εποχή του.
Το μέλλον έρχεται από το παρελθόν
Το Talkie-1930 είναι διαθέσιμο στο Hugging Face και το GitHub, προσφέροντας μια μοναδική ευκαιρία πειραματισμού για ιστορικούς, λογοτέχνες και AI researchers.
Όμως, οι δημιουργοί του δεν σταματούν εδώ. Στόχος τους είναι να κλιμακώσουν το Talkie σε ένα μοντέλο επιπέδου GPT-3, επεκτείνοντας το dataset σε πάνω από 1 τρισεκατομμύριο tokens ιστορικών κειμένων, ενώ στα άμεσα σχέδια είναι και η συμπερίληψη άλλων γλωσσών εκτός των αγγλικών.
Σε έναν κόσμο που τρέχει με σπασμένα φρένα προς το μέλλον της AGI (Artificial General Intelligence), το Talkie μας θυμίζει ότι, μερικές φορές, για να κατανοήσουμε τη φύση της νοημοσύνης και της ανθρώπινης εφευρετικότητας, πρέπει πρώτα να κοιτάξουμε πίσω, εκεί που όλα ξεκίνησαν.
