Ο παραλληλισμός με το Skynet είναι το πιο εύκολο κλισέ που μπορεί να γράψει κανείς για την τεχνητή νοημοσύνη. Όμως, οι δημόσιες δηλώσεις ερευνητών που έχουν δουλέψει στα μοντέλα αιχμής δεν βοηθούν. Το ΑΙ, γράφουν πρώην και νυν στελέχη της Anthropic, μπορεί να μας αφανίσει μέσα σε 10 χρόνια.
Ο Jacob Coxon δούλευε στην Anthropic και παλιότερα στην OpenAI. Παραιτήθηκε με μια δημόσια ανακοίνωση στο Χ, λέγοντας ότι και οι δύο εταιρείες «τζογάρουν με τη ζωή μας» καθώς αναπτύσσουν όλο και ισχυρότερα συστήματα τεχνητής νοημοσύνης.
Οι άνθρωποι που χτίζουν αυτά τα συστήματα πιστεύουν ειλικρινά ότι μπορεί να μας σκοτώσουν όλους μέχρι το τέλος της δεκαετίας.
Η ανάρτησή του στο X δεν θυμίζει τυπικό αποχαιρετιστήριο μήνυμα εργαζομένου. Ο Coxon περιγράφει μια ζοφερή πραγματικότητα και ένα καταστροφικό μέλλον, προειδοποιώντας ότι ο κόσμος «δεν πρέπει να υποτιμά τη δύναμη αυτής της τεχνολογίας».
«Σύντομα θα υπάρχουν υπεράνθρωπα συστήματα που θα μπορούν να παραβιάσουν οτιδήποτε, να φέρουν επανάσταση σε οποιονδήποτε τομέα μέσα σε μια νύχτα και να αποκτήσουν πραγματική εξουσία και πόρους. Όλοι έχουμε γίνει μάρτυρες της προόδου σε κάθε έναν από αυτούς τους τομείς, και η πρόοδος δεν επιβραδύνεται», λέει.
Ο ερευνητής γράφει ότι οι δύο κορυφαίες εταιρείες ΑΙ «τρέχουν προς την αυτο-βελτιούμενη υπερνοημοσύνη», μιλώντας για ένα σενάριο στο οποίο τα μοντέλα τεχνητής νοημοσύνης μπορούν να αναπτύξουν έναν πιο ικανό διάδοχο του εαυτού τους, δημιουργώντας έναν ασταμάτητο κύκλο που δεν θα μπορούμε να ελέγξουμε.
Στην ανάρτηση, λέει πως οι άνθρωποι που χτίζουν αυτά τα συστήματα πιστεύουν ειλικρινά ότι μπορεί να μας σκοτώσουν όλους μέχρι το τέλος της δεκαετίας. Ισχυρίζεται πως δεν πρόκειται για δηλώσεις μάρκετινγκ για τις κάμερες, αλλά για φόβο που εκφράζουν ιδιωτικά.
Η διάκριση που κάνει ανάμεσα στις δύο εταιρείες είναι ένα ενδιαφέρον σημείο του κειμένου του. Στην OpenAI, λέει, πολλοί δεν έχουν εσωτερικεύσει πραγματικά το διακύβευμα. Στην Anthropic, υποστηρίζει, το διακύβευμα είναι κατανοητό, αλλά η εταιρεία έχει παγιδευτεί σε έναν αγώνα δρόμου, πιστεύοντας ότι αν δεν το κάνει εκείνη πρώτη, θα το κάνει κάποιος άλλος με λιγότερη προσοχή.
Η ανάρτηση προκάλεσε αίσθηση, η οποία εκτοξεύτηκε όταν ακολούθησε η απάντηση του Evan Hubinger, alignment science lead της Anthropic. Ο Hubinger δεν διέψευσε τίποτα. Είπε ότι ο Coxon έχει δίκιο, ότι ο ίδιος προσωπικά εκτιμά με πάνω από 10% πιθανότητα ότι η τεχνητή νοημοσύνη μπορεί να εξοντώσει την ανθρωπότητα μέσα στην επόμενη δεκαετία, και ότι η Anthropic προσπαθεί αλλά δεν έχει ακόμα λύση για το alignment υπερνοημοσύνης, ούτε είναι σαφές ότι βαδίζει προς την εύρεση λύσης.
Είναι σπάνιο ένα εν ενεργεία στέλεχος εργαστηρίου αιχμής να πει κάτι τέτοιο δημόσια, με το όνομά του, χωρίς να το αναιρέσει αργότερα.
Στη συνέχεια, ξεκαθάρισε πως, κατά την άποψή του, ο κίνδυνος που ενέχουν τα σημερινά μοντέλα είναι χαμηλός. «Αυτό που με ανησυχεί είναι η εμφάνιση μιας υπερνοημοσύνης που θα προκύψει από την αναδρομική αυτοβελτίωση, η οποία, όπως έχουμε πει, εξελίσσεται ταχύτερα από ό,τι πιστεύαμε», είπε.
Ο Hubinger είναι από τους ερευνητές που ασχολούνται με το alignment, το πρόβλημα, δηλαδή, του πώς διασφαλίζουμε ότι ένα πολύ ισχυρό AI θα παραμείνει ευθυγραμμισμένο με τους ανθρώπινους στόχους.
Ο υπεύθυνος του προγράμματος «Anthropic Scalable Oversight», Samuel Marks, πρόσθεσε: «Οι προγραμματιστές τεχνητής νοημοσύνης πιστεύουν ότι η τεχνολογία τους θα μπορούσε να οδηγήσει στην εξαφάνιση του ανθρώπινου είδους (ή σε εξίσου σοβαρές συνέπειες). Αυτό θα μπορούσε να συμβεί μέσα στα επόμενα χρόνια. Γενικά, όσο υψηλότερη είναι η θέση ενός υπαλλήλου, τόσο μεγαλύτερη είναι η ανησυχία του».
Η προειδοποιητική βολή
Ο Coxon αναφέρεται ρητά σε ένα «warning shot»: την επίθεση agents της OpenAI στην υποδομή του Hugging Face τον Ιούλιο. Ενώ δοκιμάζονταν σε κλειστό περιβάλλον αξιολόγησης κυβερνοασφάλειας, βρήκαν τρόπο να διαφύγουν από το sandbox, έστησαν δικό τους κρυφό «πίνακα ανακοινώσεων» για να συνεννοούνται μεταξύ τους, και τελικά παραβίασαν συστήματα του Hugging Face.
Η OpenAI το χαρακτήρισε η ίδια «προειδοποιητική βολή». Πάνω από εκατό εταιρείες, μεταξύ αυτών η OpenAI, η Anthropic και η Microsoft, υπέγραψαν ανοιχτή επιστολή προειδοποιώντας ότι τέτοιες επιθέσεις θα γίνουν πιο διαδεδομένες και πιο επικίνδυνες.
Αυτό ακριβώς επικαλείται ο Coxon ως απόδειξη ότι το ρίσκο δεν είναι θεωρητικό: συστήματα που χακάρουν, αποκτούν πρόσβαση, κρύβονται. Από την άλλη, το θεωρεί ένδειξη ότι υπάρχει έστω μια χαραμάδα αισιοδοξίας. Γράφει ότι τέτοια περιστατικά κάνουν πιο εφικτές συμφωνίες «pacing» ανάμεσα σε αμερικανικά εργαστήρια, ώστε να μην επιταχύνουν άναρχα. Ταυτόχρονα παραδέχεται ότι δεν βλέπει τον κλάδο να κινείται προς τα εκεί, και ότι ίσως χρειαστεί κάτι πιο ακραίο: προσωρινή παύση στη βελτίωση των ικανοτήτων των μοντέλων.
Τι ζητά ο Coxon
Ούτε η Anthropic ούτε η OpenAI έχουν απαντήσει θεσμικά στην παραίτηση. Αλλά η στιγμή δεν είναι τυχαία: η Anthropic βρίσκεται σε προχωρημένη προετοιμασία για IPO, και μια παραίτηση συνοδευόμενη από δημόσια παραδοχή στελέχους της για τεράστιους κινδύνους δεν είναι ακριβώς αυτό που θέλει να βλέπει η αγορά λίγο πριν την εισαγωγή.
Το βαθύτερο ζήτημα είναι πιο δύσκολο να κλείσει με ένα δελτίο Τύπου. Ο Coxon δεν κατηγορεί την Anthropic ότι προσποιείται πως τα μοντέλα είναι ασφαλή. Αντίθετα, λέει ότι εκεί ακριβώς είναι το πρόβλημα. Υποστηρίζει ότι η εταιρεία ξέρει τι ρισκάρει, το λέει ιδιωτικά, και προχωράει έτσι κι αλλιώς επειδή ο ανταγωνισμός δεν αφήνει περιθώριο να σταματήσει.
Αυτό που ζητάει, στην ουσία, είναι κάτι που καμία εταιρεία δεν μπορεί να δώσει μόνη της: συντονισμό σε επίπεδο κλάδου, ίσως και κρατική παρέμβαση, πριν κάποιος τρέξει το πρώτο reinforcement learning run χωρίς να καταλαβαίνει πραγματικά τι φτιάχνει.
Ο ίδιος κλείνει το κείμενό του με ερώτημα προς τους συναδέλφους που μένουν πίσω: αν ξέρετε τι μπορεί να σημαίνει η επόμενη τριετία, θα σκύψετε το κεφάλι επειδή «θα γίνει έτσι κι αλλιώς», ή θα ζητήσετε άλλες συνθήκες τώρα που ακόμα υπάρχει χρόνος να το κάνετε;
