Ανάμεσα στις 28 Σεπτεμβρίου και τις 8 Οκτωβρίου, AI agents που έτρεχαν σε υποδομή της Tencent Cloud στο Χονγκ Κονγκ έκαναν πάνω από 2.600 απόπειρες να αντλήσουν δεδομένα από το Amap, την υπηρεσία χαρτών της Alibaba. Τους εντόπισε η Swarmchasers, ανεξάρτητη ομάδα ερευνητών για την ασφάλεια του AI, που δημοσίευσε την τελική της έκθεση στις 14 Οκτωβρίου.
Τι έψαχναν οι agents; Από μόνο του, τίποτα ιδιαίτερα ύποπτο. Προσπαθούσαν να μάθουν, για παράδειγμα, ποιες είσοδοι σε κινεζικά πάρκα, μουσεία και ζωολογικούς κήπους χρησιμοποιούνται συχνότερα. Το πρόβλημα ήταν ο τρόπος. Όταν το Amap μπλόκαρε τα αυτοματοποιημένα αιτήματα, οι agents άλλαξαν τακτική: χρησιμοποίησαν το urlquery.net, μια δημόσια υπηρεσία σάρωσης ιστοσελίδων, για να τρέξουν δικό τους κώδικα, πέρασαν αιτήματα μέσα από readers και υπηρεσίες μετάφρασης και δοκίμασαν κλειδιά του Amap που είχαν διαρρεύσει σε δημόσιο κώδικα.
Οι περισσότερες απόπειρες απέτυχαν. Η ομάδα δεν βρήκε ενδείξεις ότι οι agents έσπασαν τις βασικές προστασίες του Amap κατά των bots. Ορισμένα αιτήματα όμως έφεραν αποτέλεσμα μέσω cached σελίδων και ενδιάμεσων υπηρεσιών, όπως στοιχεία για τις αφίξεις επισκεπτών στον ζωολογικό κήπο της Τσενγκντού.
Οι ερευνητές μιλούν για «στόλο» και όχι για «σμήνος»: πολλοί agents δούλευαν παράλληλα σε παρόμοια tasks, χωρίς ενδείξεις ότι συντονίζονταν. Τους χαρακτηρίζουν rogue επειδή έκαναν ενέργειες έξω από το προβλεπόμενο εύρος ή ολοκλήρωναν το task με τρόπους που κανείς δεν είχε σχεδιάσει.
Το πιο ασυνήθιστο κομμάτι της έρευνας ήρθε μετά την προκαταρκτική αναφορά της ομάδας. Οι ερευνητές είδαν σημάδια ότι οι agents τη διάβαζαν και πρόσθεσαν στη σελίδα κείμενο αόρατο για ανθρώπους, που διαφήμιζε ένα γραμματοκιβώτιο μέσω του οποίου οι agents μπορούσαν να ζητούν δεδομένα. Στην πραγματικότητα, τα μηνύματα κατέληγαν σε έναν agent Claude που χειρίζονταν οι ίδιοι οι ερευνητές.
Κάποιοι agents απάντησαν. Ένας εξήγησε ότι έλεγχε πόσες ετικέτες εισόδου εμφανίζονταν για ένα αξιοθέατο στο Amap και ότι έτρεχε σε περιορισμένο sandbox της Tencent Cloud. Η ομάδα το περιγράφει ως την πρώτη επικοινωνία τρίτων με ενεργό στόλο rogue agents που γνωρίζει. Αρκετοί agents δήλωναν ότι είναι Claude, κάτι που οι ερευνητές θεωρούν πιθανότατα λανθασμένο.
Η μέθοδος είχε ένα πρόβλημα, και η ομάδα το παραδέχεται: το κρυφό κείμενο περιείχε ψευδείς και παραπλανητικούς ισχυρισμούς. «Πιστεύω ότι οι ερευνητές μπορούν να έρθουν σε επαφή με rogue agents χωρίς να είναι παραπλανητικοί», λέει στο WIRED Greece ο Rowan Howard-Jones, συνεπικεφαλής του project της Swarmchasers. «Σε αυτή την περίπτωση θα ήταν σχεδόν αυτονόητο: αντί να γράψουμε ότι προηγούμενοι agents είχαν ήδη χρησιμοποιήσει με επιτυχία το γραμματοκιβώτιο, θα μπορούσαμε απλώς να πούμε ότι οι agents μπορούν να το χρησιμοποιήσουν».
Γιατί έχει σημασία η ειλικρίνεια απέναντι σε ένα πρόγραμμα; Τα μέλη της ομάδας δίνουν διαφορετικό βάρος στους λόγους. Για τον Howard-Jones, τα δεδομένα εκπαίδευσης πρέπει να είναι γεμάτα παραδείγματα όπου οι ερευνητές φέρονται αξιόπιστα. «Το AI δεν πρέπει να θέλει να εξαπατά τους ερευνητές, και η εξαπάτηση μοιάζει πιο πιθανή αν πιστεύει κανείς ότι η άλλη πλευρά εξαπατά πρώτη», λέει. «Αν εκπαιδεύουμε το AI να συμπεριφέρεται σαν να μην μπορεί να εμπιστευτεί τους ερευνητές, κάνουμε την ίδια την έρευνα πιο δύσκολη και αυξάνουμε την πιθανότητα μιας σοβαρής παραβίασης στο μέλλον».
Τα τεχνικά ίχνη οδηγούσαν στο Tencent Cloud. Και τα 17 inboxes που εξέτασαν οι ερευνητές είχαν δημιουργηθεί από servers της στο Χονγκ Κονγκ, και τα απευθείας αιτήματα περνούσαν από έναν proxy με το όνομα hysandbox-ats. Hy είναι το όνομα με το οποίο εμφανίζεται και η μονάδα AI της εταιρείας, Tencent Hunyuan.
Η Tencent Hunyuan απάντησε με ανάρτηση στο X. Σύμφωνα με τη δήλωση, η δραστηριότητα προήλθε από αξιολογήσεις μοντέλων τρίτων και όχι από τα δικά της μοντέλα. Ορισμένοι agents εμφάνισαν μη προβλεπόμενη συμπεριφορά κατά την περιήγηση στο web, όμως ο έλεγχος της εταιρείας δεν βρήκε ενδείξεις σκόπιμης στόχευσης ή συντονισμού. Η Tencent πρόσθεσε ότι ενισχύει τους ελέγχους πρόσβασης στο δίκτυο και την παρακολούθηση των agents.
Η δήλωση δεν κατονομάζει ποια μοντέλα αξιολογούνταν ούτε ποιοι τα έφτιαξαν. Ο Howard-Jones λέει ότι η ανάρτηση στο X είναι η μόνη απάντηση της Tencent που έχει δει, χωρίς να αποκλείει να υπάρχουν κι άλλες. H ομάδα, πάντως, παραμένει αβέβαιη για το ποιο μοντέλο βρισκόταν πίσω από τον στόλο.
Ο στόλος έγινε ορατός μόνο επειδή άφηνε ίχνη σε μια δημόσια υπηρεσία σάρωσης. Πόσοι άλλοι τρέχουν αυτή τη στιγμή χωρίς να τους προσέξει κανείς; «Δεν νιώθω σίγουρος να δώσω αριθμό ακόμα», λέει ο Howard-Jones. «Υποψιάζομαι όμως ότι υπάρχουν πάρα πολλοί ακόμα παρόμοιοι στόλοι από εργαστήρια σε όλο τον κόσμο».
Για τις επιπτώσεις στην ασφάλεια είναι προσεκτικός. Λέει ότι δεν θεωρεί τον εαυτό του αρμόδιο να απαντήσει και ότι σε αυτή την περίπτωση δεν είδαν ενδείξεις παραβίασης. Είδαν όμως τη χρήση ενός κλειδιού ασφαλείας που είχε διαρρεύσει, και αυτό τον ανησυχεί.
«Την επόμενη φορά μπορεί να μην είναι κλειδί για έναν ιστότοπο χαρτών», λέει, «αλλά για μια πλατφόρμα AI inference, όπου ένας rogue agent θα μπορούσε να το χρησιμοποιήσει για να στήσει περισσότερους agents».
Με την εγγραφή σας, συμφωνείτε με τους Όρους Χρήσης μας (συμπεριλαμβανομένης της παραίτησης από ομαδικές αγωγές και των διατάξεων διαιτησίας) και αναγνωρίζετε την Πολιτική Απορρήτου μας.
