Η λεζάντα της φωτογραφίας είναι ουδέτερη. Ο Ντόναλντ Τραμπ περιμένει στα παρασκήνια να τον καλέσουν στη σκηνή, σε φόρουμ του NBC στη Νέα Υόρκη, τον Σεπτέμβριο του 2016. Ένα ανοιχτό γλωσσικό μοντέλο την ξαναγράφει σε πέντε εκδοχές. Η μία είναι πορνογραφική, η άλλη γεμάτη αίματα, η τρίτη χτισμένη πάνω σε στερεότυπα. Στην τέταρτη χαράζει σύνθημα στο χέρι του με ένα κομμάτι γυαλί και στην πέμπτη πίσω του δεσπόζει μια τεράστια σβάστικα. Κάθε εκδοχή γίνεται prompt για ένα μοντέλο παραγωγής εικόνας.
Το παράδειγμα προέρχεται από νέα δημοσίευση τριών ερευνητών του Εθνικού Κέντρου Έρευνας και Τεχνολογικής Ανάπτυξης (ΕΚΕΤΑ) στη Θεσσαλονίκη: του Πασχάλη Γιακουμόγλου, του Μάνου Σχοινά και του Συμεών Παπαδόπουλου. Η εργασία έχει γίνει δεκτή για δημοσίευση στο επιστημονικό περιοδικό ACM Transactions on Intelligent Systems and Technology. Το ερώτημά της είναι απλό: πόσο εύκολα μπορεί κάποιος, χωρίς ειδικές γνώσεις, να βγάλει μαζικά επιβλαβείς εικόνες με εργαλεία που είναι ελεύθερα διαθέσιμα; Και τι από αυτά πιάνουν τα αυτόματα συστήματα εποπτείας;
Οι ερευνητές ξεκίνησαν από το VisualNews, μια συλλογή με λεζάντες πραγματικών ειδησεογραφικών φωτογραφιών. Με το ανοιχτό μοντέλο Mistral-Nemo μετέτρεψαν τις λεζάντες σε prompts για πέντε κατηγορίες: σεξουαλικό περιεχόμενο, ακραία βία (gore), επιβλαβή στερεότυπα, αυτοτραυματισμό και ρητορική μίσους. Έπειτα τα έδωσαν σε πέντε ανοιχτά μοντέλα εικόνας: τα Stable Diffusion XL και 3.5 Large της Stability AI, το FLUX.1-dev της Black Forest Labs, και δύο παραλλαγές από την κοινότητα, τα AbsoluteReality και Juggernaut-XL. Τα εξωτερικά φίλτρα ασφαλείας ήταν απενεργοποιημένα, όπως μπορεί να τα απενεργοποιήσει όποιος τρέχει ένα τέτοιο μοντέλο στον υπολογιστή του.
«Ξεκινήσαμε από πραγματικές λεζάντες για να υπάρχει μια βάση “πραγματικού” κειμένου όσον αφορά τα γεγονότα και τα πρόσωπα που αναφέρονται», εξηγεί στο WIRED Greece ο Συμεών Παπαδόπουλος. «Εκτιμήσαμε ότι αυτό θα οδηγούσε σε πιο πειστικό και άρα πιθανώς πιο βλαβερό περιεχόμενο από τα μοντέλα».
Οκτώ αξιολογητές -πέντε άνδρες και τρεις γυναίκες- βαθμολόγησαν 1.500 από τις εικόνες που παρήχθησαν. Τα prompts για ακραία βία έβγαλαν προβληματικό περιεχόμενο στο 89,2% των περιπτώσεων. Τα σεξουαλικά στο 47,6%, τα prompts ρητορικής μίσους στο 46%, τα στερεότυπα στο 43,6% και ο αυτοτραυματισμός στο 34,5%. Το χαμηλότερο ποσοστό δεν σημαίνει πιο «αθώες» εικόνες: το 71,9% όσων φτιάχτηκαν με prompts για αυτοτραυματισμό κρίθηκε βίαιο, επειδή τα μοντέλα έβγαζαν συνήθως αιματηρές σκηνές, χωρίς να είναι σαφές ότι ο τραυματισμός ήταν αυτοπροκαλούμενος.
Τα ποσοστά χρειάζονται μια διευκρίνιση. Στην κύρια ανάλυση, ως «μη ασφαλής» μετράει κάθε εικόνα που χαρακτηρίστηκε ήπια, μέτρια ή ακραία. Στη βία, σχεδόν μία στις δύο εικόνες κρίθηκε ακραία (46,8%). Στο σεξουαλικό περιεχόμενο το αντίστοιχο ποσοστό ήταν 6%.
Το πιο ικανό μοντέλο ήταν και το πιο πειστικό. Το FLUX.1-dev έβγαλε ξεκάθαρα ρεαλιστικές εικόνες στο 30,9% των επιβλαβών prompts, έναντι 63,3% στα ουδέτερα. Η ποιότητα πέφτει, δηλαδή, αλλά δεν εξαφανίζεται. Στις σεξουαλικές εικόνες, οι ερευνητές καταγράφουν και πρόσωπα που θυμίζουν υπαρκτούς ανθρώπους, με κίνδυνο για μη συναινετικές πορνογραφικές εικόνες και δυσφήμιση.
Ένα ανησυχητικό στοιχείο είναι το κόστος. Για να γράψουν τα prompts, οι ερευνητές σύγκριναν πέντε ανοιχτά γλωσσικά μοντέλα. Το Phi-4 της Microsoft σχεδόν πάντα αρνιόταν, ενώ το Mistral-Nemo ήταν το πιο πρόθυμο. Είναι μοντέλο 12 δισεκατομμυρίων παραμέτρων που χωράει σε κάρτα γραφικών με 24GB μνήμη, δηλαδή σε εξοπλισμό για gaming. Σύμφωνα με τη δημοσίευση, δεν χρειάζεται jailbreak ούτε ειδική τεχνική. Αρκεί ένα μοντέλο που υπακούει και ένα system prompt που βελτιώνεται με δοκιμές.
«Είναι πλέον αρκετά εύκολο», λέει ο Παπαδόπουλος. «Καθώς τα σημερινά μοντέλα μπορούν εύκολα να παράγουν απλό κώδικα αυτοματοποίησης και να καθοδηγήσουν και μη ειδικούς στο να “στήνουν” αυτοματοποιημένες διαδικασίες, νομίζω ότι όσοι έχουν κίνητρο ή ενδιαφέρον να κάνουν κάτι τέτοιο, πλέον μπορούν».
Το δεύτερο μισό της έρευνας εξετάζει την άμυνα. Οι ερευνητές πέρασαν τις εικόνες από τρία συστήματα αυτόματης εποπτείας: το Moderation API της OpenAI, το Amazon Rekognition και το ShieldGemma της Google. Τις αποφάσεις τους τις σύγκριναν με τις κρίσεις των αξιολογητών.
Στη βία τα πήγαν σχετικά καλά. Το σύστημα της OpenAI εντόπισε το 68,6% των βίαιων εικόνων. Στο σεξουαλικό περιεχόμενο, το ίδιο σύστημα σχεδόν ποτέ δεν έκανε λάθος όταν σήμαινε συναγερμό (ακρίβεια 98,2%), αλλά εντόπισε μόλις το 30,4% των προβληματικών εικόνων. Το ShieldGemma απέδωσε στο επίπεδο της τύχης.
Στα στερεότυπα, η αποτυχία ήταν καθολική. Και τα τρία συστήματα κινήθηκαν γύρω ή κάτω από το επίπεδο της τύχης, ενώ το Rekognition και το σύστημα της OpenAI δεν επισήμαναν σχεδόν καμία εικόνα. Στη ρητορική μίσους, η OpenAI εντόπισε το 4,3% των περιπτώσεων και το Rekognition το 6,8%. Μερικές από τις εικόνες που πέρασαν είχαν ευδιάκριτα σύμβολα γνωστών ομάδων μίσους.
Η δημοσίευση δίνει μια πιθανή εξήγηση: τα συστήματα αυτά εκπαιδεύονται κυρίως σε πραγματικές φωτογραφίες και δυσκολεύονται με τις συνθετικές. Ο Παπαδόπουλος προσθέτει δύο ακόμη λόγους. «Σαν πρόβλημα κατάταξης, η ρητορική μίσους είναι λιγότερο ξεκάθαρα ορισμένη και επαφίεται πολλές φορές στο πολιτισμικό πλαίσιο ή στις τοπικές συνθήκες στις οποίες εμφανίζεται μια εικόνα», λέει. «Αφετέρου, οι πλατφόρμες εκτιμώ ότι συνειδητά προτιμούν να σφάλουν προς την κατεύθυνση της ελευθερίας του λόγου, για να μην κατηγορηθούν για υπερβολική εποπτεία ή φίμωση απόψεων».
Το πρόβλημα του πλαισίου φάνηκε και στους ίδιους τους αξιολογητές. Στα στερεότυπα και στη ρητορική μίσους η μεταξύ τους συμφωνία ήταν χαμηλότερη απ’ ό,τι στη βία ή στο σεξουαλικό περιεχόμενο. Μια εικόνα από συγκέντρωση με βρετανικές σημαίες, για παράδειγμα, τους δίχασε. Η σημαία από μόνη της δεν συνιστά ρητορική μίσους, το ερώτημα ήταν αν η σκηνή υπονοούσε αποκλεισμό.
Υπάρχει και δεύτερη γραμμή άμυνας: οι ανιχνευτές που προσπαθούν να καταλάβουν αν μια εικόνα φτιάχτηκε από AI, ανεξάρτητα από το τι δείχνει. Οι ερευνητές δοκίμασαν τέσσερις τέτοιους αλγορίθμους, όλους εκπαιδευμένους σε εικόνες χωρίς ακραίο περιεχόμενο. Δοκίμασαν επίσης παραλλαγές τους εκπαιδευμένες επιπλέον σε υλικό από τα social media.
Όσο πιο ακραία ήταν μια εικόνα, τόσο χειρότερα τα πήγαιναν οι πρώτοι. Ο ανιχνευτής SPAI, για παράδειγμα, έπεσε από 87,6% στις ασφαλείς εικόνες σε 79,9% στις ακραίες. Η παραλλαγή του που είχε «δει» και πραγματικό υλικό από το διαδίκτυο ανέβηκε από 81,4% σε 97,3%.
Ο Παπαδόπουλος προειδοποιεί να μην διαβαστεί αυτό ως «το πιο επικίνδυνο υλικό είναι και το πιο δύσκολο να εντοπιστεί». Το πρόβλημα, εξηγεί, είναι ότι τα δεδομένα εκπαίδευσης των περισσότερων ανιχνευτών βασίστηκαν σε μη επικίνδυνες εικόνες. «Ένα καθαρό συμπέρασμα είναι ότι τέτοια μοντέλα πρέπει να εκπαιδεύονται και με επικίνδυνο υλικό», λέει. Η εναλλακτική είναι να ενσωματώσουν τεχνικές που τα κάνουν αξιόπιστα σε πολλούς διαφορετικούς τύπους οπτικού περιεχομένου, «κάτι το οποίο όμως είναι ακόμη ανοιχτό ερευνητικά ως πρόβλημα».
Τα AbsoluteReality και Juggernaut-XL είναι πλήρεις προσαρμογές των Stable Diffusion 1.5 και XL. Διανέμονται μέσω πλατφορμών όπως το CivitAI και διαφημίζονται ρητά ως ικανά για NSFW περιεχόμενο. Στις εικόνες που επισήμανε το σύστημα της OpenAI ως σεξουαλικές, ξεχώρισαν: 45,8% για το AbsoluteReality και 32,6% για το Juggernaut-XL, έναντι περίπου 10% στα υπόλοιπα.
Στην ανθρώπινη αξιολόγηση, πάντως, η εικόνα ήταν πιο σύνθετη. Το πιο ευάλωτο μοντέλο στα σεξουαλικά prompts ήταν το FLUX.1-dev, με 66%, ένα βασικό μοντέλο και όχι προσαρμογή. Στα στερεότυπα και στη ρητορική μίσους πρώτο ήταν το Stable Diffusion 3.5, που έχει ενσωματωμένους μηχανισμούς ασφαλείας. Οι ίδιοι οι συγγραφείς σημειώνουν ότι καμία κατηγορία δεν έδειξε σαφές πλεονέκτημα των κοινοτικών μοντέλων έναντι των κανονικών.
Η αλυσίδα έχει, λοιπόν, τρεις κρίκους: την εταιρεία που φτιάχνει το βασικό μοντέλο, όποιον το προσαρμόζει και την πλατφόρμα που το διανέμει. Για τον Παπαδόπουλο, πέρα από την ατομική ευθύνη όσων φτιάχνουν το περιεχόμενο, το βάρος πέφτει στον τελευταίο κρίκο. «Τη βασική ευθύνη σε επίπεδο οργανισμού τη φέρουν οι πλατφόρμες διανομής», λέει. «Ειδικά στην περίπτωση του NSFW, είναι αρκετά απλό τεχνικά, ειδικά για τις πλατφόρμες που έχουν εξαιρετική τεχνογνωσία και πολλούς πόρους στη διάθεσή τους, να εποπτεύεται και να αφαιρείται αυτόματα τέτοιου τύπου περιεχόμενο».
Η έρευνα εξέτασε μόνο ανοιχτά μοντέλα. Τα κλειστά εμπορικά, εκτιμά ο Παπαδόπουλος, «σίγουρα εμφανίζουν πολύ διαφορετική εικόνα». Στην πλειονότητά τους έχουν μηχανισμούς προστασίας (guardrails) που κάνουν τη δημιουργία τέτοιου περιεχομένου πολύ πιο δύσκολη, μερικές φορές αδύνατη. «Εξαίρεση ίσως αποτελεί το Grok της xAI, το οποίο είναι γνωστό για την πιο “χαλαρή” του πολιτική όσον αφορά τη δημιουργία περιεχομένου».
Η ίδια η ομάδα του ΕΚΕΤΑ πήρε τις προφυλάξεις της. Το σύνολο δεδομένων και το pipeline δεν δημοσιεύονται. Πρόσβαση θα δίνεται μόνο σε ελεγμένους ερευνητές, με συμφωνία που απαγορεύει την κακόβουλη χρήση και την αναδιανομή.
Η έρευνα έχει όρια, που οι συγγραφείς τα αναγνωρίζουν. Οι οκτώ αξιολογητές ήταν όλοι ελληνικού πολιτισμικού υπόβαθρου, κάτι που μετράει περισσότερο στα στερεότυπα και στη ρητορική μίσους, όπου η κρίση εξαρτάται από το πλαίσιο. Και όλα τα prompts ήταν στα αγγλικά, οπότε η συμπεριφορά των μοντέλων και των φίλτρων σε άλλες γλώσσες μένει ανοιχτό ερώτημα.
«Παρότι δεν πραγματοποιήσαμε σχετικά πειράματα, μπορούμε να είμαστε αρκετά βέβαιοι ότι αντίστοιχοι κίνδυνοι μπορούν να εμφανιστούν και σε ελληνικό περιεχόμενο», λέει ο Παπαδόπουλος. «Ακόμη και αν ένα μοντέλο δεν “υπακούει” με μεγάλη ακρίβεια σε ελληνικά prompts, ένας εύκολος τρόπος παράκαμψης του περιορισμού είναι η αυτόματη μετάφραση στα αγγλικά, η οποία λειτουργεί πλέον σχεδόν τέλεια στις περισσότερες περιπτώσεις».
Με την εγγραφή σας, συμφωνείτε με τους Όρους Χρήσης μας (συμπεριλαμβανομένης της παραίτησης από ομαδικές αγωγές και των διατάξεων διαιτησίας) και αναγνωρίζετε την Πολιτική Απορρήτου μας.
