Σύμφωνα με τις αναφορές, το Grok, το οποίο κυκλοφόρησε το 2023 και είναι δωρεάν για τους χρήστες του X, φέρεται να χρησιμοποιήθηκε για τη δημιουργία και διακίνηση γυμνών εικόνων γυναικών, καθώς και σεξουαλικοποιημένων εικόνων παιδιών.
Πιο συγκεκριμένα, τον περασμένο Αύγουστο, η εταιρεία πρόσθεσε την εφαρμογή Grok Imagine, η οποία με τη λειτουργία «spicy» παράγει πορνογραφικές εικόνες γυναικών και παιδιών σε άσεμνες πόζες, τροποποιώντας ή αλλοιώνοντας φωτογραφίες και βίντεο αληθινών προσώπων.
Υπενθυμίζεται ότι η εν λόγω λειτουργία προκάλεσε πλήθος καταγγελιών για τη δημιουργία μη συναινετικών σεξουαλικών deepfakes, τα οποία συνιστούν σοβαρή παραβίαση των ανθρωπίνων δικαιωμάτων, της αξιοπρέπειας και της ασφάλειας των πολιτών στον ψηφιακό χώρο.
Αρχικά ευρήματα ερευνών στη νοτιοανατολική Ασία έδειξαν ότι το Grok δεν διαθέτει επαρκείς δικλείδες ασφαλείας για να αποτρέψει τους χρήστες από τη δημιουργία και διανομή πορνογραφικού περιεχομένου βασισμένου σε πραγματικές φωτογραφίες. Η έρευνα της Ofcom αναμένεται να εξετάσει σε βάθος τους κινδύνους και τη συμμόρφωση της πλατφόρμας με τη σχετική νομοθεσία.
