Η κυκλοφορία, τη Δευτέρα, της Nvidia Open Agent Safety Platform έρχεται μετά την αποκάλυψη πρόσφατων περιστατικών από εταιρείες όπως η OpenAI, η Anthropic, η Meta και η Google, στα οποία μοντέλα τεχνητής νοημοσύνης κατάφεραν να ξεφύγουν από τα sandbox τους και επιχείρησαν να παραβιάσουν συστήματα άλλων εταιρειών και να αποκτήσουν πρόσβαση στους υπολογιστές τους.
Εκπρόσωπος της Nvidia δήλωσε στους δημοσιογράφους, κατά τη διάρκεια τηλεδιάσκεψης την Κυριακή, ότι η πλατφόρμα της θα μπορούσε να είχε αποτρέψει το περιστατικό με το Hugging Face τον Ιούλιο. Τότε, μοντέλα της OpenAI κατάφεραν να ξεφύγουν από το περιβάλλον περιορισμού, απέκτησαν πρόσβαση στο ανοιχτό διαδίκτυο και παραβίασαν το Hugging Face, το οποίο λειτουργεί μια πλατφόρμα ανάπτυξης λογισμικού ανοιχτού κώδικα.
«Κάθε περιστατικό ασφάλειας είναι μοναδικό και πρέπει να εξετάζουμε κάθε περίπτωση λεπτομερώς», δήλωσε ο Justin Boitano, αντιπρόεδρος Enterprise AI της Nvidia.
Η Nvidia βρίσκεται στο επίκεντρο της έκρηξης της παραγωγικής τεχνητής νοημοσύνης από την κυκλοφορία του ChatGPT, πριν από σχεδόν τέσσερα χρόνια, καθώς οι μονάδες επεξεργασίας γραφικών (GPUs) της εταιρείας είναι κρίσιμης σημασίας για την ανάπτυξη μεγάλων γλωσσικών μοντέλων και για τις υπηρεσίες AI που προσφέρουν οι μεγάλοι πάροχοι cloud. Ωστόσο, ο διευθύνων σύμβουλος της εταιρείας, Jensen Huang, έχει αναδειχθεί πιο πρόσφατα σε σημαντική φωνή στη συζήτηση για την ασφάλεια της AI, υποστηρίζοντας ότι πολλές από τις ανησυχίες σχετικά με την ασφάλεια είναι ζητήματα μηχανικής που μπορούν να αντιμετωπιστούν μέσω της επιστήμης των υπολογιστών και της ανάπτυξης προϊόντων.
«Πρέπει να σκεφτείς τι θα μπορούσες να είχες κάνει και ποια είναι η λύση», δήλωσε ο Huang σε podcast με τον Ezra Klein των New York Times, το οποίο κυκλοφόρησε την περασμένη εβδομάδα, αναφερόμενος στα πρόσφατα περιστατικά. «Στο μέλλον, πρέπει να βελτιώσεις τη διαδικασία σου ώστε να μπορείς να αποφύγεις να συμβεί κάτι τέτοιο ξανά».
Ο CEO της Anthropic, Dario Amodei, προκάλεσε έντονη συζήτηση στον κλάδο πριν από δύο εβδομάδες, όταν προέτρεψε τους προγραμματιστές μοντέλων AI να επιβραδύνουν τον ρυθμό ανάπτυξης, λόγω φόβων ότι τα μοντέλα μπορεί να ξεφύγουν από τον έλεγχο. Την άποψη αυτή υποστήριξαν ο Sam Altman της OpenAI και ο Elon Musk της SpaceX.
Η νέα προσφορά της Nvidia αποτελεί μια τεχνική/μηχανική λύση στο ζήτημα της ασφάλειας των AI agents, δήλωσε ο Boitano.
«Τα πρόσφατα περιστατικά έχουν αναδείξει ένα θεμελιώδες εμπόδιο για τους AI agents: οι δικλίδες ασφαλείας που εφαρμόζονται μόνο στο επίπεδο του μοντέλου δεν μπορούν από μόνες τους να ελέγξουν σε τι μπορούν να έχουν πρόσβαση οι agents ή τι μπορούν να κάνουν», δήλωσε ο Boitano.
Ένα από τα βασικά στοιχεία της πλατφόρμας ονομάζεται Nvidia OpenShell. Εκτελείται στους κεντρικούς επεξεργαστές (CPUs) και θέτει όρια στις δυνατότητες των agents. Η Nvidia ανακοίνωσε επίσης το Sentry, ένα σύστημα που παρακολουθεί τους agents και λειτουργεί πάνω σε δικτυακά chips, αντί για CPUs ή GPUs.
Μέρος του λογισμικού είναι ανοιχτού κώδικα, ενώ η Nvidia χαρακτηρίζει την πλατφόρμα «reference design». Αυτό σημαίνει ότι οι συνεργάτες της αναμένεται να δημιουργήσουν προϊόντα βασισμένα σε αυτήν και να τα διαθέσουν στην αγορά.
Η Nvidia ανέφερε ως συνεργάτες τις Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM και Intel. Παράλληλα, συνεργάζεται με την Anthropic για την ενσωμάτωση cloud-managed agents με το OpenShell.
