Το λογισμικό, λέει η εταιρεία, θα μπορούσε να βάζει αυτόματα λεζάντες σε εικόνες, διευκολύνοντας έτσι την αναζήτηση εικόνων μέσω του Google Images. Θα μπορούσε επίσης «να βοηθά ανθρώπους με προβλήματα όρασης να κατανοούν φωτογραφίες» γράφουν οι ερευνητές της εταιρείας στο Google Research Blog.

To σύστημα αποτελείται από δύο «νευρωνικά δίκτυα» -μια αρχιτεκτονική επεξεργασίας που βασίζεται στη δομή του ανθρώπινου εγκεφάλου. Οι «νευρώνες» κάθε δικτύου επικοινωνούν μεταξύ τους και μπορούν να διδαχθούν να επεξεργάζονται πληφορορίες και να δίνουν απαντήσεις. Το πρώτο νευρωνικό δίκτυο αναλαμβάνει να αναγνωρίσει τα αντικείμενα της εικόνας και τις μεταξύ τους σχέσης, ενώ το δεύτερο δίκτυο αναλαμβάνει να περιγράψει τα συμπεράσματα του πρώτου.