Έχετε δει ποτέ ένα μωρό γαζέλα να μαθαίνει να περπατάει; Ένα ελαφάκι, το οποίο είναι βασικά ένας μπαμπάς θηλαστικός με μακριά πόδια, σηκώνεται, πέφτει, στέκεται και ξαναπέφτει. Τελικά, στέκεται αρκετά για να χτυπήσει τα πόδια του που μοιάζουν με οδοντογλυφίδα σε μια σειρά από σχεδόν πτώσεις… αχ, βήματα. Παραδόξως, λίγα λεπτά μετά από αυτή τη συμπαθητική οθόνη, το ελαφάκι χοροπηδά σαν παλιό επαγγελματία.
Λοιπόν, τώρα έχουμε μια έκδοση ρομπότ αυτής της κλασικής σκηνής Serengeti.
Το ελαφάκι σε αυτή την περίπτωση είναι ένα ρομποτικό σκυλί στο Πανεπιστήμιο της Καλιφόρνια στο Μπέρκλεϋ. Και είναι επίσης ένας εκπληκτικά γρήγορος μαθητής (σε σχέση με τους υπόλοιπους τύπους ρομπότ). Το ρομπότ είναι επίσης ιδιαίτερο γιατί, σε αντίθεση με άλλα πιο εντυπωσιακά ρομπότ που μπορεί να έχετε δει στο διαδίκτυο, χρησιμοποιεί τεχνητή νοημοσύνη για να διδάξει τον εαυτό του πώς να περπατά.
Ξεκινώντας ανάσκελα, με τα πόδια του να ανεμίζουν, το ρομπότ μαθαίνει να αναποδογυρίζει, να σηκώνεται και να περπατά σε μια ώρα. Άλλα δέκα λεπτά παρενόχλησης με ένα ρολό χαρτονιού είναι αρκετά για να του μάθει πώς να αντέχει και να ανακάμπτει από το σπρώξιμο από τους χειριστές του.
Δεν είναι η πρώτη φορά ένα ρομπότ έχει χρησιμοποιήσει τεχνητή νοημοσύνη για να μάθει να περπατά. Όμως, ενώ τα προηγούμενα ρομπότ έμαθαν την ικανότητα με δοκιμή και λάθος σε αναρίθμητες επαναλήψεις σε προσομοιώσεις, το ρομπότ Berkeley έμαθε εξ ολοκλήρου στον πραγματικό κόσμο.
[Ενσωματωμένο περιεχόμενο]
Σε δημοσιευμένο έγγραφο στον διακομιστή προεκτύπωσης arXiv, οι ερευνητές - Danijar Hafner, Alejandro Escontrela και Philipp Wu - λένε ότι η μεταφορά αλγορίθμων που έχουν μάθει στην προσομοίωση στον πραγματικό κόσμο δεν είναι απλή. Μικρές λεπτομέρειες και διαφορές μεταξύ του πραγματικού κόσμου και της προσομοίωσης μπορούν να σκοντάψουν τα νεοσύστατα ρομπότ. Από την άλλη πλευρά, οι αλγόριθμοι εκπαίδευσης στον πραγματικό κόσμο δεν είναι πρακτικοί: Θα χρειαζόταν πολύς χρόνος και φθορά.
Πριν από τέσσερα χρόνια, για παράδειγμα, το OpenAI έδειξε ένα ρομποτικό χέρι με δυνατότητα AI που μπορούσε να χειριστεί έναν κύβο. Ο αλγόριθμος ελέγχου, Dactyl, χρειαζόταν περίπου 100 χρόνια εμπειρίας σε μια προσομοίωση που τροφοδοτείται από 6,144 CPU και 8 Nvidia V100 GPU για να ολοκληρώσει αυτό το σχετικά απλό έργο. Τα πράγματα έχουν προχωρήσει από τότε, αλλά το πρόβλημα σε μεγάλο βαθμό παραμένει. Οι αμιγώς ενισχυτικοί αλγόριθμοι μάθησης χρειάζονται πάρα πολλές δοκιμές και σφάλματα για να μάθουν δεξιότητες ώστε να εκπαιδεύονται στον πραγματικό κόσμο. Με απλά λόγια, η διαδικασία μάθησης θα έσπασε τους ερευνητές και ρομπότ προτού πραγματοποιήσετε οποιαδήποτε ουσιαστική πρόοδο.
Η ομάδα του Μπέρκλεϋ ξεκίνησε να λύσει αυτό το πρόβλημα με έναν αλγόριθμο που ονομάζεται Dreamer. Κατασκευάζοντας αυτό που ονομάζεται "παγκόσμιο μοντέλο», ο Dreamer μπορεί να προβάλει την πιθανότητα μια μελλοντική ενέργεια να επιτύχει τον στόχο της. Με την εμπειρία, η ακρίβεια των προβολών του βελτιώνεται. Φιλτράροντας εκ των προτέρων τις λιγότερο επιτυχημένες ενέργειες, το παγκόσμιο μοντέλο επιτρέπει στο ρομπότ να καταλάβει πιο αποτελεσματικά τι λειτουργεί.
«Η εκμάθηση παγκόσμιων μοντέλων από την προηγούμενη εμπειρία επιτρέπει στα ρομπότ να φαντάζονται τα μελλοντικά αποτελέσματα πιθανών ενεργειών, μειώνοντας τον αριθμό των δοκιμών και σφαλμάτων στο πραγματικό περιβάλλον που απαιτούνται για να μάθουν επιτυχημένες συμπεριφορές», γράφουν οι ερευνητές. «Με την πρόβλεψη των μελλοντικών αποτελεσμάτων, τα παγκόσμια μοντέλα επιτρέπουν τον προγραμματισμό και τη μάθηση συμπεριφοράς δεδομένου μόνο μικρών ποσοτήτων αλληλεπίδρασης στον πραγματικό κόσμο».
Με άλλα λόγια, ένα παγκόσμιο μοντέλο μπορεί να μειώσει το ισοδύναμο των ετών εκπαίδευσης σε μια προσομοίωση σε όχι περισσότερο από μια άβολη ώρα στον πραγματικό κόσμο.
Η προσέγγιση μπορεί να έχει ευρύτερη συνάφεια από τα σκυλιά ρομπότ. Η ομάδα εφάρμοσε επίσης το Dreamer σε έναν ρομποτικό βραχίονα επιλογής και τοποθέτησης και ένα ρομπότ με τροχούς. Και στις δύο περιπτώσεις, βρήκαν ότι ο Dreamer επέτρεψε στα ρομπότ τους να μάθουν αποτελεσματικά τις σχετικές δεξιότητες, χωρίς να απαιτείται χρόνος sim. Πιο φιλόδοξες μελλοντικές εφαρμογές μπορεί να περιλαμβάνουν αυτο-οδήγηση αυτοκινήτων.
Φυσικά, υπάρχουν ακόμη προκλήσεις που πρέπει να αντιμετωπιστούν. Αν και η ενισχυτική μάθηση αυτοματοποιεί μερικές από τις περίπλοκες χειροκίνητες κωδικοποιήσεις πίσω από τα πιο προηγμένα ρομπότ του σήμερα, εξακολουθεί να απαιτεί από τους μηχανικούς να καθορίσουν τους στόχους ενός ρομπότ και τι συνιστά επιτυχία—μια άσκηση που είναι και χρονοβόρα και ανοιχτή για περιβάλλοντα πραγματικού κόσμου. Επίσης, αν και το ρομπότ επέζησε από τα πειράματα της ομάδας εδώ, η μεγαλύτερη εκπαίδευση σε πιο προηγμένες δεξιότητες μπορεί να αποδειχθεί υπερβολική για τα μελλοντικά ρομπότ να επιβιώσουν χωρίς ζημιές. Οι ερευνητές λένε ότι μπορεί να είναι εποικοδομητικό να συνδυαστεί η εκπαίδευση σε προσομοιωτή με τη γρήγορη εκμάθηση στον πραγματικό κόσμο.
Ωστόσο, τα αποτελέσματα προωθούν την τεχνητή νοημοσύνη στη ρομποτική ένα ακόμη βήμα. Ο Dreamer ενισχύει την υπόθεση ότι «η ενισχυτική μάθηση θα είναι ένα εργαλείο ακρογωνιαίο λίθο στο μέλλον του ελέγχου των ρομπότ», Jonathan Hurst, καθηγητής ρομποτικής στο Oregon State University είπε MIT Technology Review.
Image Credit: Danijar Hafner / YouTube
