Η πρόσφατη δημοσίευση του OpenAI, "Let's Verify Step by Step," (https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf) τράβηξε αμέσως την προσοχή μου κατά την κυκλοφορία του στις 31 Μαΐου. 2023. Κεντρική θέση στα περιεχόμενα αυτής της εργασίας είναι ένα διάγραμμα στη σελίδα έβδομη που προτείνει μια θέση που προκαλεί σκέψη – ότι η ανθρωπότητα μπορεί να πλησιάζει πολύ κοντά στη δημιουργία της τεχνητής γενικής νοημοσύνης (AGI).

Δώστε ιδιαίτερη προσοχή στην καμπύλη «Process-Supervised RM», η οποία είναι αξιοσημείωτη στον προσεκτικό παρατηρητή για τη συνεχιζόμενη ανοδική της ανάβαση. Σε αντίθεση με τις προσδοκίες ότι θα ήταν τελικά οροπέδιο, η καμπύλη υποδηλώνει ότι αυξάνοντας την υπολογιστική ισχύ, το ποσοστό των μαθηματικών προβλημάτων που επιλύθηκαν σωστά μπορεί να συνεχίσει να αυξάνεται. Με επαρκή υπολογιστική ισχύ, η τεχνητή νοημοσύνη θα μπορούσε ενδεχομένως να λύσει μαθηματικές προκλήσεις σε άνευ προηγουμένου κλίμακα, πετυχαίνοντας ακόμη και σχεδόν τέλεια ακρίβεια.

Πριν εμβαθύνουμε στις επιπτώσεις, ας παρακολουθήσουμε το ταξίδι που μας έφερε σε αυτή τη συγκυρία και ας κατανοήσουμε τη σημασία του.

Οι ρίζες αυτής της εξέλιξης δημοσιεύθηκαν το 2021 σε μια μελέτη με τίτλο «Εκπαίδευση επαληθευτών για την επίλυση προβλημάτων μαθηματικών λέξεων». Αυτή η έρευνα αξιολόγησε μεγάλα μοντέλα γλώσσας τεχνητής νοημοσύνης, συμπεριλαμβανομένου ενός τεράστιου μοντέλου παραμέτρων 175 δισεκατομμυρίων, χρησιμοποιώντας ένα σύνολο δεδομένων προβλημάτων μαθηματικών λέξεων γνωστό ως GSM8K.

Ένα περίπτερο καρναβαλικών σνακ έβγαζε 50 $ πουλώντας ποπ κορν κάθε μέρα. Έκανε τρεις φορές περισσότερα πουλώντας μαλλί της γριάς. Για μια δραστηριότητα 5 ημερών, το περίπτερο πρέπει να πληρώσει 30 $ ενοίκιο και 75 $ για το κόστος των συστατικών. Πόσο κέρδισε το περίπτερο για 5 ημέρες μετά την πληρωμή του ενοικίου και του κόστους των συστατικών;

Παράδειγμα Ερώτησης

Παρά το μέγεθός τους, αυτά τα μοντέλα είχαν αρχικά περιορισμένη επιτυχία, επιλύοντας σωστά μόνο περίπου το 30% των προβλημάτων.

Για να ενισχύσουν την αποτελεσματικότητά τους, οι ερευνητές δοκίμασαν μια καινοτόμο τεχνική: ανέπτυξαν ένα μοντέλο «επαληθευτή» ειδικά για να αξιολογήσουν τις λύσεις που δημιουργούνται από το πρωτεύον μοντέλο. Κατά τη διάρκεια της δοκιμής, αυτός ο επαληθευτής ανέλυσε πολλές υποψήφιες λύσεις, επιλέγοντας αυτή με την υψηλότερη βαθμολογία. Αυτή η στρατηγική αύξησε σημαντικά την απόδοση, επιτρέποντας στην τεχνητή νοημοσύνη να επιτύχει αποτελέσματα σχεδόν ίσα με εκείνα ενός βασικού μοντέλου που ήταν 30 φορές μεγαλύτερο.

Όχι μόνο μια παράμετρος έξι δισεκατομμυρίων έχει καλύτερη απόδοση από ένα μοντέλο παραμέτρων 175 δισεκατομμυρίων, αλλά αποδεικνύεται ότι το μοντέλο επαληθευτή κλιμακώνεται πολύ καλύτερα με περισσότερα δεδομένα από τα μοντέλα γλώσσας που βασίζονται σε μετασχηματιστές.

Αρχικά, ο επαληθευτής ανταμείφθηκε για τον εντοπισμό μιας σωστής απάντησης, ακόμη και αν η συλλογιστική πίσω από αυτήν ήταν εσφαλμένη. Αυτή η προσέγγιση οδήγησε περιστασιακά σε ακριβή συμπεράσματα που εξάγονταν από εσφαλμένες μεθοδολογίες, μια ουσιαστική ανησυχία. Οι ερευνητές στράφηκαν από ένα μοντέλο ανταμοιβής με εποπτεία αποτελέσματος σε ένα μοντέλο ανταμοιβής με εποπτεία διαδικασίας για να αντιμετωπίσουν αυτό το ζήτημα. Αυτή η μετατόπιση σήμαινε ότι ο επαληθευτής πλέον εστίαζε στην ορθότητα της διαδικασίας συλλογισμού και όχι μόνο στο τελικό αποτέλεσμα.

Όπως αναφέρθηκε προηγουμένως, αυτό το εξαιρετικό αποτέλεσμα τεκμηριώνεται στην αξιοσημείωτη εργασία «Let's Verify Step by Step», αλλά εγείρει το ερώτημα γιατί οι τέλειες βαθμολογίες στα μαθηματικά θα μπορούσαν να οδηγήσουν σε Τεχνητή Γενική Νοημοσύνη.

Μια νέα θεωρία της νοημοσύνης

Με βάση την έρευνα του Mountcastle, η τελευταία θεωρία της νοημοσύνης υποστηρίζει ότι χιλιάδες φλοιώδεις στήλες στον εγκέφαλο μαθαίνουν και κατασκευάζουν μοντέλα πλήρων αντικειμένων. Αυτές οι στήλες πιστεύεται ότι είναι οι θεμελιώδεις μονάδες μάθησης και επεξεργασίας στον εγκέφαλο, καθεμία ικανή να δημιουργήσει ένα μοντέλο του κόσμου όπως τον αντιλαμβάνεται. Ωστόσο, η πραγματική πολυπλοκότητα και η ευφυΐα του εγκεφάλου προκύπτουν από το πώς συνδυάζονται και ενσωματώνονται αυτά τα μεμονωμένα μοντέλα.

Πιθανότατα, αυτή η ενοποίηση είναι που επιτρέπει μια πιο λεπτή και ολοκληρωμένη κατανόηση του περιβάλλοντος. Ενώ οι μεμονωμένες φλοιώδεις στήλες επεξεργάζονται εν μέρει διαφορετικές πτυχές ενός αντικειμένου ή μιας σκηνής, στη συνέχεια συνεργάζονται για να σχηματίσουν μια ενοποιημένη αντίληψη, συνδυάζοντας διάφορες αισθητηριακές εισροές και εμπειρίες. Αυτή η διαδικασία επιτρέπει όχι μόνο την αναγνώριση αντικειμένων αλλά και την κατανόηση των πλαισίων, των σχέσεων και των αφηρημένων εννοιών.

Αυτή η θεωρία επεκτείνεται στην τεχνητή νοημοσύνη, όπου η ενσωμάτωση πολλαπλών μοντέλων θα μπορούσε να οδηγήσει σε πιο προηγμένες, γενικευμένες μορφές τεχνητής νοημοσύνης παρόμοιες με την ανθρώπινη νοημοσύνη. Μιμούμενοι τη στρατηγική του εγκεφάλου να συνδυάζει πολυάριθμα, τελικά εξειδικευμένα μοντέλα, τα συστήματα τεχνητής νοημοσύνης θα μπορούσαν ενδεχομένως να αναπτύξουν μια πιο ολιστική και διαφοροποιημένη κατανόηση του κόσμου, ένα βασικό βήμα προς την επίτευξη του AGI.

Η πρόκληση έγκειται στην αποτελεσματική αναπαραγωγή αυτής της πολύπλοκης αλληλεπίδρασης ανεξάρτητων αλλά διασυνδεδεμένων μονάδων επεξεργασίας. Ακριβώς όπως ο εγκέφαλος ενσωματώνει απρόσκοπτα την είσοδο από αμέτρητες φλοιώδεις στήλες, ένα σύστημα AGI θα πρέπει να εναρμονίσει διαφορετικά μοντέλα, το καθένα με τη δική του εξειδικευμένη γνώση και προοπτική, σε μια συνεκτική και συνεκτική νοημοσύνη.

Απαιτεί κάποιες προόδους στον τρόπο με τον οποίο τα μεμονωμένα μοντέλα τεχνητής νοημοσύνης μαθαίνουν και επεξεργάζονται πληροφορίες αλλά, το πιο σημαντικό, πώς ενσωματώνουν αυτά τα μοντέλα. Είναι συγκεκριμένα αυτή η διαδικασία ολοκλήρωσης που απαιτεί ακριβή μαθηματικά.

Εξειδικευμένα κύτταρα, δηλαδή τα κύτταρα πλέγματος και θέσης, λειτουργούν παράλληλα για να σχηματίσουν ένα πολύπλοκο δίκτυο χωρικής επίγνωσης και πλοήγησης, χτίζοντας το σύστημα εντοπισμού θέσης του εγκεφάλου. Αυτό το σύστημα τοποθέτησης μπορεί να θεωρηθεί ως ένα εικονικό σύστημα συντεταγμένων πάνω από την πραγματικότητα, όπου κάθε κίνηση ή αλλαγή κατεύθυνσης καταγράφεται και κωδικοποιείται στο μοντέλο κάθε φλοιώδους στήλης.

Μετά από αρκετούς αιώνες, η θεωρία του Immanuel Kant, όπως εισήχθη στην «Κριτική του καθαρού λόγου», φαίνεται να έχει ισχύ. Πρότεινε ότι έχουμε «a priori» γνώση για το χώρο και το χρόνο, υποδηλώνοντας μια έμφυτη κατανόηση αυτών των εννοιών ανεξάρτητη από την εμπειρία.

Αυτά τα μοντέλα ενσωματώνονται για να σχηματίσουν ένα ενιαίο συνεκτικό μοντέλο χρησιμοποιώντας κωδικοποίηση θέσης και χρησιμοποιώντας πρόσθεση διανυσμάτων, τριγωνομετρικές συναρτήσεις και διαφορικό και ολοκληρωτικό λογισμό. Αυτή η ολοκλήρωση διαδρομής είναι απαραίτητη για μια ενοποιημένη και ολοκληρωμένη μορφή νοημοσύνης.

Τα ακριβή μαθηματικά φαίνεται να είναι ένα κρίσιμο θεμέλιο για την ανθρώπινη νοημοσύνη και μπορεί να βρισκόμαστε στο κατώφλι μιας σημαντικής ανακάλυψης. Ωστόσο, εν μέσω αυτής της συναρπαστικής προόδου, υπάρχει μια σύλληψη: εντείνει δραματικά τα υπάρχοντα προβλήματα, ρίχνοντας μια σκιά διλήμματος στο νέο μονοπάτι μας.

Βιώσιμη ευφυΐα: Επανεξέταση του κόστους των εξελίξεων της τεχνητής νοημοσύνης

Με την προσέγγιση της δημιουργίας πολλών πιθανών απαντήσεων και της επιλογής της σωστής από έναν επικυρωτή, υπάρχει μια ουσιαστική μετατόπιση στη ζήτηση για υπολογιστική ισχύ από την εκπαίδευση, η οποία συμβαίνει μία φορά, στην εξαγωγή συμπερασμάτων, η οποία συμβαίνει κάθε φορά που χρησιμοποιείται το σύστημα. Εξάλλου, όποτε χρησιμοποιείται ένα τέτοιο σύστημα, του ζητείται να δημιουργήσει εκατοντάδες ή χιλιάδες πιθανές λύσεις.

Ακόμα κι αν το γλωσσικό μοντέλο είναι έως και 30 φορές μικρότερο, εξακολουθεί να χρησιμοποιεί περισσότερο από 33 φορές την ενέργεια στο συμπέρασμα εάν του ζητηθεί να παράγει χίλιες πιθανές λύσεις (1000/30 = 33.3). Δηλαδή, χωρίς καν να ληφθεί υπόψη το κόστος του μοντέλου επικυρωτή. Αυτή η αύξηση της υπολογιστικής ζήτησης αναπόφευκτα θα κλιμακώσει τις ήδη πιεστικές ανησυχίες σχετικά με το κόστος υπολογιστών και τις περιβαλλοντικές επιπτώσεις του.

Για παράδειγμα, το μόνο μοντέλο Bloom 176 δισεκατομμυρίων παραμέτρων κατανάλωσε την ισοδύναμη ενέργεια από την τροφοδοσία 30 σπιτιών για ένα χρόνο στην εκπαίδευση, παρά την έμφαση που έδινε στην ηθική, τη διαφάνεια και τη συναίνεση. Εξέπεμψε 25 τόνους διοξειδίου του άνθρακα - ένα περιβαλλοντικό αποτύπωμα συγκρίσιμο με το να οδηγείς ένα αυτοκίνητο σε όλο τον κόσμο πέντε φορές.

Επιπλέον, το οικονομικό κόστος της λειτουργίας τέτοιων προηγμένων μοντέλων τεχνητής νοημοσύνης είναι εκπληκτικό, καθιστώντας μόνο ένα περιορισμένο εύρος περιπτώσεων χρήσης οικονομικά βιώσιμο. Αυτό το οικονομικό εμπόδιο θα μπορούσε να έχει ως αποτέλεσμα μερικές καλά χρηματοδοτούμενες εταιρείες να μονοπωλούν αυτές τις τεχνολογίες, δυνητικά θέτοντας σε κίνδυνο τη διαφάνεια και την προσβασιμότητα. Η συγκέντρωση του ελέγχου στα χέρια λίγων θα επιδείνωνε τα υπάρχοντα ζητήματα, όπως η μεροληψία, καθώς αυτές οι οντότητες θα μπορούσαν να δώσουν προτεραιότητα στα εμπορικά τους συμφέροντα σε σχέση με ευρύτερα ηθικά ζητήματα. Θα αντιμετωπίσουμε τον κίνδυνο ενός τεχνολογικού τοπίου όπου η μεροληψία διαιωνίζεται και δυνητικά ενισχύεται.

Η αποκλειστικότητα της πρόσβασης σε προηγμένη τεχνητή νοημοσύνη μπορεί να εμβαθύνει περαιτέρω τις υπάρχουσες ανισότητες στον τεχνολογικό κόσμο, με μικρότερες οντότητες και ερευνητές να βρίσκονται όλο και πιο περιθωριοποιημένοι.

Ένα τέτοιο δυστοπικό μέλλον οδηγεί σε ένα κρίσιμο κοινωνικό ερώτημα: μπορούμε να αντέξουμε οικονομικά το AGI με αυτό το κόστος;

AI Adequacy: Task-Tuning για ακρίβεια και αποτελεσματικότητα

Οι προσπάθειες για την αντιμετώπιση των μελλοντικών υπαρξιακών κινδύνων της τεχνητής νοημοσύνης είναι πράγματι σημαντικές, ωστόσο μερικές φορές μπορούν να επισκιάσουν τις άμεσες, απτές επιπτώσεις που έχουν ήδη οι τεχνολογίες τεχνητής νοημοσύνης. Αυτές οι επιπτώσεις πιθανότατα θα ενισχυθούν καθώς πλησιάζουμε πιο κοντά στην ανάπτυξη της Τεχνητής Γενικής Νοημοσύνης.

Το ταξίδι προς το AGI δεν αφορά μόνο την τεχνολογική πρόοδο αλλά και τη δημιουργία εργαλείων για τον μετριασμό αυτών των επιπτώσεων. Ένα τέτοιο εργαλείο, το Diffusion Bias Explorer, επιτρέπει στους χρήστες να διερευνήσουν τις προκαταλήψεις που είναι εγγενείς στα μοντέλα δημιουργίας εικόνων, ιδιαίτερα στο πλαίσιο διαφόρων επαγγελμάτων.

Καθώς συνεχίζουμε να εργαζόμαστε για μια πεινασμένη, ανόητη, ανθρωποκεντρική κοινωνία, είναι σημαντικό να συνεχίσουμε να κάνουμε συνεισφορές που εκδημοκρατίζουν την τεχνητή νοημοσύνη καθιστώντας την επαρκή. Αυτό το πετυχαίνουμε αναπτύσσοντας εργαλεία που απλοποιούν τη δημιουργία μοντέλων τεχνητής νοημοσύνης για συγκεκριμένες εργασίες. Αυτά τα εργαλεία αξιοποιούν προεκπαιδευμένα μοντέλα μεγάλων γλωσσών για να δημιουργήσουν πιο ακριβή, ενεργειακά αποδοτικά και οικονομικά αποδοτικά γλωσσικά μοντέλα προσαρμοσμένα σε συγκεκριμένες εργασίες.

https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://www.finextra.com/blogposting/25657/the-agi-horizon-how-one-chart-is-shaping-our-ai-expectations?utm_medium=rssfinextra&utm_source=finextrablogs