ChatGPT, DALL-E, Σταθερή Διάχυση, και άλλα γενεσιουργά AI έχουν καταιγίσει τον κόσμο. Δημιουργούν παραμυθένια ποίηση και εικόνες. Διεισδύουν σε κάθε γωνιά του κόσμου μας, από το μάρκετινγκ μέχρι τη σύνταξη νομικών φυλλαδίων και την ανακάλυψη ναρκωτικών. Μοιάζουν σαν το παιδί της αφίσας για μια ιστορία επιτυχίας που συνδυάζει μυαλό ανθρώπου-μηχανής.

Αλλά κάτω από την κουκούλα, τα πράγματα φαίνονται λιγότερο ροδακινί. Αυτά τα συστήματα είναι τεράστια ενεργειακά γουρούνια, που απαιτούν κέντρα δεδομένων που εκτοξεύουν χιλιάδες τόνους εκπομπών άνθρακα - τονίζοντας περαιτέρω ένα ήδη ασταθές κλίμα - και απορροφούν δισεκατομμύρια δολάρια. Καθώς τα νευρωνικά δίκτυα γίνονται πιο εξελιγμένα και ευρύτερα χρησιμοποιούμενα, η κατανάλωση ενέργειας είναι πιθανό να εκτοξευθεί ακόμη περισσότερο.

Έχει χυθεί άφθονο μελάνι σε γεννήτριες AI αποτύπωμα άνθρακα. Η ενεργειακή του ζήτηση θα μπορούσε να είναι η πτώση του, εμποδίζοντας την ανάπτυξή του καθώς μεγαλώνει περαιτέρω. Χρησιμοποιώντας το τρέχον υλικό, η γενετική τεχνητή νοημοσύνη «αναμένεται να σταματήσει σύντομα εάν συνεχίσει να βασίζεται σε τυπικό υπολογιστικό υλικό». είπε Ο Δρ Hechen Wang στα εργαστήρια Intel.

Είναι καιρός να δημιουργήσουμε βιώσιμη τεχνητή νοημοσύνη.

Αυτή την εβδομάδα, μια μελέτη από την IBM έκανε ένα πρακτικό βήμα προς αυτή την κατεύθυνση. Δημιούργησαν ένα αναλογικό τσιπ 14 νανομέτρων γεμάτο με 35 εκατομμύρια μονάδες μνήμης. Σε αντίθεση με τα τρέχοντα τσιπ, ο υπολογισμός γίνεται απευθείας μέσα σε αυτές τις μονάδες, καταργώντας την ανάγκη μεταφοράς δεδομένων εμπρός και πίσω, εξοικονομώντας με τη σειρά της ενέργεια.

Η μεταφορά δεδομένων μπορεί να αυξήσει την κατανάλωση ενέργειας οπουδήποτε από 3 έως 10,000 φορές πάνω από αυτό που απαιτείται για τον πραγματικό υπολογισμό, είπε ο Wang.

Το τσιπ ήταν εξαιρετικά αποδοτικό όταν προκλήθηκε με δύο εργασίες αναγνώρισης ομιλίας. Το ένα, το Google Speech Commands, είναι μικρό αλλά πρακτικό. Εδώ, η ταχύτητα είναι το κλειδί. Το άλλο, το Librispeech, είναι ένα σύστημα μαμούθ που βοηθά στη μεταγραφή της ομιλίας σε κείμενο, φορολογώντας την ικανότητα του τσιπ να επεξεργάζεται τεράστιες ποσότητες δεδομένων.

Όταν έρχεται σε αντίθεση με συμβατικούς υπολογιστές, το τσιπ είχε εξίσου ακριβή απόδοση, αλλά ολοκλήρωσε τη δουλειά γρηγορότερα και με πολύ λιγότερη ενέργεια, χρησιμοποιώντας λιγότερο από το ένα δέκατο αυτού που συνήθως απαιτείται για ορισμένες εργασίες.

«Αυτές είναι, από όσο γνωρίζουμε, οι πρώτες επιδείξεις εμπορικά σχετικών επιπέδων ακρίβειας σε ένα εμπορικά σχετικό μοντέλο…με αποτελεσματικότητα και τεράστιο παραλληλισμό» για ένα αναλογικό τσιπ, είπε η ομάδα.

Εγκεφαλικά Bytes

Αυτό δεν είναι σχεδόν το πρώτο αναλογικό τσιπ. Ωστόσο, ωθεί την ιδέα του νευρομορφικού υπολογισμού στη σφαίρα της πρακτικότητας - ένα τσιπ που θα μπορούσε μια μέρα να τροφοδοτήσει το τηλέφωνό σας, το έξυπνο σπίτι και άλλες συσκευές με αποτελεσματικότητα κοντά σε αυτήν του εγκεφάλου.

Εμ τι? Ας κάνουμε backup.

Οι τρέχοντες υπολογιστές είναι χτισμένοι στο Αρχιτεκτονική Von Neumann. Σκεφτείτε το σαν ένα σπίτι με πολλά δωμάτια. Η μία, η κεντρική μονάδα επεξεργασίας (CPU), αναλύει δεδομένα. Ένα άλλο αποθηκεύει τη μνήμη.

Για κάθε υπολογισμό, ο υπολογιστής χρειάζεται να μεταφέρει δεδομένα πέρα ​​δώθε μεταξύ αυτών των δύο δωματίων και απαιτεί χρόνο και ενέργεια και μειώνει την απόδοση.

Ο εγκέφαλος, αντίθετα, συνδυάζει τόσο τον υπολογισμό όσο και τη μνήμη σε ένα διαμέρισμα στούντιο. Οι ενώσεις του που μοιάζουν με μανιτάρια, που ονομάζονται συνάψεις, σχηματίζουν νευρωνικά δίκτυα και αποθηκεύουν μνήμες στην ίδια θέση. Οι συνάψεις είναι εξαιρετικά ευέλικτες, προσαρμόζοντας πόσο ισχυρά συνδέονται με άλλους νευρώνες με βάση την αποθηκευμένη μνήμη και τις νέες γνώσεις - μια ιδιότητα που ονομάζεται «βαρίδια». Ο εγκέφαλός μας προσαρμόζεται γρήγορα σε ένα συνεχώς μεταβαλλόμενο περιβάλλον προσαρμόζοντας αυτά τα συναπτικά βάρη.

Η IBM ήταν στην πρώτη γραμμή του σχεδιασμού αναλογικά τσιπ που μιμούνται υπολογισμός του εγκεφάλου. Μια καινοτομία μπήκε στο 2016, όταν εισήγαγαν ένα τσιπ βασισμένο σε ένα συναρπαστικό υλικό που συνήθως βρίσκεται σε επανεγγράψιμα CD. Το υλικό αλλάζει τη φυσική του κατάσταση και το σχήμα του αλλάζει από μια χυδαία σούπα σε κρυστάλλινες δομές όταν ζυμώνεται με ηλεκτρισμό - παρόμοιο με ένα ψηφιακό 0 και 1.

Εδώ είναι το κλειδί: το τσιπ μπορεί να υπάρχει και σε υβριδική κατάσταση. Με άλλα λόγια, παρόμοια με μια βιολογική σύναψη, η τεχνητή μπορεί να κωδικοποιήσει μια μυριάδα διαφορετικών βαρών —όχι μόνο δυαδικά— επιτρέποντάς της να συγκεντρώσει πολλαπλούς υπολογισμούς χωρίς να χρειάζεται να μετακινήσει ούτε ένα κομμάτι δεδομένων.

Jekyll και Hyde

Η νέα μελέτη βασίστηκε σε προηγούμενες εργασίες χρησιμοποιώντας επίσης υλικά αλλαγής φάσης. Τα βασικά στοιχεία είναι τα "πλακίδια μνήμης". Κάθε ένα είναι γεμάτο με χιλιάδες υλικά αλλαγής φάσης σε μια δομή πλέγματος. Τα πλακάκια επικοινωνούν εύκολα μεταξύ τους.

Κάθε πλακίδιο ελέγχεται από έναν προγραμματιζόμενο τοπικό ελεγκτή, επιτρέποντας στην ομάδα να τροποποιήσει το στοιχείο —όπως ένας νευρώνας— με ακρίβεια. Το τσιπ αποθηκεύει επιπλέον εκατοντάδες εντολές στη σειρά, δημιουργώντας ένα είδος μαύρου κουτιού που τους επιτρέπει να ανατρέξουν και να αναλύσουν την απόδοσή του.

Συνολικά, το τσιπ περιείχε 35 εκατομμύρια δομές μνήμης αλλαγής φάσης. Οι συνδέσεις ανήλθαν σε 45 εκατομμύρια συνάψεις - πολύ μακριά από τον ανθρώπινο εγκέφαλο, αλλά πολύ εντυπωσιακές σε ένα τσιπ 14 νανομέτρων.

Αυτοί οι αριθμοί που μουδιάζουν το μυαλό παρουσιάζουν πρόβλημα για την προετοιμασία του τσιπ AI: υπάρχουν απλώς πάρα πολλές παράμετροι για αναζήτηση. Η ομάδα αντιμετώπισε το πρόβλημα με το τι ισοδυναμεί με ένα νηπιαγωγείο τεχνητής νοημοσύνης, προγραμματίζοντας εκ των προτέρων τα συναπτικά βάρη πριν ξεκινήσουν οι υπολογισμοί. (Είναι λίγο σαν να καρυκεύουμε ένα νέο μαντεμένιο τηγάνι πριν το μαγειρέψουμε με αυτό.)

«Προσαρμόσουν τις τεχνικές εκπαίδευσης δικτύου έχοντας κατά νου τα οφέλη και τους περιορισμούς του υλικού» και στη συνέχεια έθεσαν τα βάρη για τα βέλτιστα αποτελέσματα, εξήγησε ο Wang, ο οποίος δεν συμμετείχε στη μελέτη.

πέτυχε. Σε μια αρχική δοκιμή, το τσιπ αναδεύτηκε εύκολα με 12.4 τρισεκατομμύρια λειτουργίες ανά δευτερόλεπτο για κάθε watt ισχύος. Η κατανάλωση ενέργειας είναι «δεκάδες ή και εκατοντάδες φορές υψηλότερη από ό,τι για τις πιο ισχυρές CPU και GPU», είπε ο Wang.

Το τσιπ κάρφωσε μια βασική υπολογιστική διαδικασία που διέπει τα βαθιά νευρωνικά δίκτυα με λίγα μόνο κλασικά στοιχεία υλικού στα πλακίδια μνήμης. Αντίθετα, οι παραδοσιακοί υπολογιστές χρειάζονται εκατοντάδες ή χιλιάδες τρανζίστορ (μια βασική μονάδα που εκτελεί υπολογισμούς).

Συζήτηση για την πόλη

Στη συνέχεια, η ομάδα προκάλεσε το τσιπ σε δύο εργασίες αναγνώρισης ομιλίας. Το καθένα τόνισε μια διαφορετική πτυχή του τσιπ.

Η πρώτη δοκιμή ήταν η ταχύτητα όταν αμφισβητήθηκε με μια σχετικά μικρή βάση δεδομένων. Χρησιμοποιώντας την Εντολές ομιλίας Google βάση δεδομένων, η εργασία απαιτούσε από το τσιπ AI να εντοπίσει 12 λέξεις-κλειδιά σε ένα σύνολο περίπου 65,000 κλιπ χιλιάδων ανθρώπων που μιλούσαν 30 σύντομες λέξεις (το «μικρό» είναι σχετικό στο σύμπαν βαθιάς μάθησης). Όταν χρησιμοποιείτε ένα αποδεκτό σημείο αναφοράς—MLPerf— το τσιπ απέδωσε επτά φορές πιο γρήγορα σε σχέση με την προηγούμενη εργασία.

Το τσιπ έλαμψε επίσης όταν προκλήθηκε με μια μεγάλη βάση δεδομένων, Librispeech. Το σώμα περιέχει πάνω από 1,000 ώρες αναγνωσμένης αγγλικής ομιλίας που χρησιμοποιείται συνήθως για την εκπαίδευση της τεχνητής νοημοσύνης για την ανάλυση ομιλίας και την αυτόματη μεταγραφή ομιλίας σε κείμενο.

Συνολικά, η ομάδα χρησιμοποίησε πέντε τσιπ για να κωδικοποιήσει τελικά περισσότερα από 45 εκατομμύρια βάρη χρησιμοποιώντας δεδομένα από 140 εκατομμύρια συσκευές αλλαγής φάσης. Όταν έρχεται σε αντίθεση με το συμβατικό υλικό, το τσιπ ήταν περίπου 14 φορές πιο ενεργειακά αποδοτικό - επεξεργαζόταν σχεδόν 550 δείγματα κάθε δευτερόλεπτο ανά watt κατανάλωσης ενέργειας - με ποσοστό σφάλματος λίγο μεγαλύτερο από 9 τοις εκατό.

Αν και εντυπωσιακά, τα αναλογικά τσιπ είναι ακόμα στα σπάργανα. Δείχνουν «τεράστια υπόσχεση για την καταπολέμηση των προβλημάτων βιωσιμότητας που σχετίζονται με την τεχνητή νοημοσύνη», είπε ο Wang, αλλά η πορεία προς τα εμπρός απαιτεί την εκκαθάριση μερικών ακόμη εμποδίων.

Ένας παράγοντας είναι η τελειοποίηση της σχεδίασης της ίδιας της τεχνολογίας μνήμης και των γύρω εξαρτημάτων της—δηλαδή ο τρόπος με τον οποίο είναι τοποθετημένο το τσιπ. Το νέο τσιπ της IBM δεν περιέχει ακόμη όλα τα απαραίτητα στοιχεία. Ένα επόμενο κρίσιμο βήμα είναι η ενσωμάτωση των πάντων σε ένα μόνο τσιπ διατηρώντας παράλληλα την αποτελεσματικότητά του.

Από την πλευρά του λογισμικού, θα χρειαστούμε επίσης αλγόριθμους που προσαρμόζονται ειδικά σε αναλογικά τσιπ και λογισμικό που μεταφράζει εύκολα τον κώδικα σε γλώσσα που μπορούν να κατανοήσουν τα μηχανήματα. Καθώς αυτά τα τσιπ γίνονται όλο και πιο εμπορικά βιώσιμα, η ανάπτυξη αποκλειστικών εφαρμογών θα κρατήσει ζωντανό το όνειρο για ένα αναλογικό τσιπ στο μέλλον.

«Χρειάστηκαν δεκαετίες για να διαμορφωθούν τα υπολογιστικά οικοσυστήματα στα οποία οι CPU και οι GPU λειτουργούν τόσο επιτυχημένα», δήλωσε ο Wang. «Και πιθανώς θα χρειαστούν χρόνια για να δημιουργηθεί το ίδιο είδος περιβάλλοντος για την αναλογική τεχνητή νοημοσύνη».

Image Credit: Ryan Lavine για την IBM

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Αυτοκίνητο / EVs, Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• ChartPrime. Ανεβάστε το Trading Game σας με το ChartPrime. Πρόσβαση εδώ.
• BlockOffsets. Εκσυγχρονισμός της περιβαλλοντικής αντιστάθμισης ιδιοκτησίας. Πρόσβαση εδώ.
• πηγή: https://singularityhub.com/2023/08/25/ibms-brain-inspired-analog-chip-aims-to-make-ai-more-sustainable/