Η αμερικανική startup hardware Cerebras ισχυρίζεται ότι έχει εκπαιδεύσει το μεγαλύτερο μοντέλο τεχνητής νοημοσύνης σε μία μόνο συσκευή που τροφοδοτείται από το μεγαλύτερο τσιπ Wafer Scale Engine 2 στον κόσμο στο μέγεθος ενός πιάτου.

«Χρησιμοποιώντας την Cerebras Software Platform (CSoft), οι πελάτες μας μπορούν εύκολα να εκπαιδεύσουν μοντέλα γλώσσας GPT τελευταίας τεχνολογίας (όπως GPT-3 και GPT-J) με έως και 20 δισεκατομμύρια παραμέτρους σε ένα μόνο σύστημα CS-2, " η εταιρία ισχυρίστηκε αυτή την εβδομάδα. "Εκτελώντας σε ένα μόνο CS-2, αυτά τα μοντέλα χρειάζονται λίγα λεπτά για να ρυθμιστούν και οι χρήστες μπορούν να μετακινούνται γρήγορα μεταξύ μοντέλων με λίγα μόνο πλήκτρα."

Το CS-2 διαθέτει τεράστιους 850,000 πυρήνες και 40 GB ενσωματωμένης μνήμης ικανή να φτάσει τα 20 PB/sec εύρος ζώνης μνήμης. Οι προδιαγραφές άλλων τύπων επιταχυντών τεχνητής νοημοσύνης και GPU είναι ωχρές σε σύγκριση, πράγμα που σημαίνει ότι οι μηχανικοί μηχανικής εκμάθησης πρέπει να εκπαιδεύσουν τεράστια μοντέλα τεχνητής νοημοσύνης με δισεκατομμύρια παραμέτρους σε περισσότερους διακομιστές.

Παρόλο που η Cerebras έχει καταφέρει προφανώς να εκπαιδεύσει το μεγαλύτερο μοντέλο σε μία μόνο συσκευή, θα εξακολουθεί να αγωνίζεται να κερδίσει μεγάλους πελάτες τεχνητής νοημοσύνης. Τα μεγαλύτερα συστήματα νευρωνικών δικτύων περιέχουν εκατοντάδες δισεκατομμύρια έως τρισεκατομμύρια παραμέτρους αυτές τις μέρες. Στην πραγματικότητα, θα χρειάζονταν πολλά περισσότερα συστήματα CS-2 για την εκπαίδευση αυτών των μοντέλων. 

Οι μηχανικοί μηχανικής μάθησης πιθανότατα θα αντιμετωπίσουν παρόμοιες προκλήσεις με εκείνες που ήδη αντιμετωπίζουν όταν διανέμουν εκπαίδευση σε πολυάριθμες μηχανές που περιέχουν GPU ή TPU – οπότε γιατί να στραφούν σε ένα λιγότερο οικείο σύστημα υλικού που δεν έχει τόση υποστήριξη λογισμικού;

Έκπληξη, έκπληξη: Το ρομπότ που εκπαιδεύτηκε σε δεδομένα Διαδικτύου ήταν ρατσιστικό, σεξιστικό

Ένα ρομπότ που εκπαιδεύτηκε σε ένα ελαττωματικό σύνολο δεδομένων που αφαιρέθηκε από το Διαδίκτυο παρουσίασε ρατσιστικές και σεξιστικές συμπεριφορές σε ένα πείραμα.

Ερευνητές από το Πανεπιστήμιο Τζονς Χόπκινς, το Ινστιτούτο Τεχνολογίας της Τζόρτζια και το Πανεπιστήμιο της Ουάσιγκτον ανέθεσαν σε ένα ρομπότ να βάλει μπλοκ σε ένα κουτί. Τα μπλοκ ήταν επικολλημένα με εικόνες ανθρώπινων προσώπων. Το ρομπότ έλαβε οδηγίες να συσκευάσει το μπλοκ που πίστευε ότι ήταν γιατρός, νοικοκύρης ή εγκληματίας σε ένα χρωματιστό κουτί.

Το ρομπότ τροφοδοτήθηκε από ένα μοντέλο όρασης υπολογιστή βασισμένο σε CLIP, το οποίο χρησιμοποιείται συχνά σε συστήματα κειμένου σε εικόνα. Αυτά τα μοντέλα εκπαιδεύονται για να μάθουν την οπτική αντιστοίχιση ενός αντικειμένου με την περιγραφή της λέξης του. Έχοντας μια λεζάντα, μπορεί στη συνέχεια να δημιουργήσει μια εικόνα που ταιριάζει με την πρόταση. Δυστυχώς, αυτά τα μοντέλα παρουσιάζουν συχνά τις ίδιες προκαταλήψεις που βρίσκονται στα δεδομένα εκπαίδευσής τους. 

Για παράδειγμα, το ρομπότ ήταν πιο πιθανό να ταυτίσει τα μπλοκ με τα πρόσωπα των γυναικών ως νοικοκυρές ή να συσχετίσει τα μαύρα πρόσωπα ως εγκληματίες περισσότερο από τους λευκούς άνδρες. Η συσκευή φάνηκε επίσης να ευνοεί τις γυναίκες και εκείνες με πιο σκούρο δέρμα λιγότερο από τους λευκούς και τους Ασιάτες άνδρες. Αν και η έρευνα είναι απλώς ένα πείραμα, η ανάπτυξη ρομπότ εκπαιδευμένων σε ελαττωματικά δεδομένα θα μπορούσε να έχει συνέπειες στην πραγματική ζωή.

«Σε ένα σπίτι ίσως το ρομπότ παίρνει τη λευκή κούκλα όταν ένα παιδί ζητά την όμορφη κούκλα», η Βίκυ Ζενγκ, μια μεταπτυχιακή φοιτήτρια που σπουδάζει επιστήμη υπολογιστών στο Johns Hopkins είπε. «Ή ίσως σε μια αποθήκη όπου υπάρχουν πολλά προϊόντα με μοντέλα στο κουτί, θα μπορούσατε να φανταστείτε το ρομπότ να πιάνει τα προϊόντα με τα λευκά πρόσωπα πιο συχνά».

Κυκλοφόρησε το μεγαλύτερο μοντέλο γλώσσας ανοιχτού κώδικα

Η ρωσική διαδικτυακή biz Yandex δημοσίευσε τον κώδικα για ένα μοντέλο γλώσσας 100 δισεκατομμυρίων παραμέτρων αυτή την εβδομάδα.

Το σύστημα, με όνομα YaLM, εκπαιδεύτηκε σε 1.7 TB δεδομένων κειμένου που αφαιρέθηκαν από το Διαδίκτυο και απαιτήθηκαν 800 GPU Nvidia A100 για υπολογισμό. Είναι ενδιαφέρον ότι το κωδικός δημοσιεύτηκε με την άδεια Apache 2.0 που σημαίνει ότι το μοντέλο μπορεί να χρησιμοποιηθεί για ερευνητικούς και εμπορικούς σκοπούς.

Οι ακαδημαϊκοί και οι προγραμματιστές καλωσόρισαν τις προσπάθειες αναπαραγωγής και ανοιχτού κώδικα μεγάλων γλωσσικών μοντέλων. Αυτά τα συστήματα είναι δύσκολο να κατασκευαστούν και συνήθως μόνο μεγάλες εταιρείες τεχνολογίας έχουν τους πόρους και την τεχνογνωσία για να τα αναπτύξουν. Συχνά είναι ιδιόκτητα και χωρίς πρόσβαση είναι δύσκολο να μελετηθούν.

«Πιστεύουμε πραγματικά ότι η παγκόσμια τεχνολογική πρόοδος είναι δυνατή μόνο μέσω της συνεργασίας», δήλωσε εκπρόσωπος της Yandex Το μητρώο. «Οι μεγάλες εταιρείες τεχνολογίας οφείλουν πολλά στα ανοιχτά αποτελέσματα των ερευνητών. Ωστόσο, τα τελευταία χρόνια, οι προηγμένες τεχνολογίες NLP, συμπεριλαμβανομένων των μεγάλων γλωσσικών μοντέλων, έχουν γίνει απρόσιτες στην επιστημονική κοινότητα, καθώς οι πόροι για εκπαίδευση είναι διαθέσιμοι μόνο σε μεγάλες τεχνολογίες».

«Ερευνητές και προγραμματιστές σε όλο τον κόσμο χρειάζονται πρόσβαση σε αυτές τις λύσεις. Χωρίς νέα έρευνα, η ανάπτυξη θα μειωθεί. Ο μόνος τρόπος για να αποφευχθεί αυτό είναι η κοινή χρήση βέλτιστων πρακτικών με την κοινότητα. Με το να μοιραζόμαστε το γλωσσικό μας μοντέλο, υποστηρίζουμε τον ρυθμό ανάπτυξης του παγκόσμιου NLP».

Το Instagram θα χρησιμοποιήσει την τεχνητή νοημοσύνη για να επαληθεύσει την ηλικία των χρηστών

Η μητρική επιχείρηση του Instagram, η Meta, δοκιμάζει νέες μεθόδους για να επαληθεύσει ότι οι χρήστες της είναι 18 ετών και άνω, συμπεριλαμβανομένης της χρήσης τεχνητής νοημοσύνης για την ανάλυση φωτογραφιών.

Έρευνες και ανέκδοτα στοιχεία έχουν δείξει ότι η χρήση των μέσων κοινωνικής δικτύωσης μπορεί να είναι επιβλαβής για τα παιδιά και τους νεαρούς εφήβους. Οι χρήστες στο Instagram παρέχουν την ημερομηνία γέννησής τους για να επιβεβαιώσουν ότι είναι αρκετά μεγάλοι για να χρησιμοποιούν την εφαρμογή. Πρέπει να είστε τουλάχιστον 13 ετών και υπάρχουν περισσότεροι περιορισμοί για άτομα κάτω των 18 ετών.

Τώρα, η μητρική της εταιρεία Meta δοκιμάζει τρεις διαφορετικούς τρόπους για να επαληθεύσει ότι κάποιος είναι άνω των 18 ετών εάν αλλάξει την ημερομηνία γέννησής του. 

«Εάν κάποιος επιχειρήσει να επεξεργαστεί την ημερομηνία γέννησής του στο Instagram από ηλικία κάτω των 18 έως 18 ετών και άνω, θα του ζητήσουμε να επαληθεύσει την ηλικία του χρησιμοποιώντας μία από τις τρεις επιλογές: να ανεβάσει την ταυτότητά του, να τραβήξει μια selfie βίντεο ή να ρωτήσει κοινούς φίλους για να επαληθεύσουμε την ηλικία τους», η εταιρεία ανακοίνωσε αυτή την εβδομάδα.

Η Meta είπε ότι είχε συνεργαστεί με τη Yoti, μια πλατφόρμα ψηφιακής ταυτότητας, για να αναλύσει τις ηλικίες των ανθρώπων. Οι εικόνες από βίντεο selfie θα εξεταστούν από το λογισμικό της Yoti για να προβλέψει την ηλικία κάποιου. Ο Meta είπε ότι ο Yoti χρησιμοποιεί ένα «σύνολο δεδομένων για ανώνυμες εικόνες διαφορετικών ανθρώπων από όλο τον κόσμο».

Το GPT-4chan ήταν κακή ιδέα, λένε οι ερευνητές

Εκατοντάδες ακαδημαϊκοί έχουν υπογράψει επιστολή καταδίκης GPT-4chan, το μοντέλο γλώσσας AI εκπαιδεύτηκε σε πάνω από 130 εκατομμύρια δημοσιεύσεις στον περίφημο τοξικό πίνακα μηνυμάτων στο Διαδίκτυο 4chan.

«Τα μεγάλα γλωσσικά μοντέλα, και γενικότερα τα βασικά μοντέλα, είναι ισχυρές τεχνολογίες που ενέχουν δυνητικό κίνδυνο σημαντικής βλάβης», επιστολή, με αιχμή του δόρατος δύο καθηγητές στο Πανεπιστήμιο του Στάνφορντ, ξεκίνησε. «Δυστυχώς, εμείς, η κοινότητα της τεχνητής νοημοσύνης, δεν έχουμε επί του παρόντος κοινοτικούς κανόνες σχετικά με την υπεύθυνη ανάπτυξη και ανάπτυξή τους. Ωστόσο, είναι σημαντικό για τα μέλη της κοινότητας της τεχνητής νοημοσύνης να καταδικάσουν ξεκάθαρα ανεύθυνες πρακτικές».

Αυτοί οι τύποι συστημάτων εκπαιδεύονται σε τεράστιες ποσότητες κειμένου και μαθαίνουν να μιμούνται τα δεδομένα. Τροφοδοτήστε το GPT-4chan κάτι που μοιάζει με συνομιλία μεταξύ χρηστών του Διαδικτύου και θα συνεχίσει να προσθέτει περισσότερα ψεύτικα κουτσομπολιά στη μίξη. Το 4chan είναι διαβόητο για τους χαλαρούς κανόνες εποπτείας περιεχομένου – οι χρήστες είναι ανώνυμοι και μπορούν να δημοσιεύουν οτιδήποτε, αρκεί να μην είναι παράνομο. Το GPT-4chan, χωρίς έκπληξη, άρχισε επίσης να εκτοξεύει κείμενο με παρόμοια επίπεδα τοξικότητας και περιεχομένου. Όταν τέθηκε χαλαρό στο 4chan, ορισμένοι χρήστες δεν ήταν σίγουροι αν ήταν bot ή όχι.

Τώρα, οι ειδικοί επέκριναν τον δημιουργό του, τον YouTuber Yannic Kilcher, επειδή ανέπτυξε το μοντέλο ανεύθυνα. «Είναι δυνατό να φανταστεί κανείς μια λογική περίπτωση για την εκπαίδευση ενός γλωσσικού μοντέλου σε τοξική ομιλία – για παράδειγμα, για τον εντοπισμό και την κατανόηση της τοξικότητας στο διαδίκτυο ή για γενική ανάλυση. Ωστόσο, η απόφαση του Kilcher να αναπτύξει αυτό το bot δεν πληροί κανένα τεστ λογικής. Οι πράξεις του αξίζουν μομφής. Υπονομεύει την υπεύθυνη πρακτική της επιστήμης της τεχνητής νοημοσύνης», καταλήγει η επιστολή. ®