Fangen Sie an zu reden Ellie Pavlick über ihre Arbeit – auf der Suche nach Beweisen für das Verständnis innerhalb großer Sprachmodelle (LLMs) – und es klingt vielleicht, als würde sie sich darüber lustig machen. Der Ausdruck „handgewellt“ ist ihr Favorit, und wenn sie „Bedeutung“ oder „Begründung“ erwähnt, ist sie oft mit auffälligen Anführungszeichen versehen. Dies ist nur Pavlicks Art, ehrlich zu bleiben. Als Informatikerin, die Sprachmodelle an der Brown University und Google DeepMind studiert, weiß sie, dass man sie nur dann ernst nehmen kann, wenn man die inhärente Weichheit natürlicher Sprache berücksichtigt. „Das ist eine wissenschaftliche Disziplin – und sie ist ein bisschen heikel“, sagte sie.

Präzision und Nuancen existieren in Pavlicks Welt seit ihrer Jugend nebeneinander, als sie Mathematik und Naturwissenschaften mochte, „sich aber immer als eher kreativer Typ identifizierte“. Als Studentin erlangte sie Abschlüsse in Wirtschaftswissenschaften und Saxofonspiel, bevor sie in Informatik promovierte, einem Fachgebiet, in dem sie sich immer noch wie eine Außenseiterin fühlt. „Es gibt viele Leute, die denken, dass intelligente Systeme wie Computercode aussehen werden: ordentlich und praktisch wie viele Systeme, die wir gut verstehen können“, sagte sie. „Ich glaube einfach, dass die Antworten kompliziert sind. Wenn ich eine einfache Lösung habe, bin ich mir ziemlich sicher, dass sie falsch ist. Und ich möchte nicht falsch liegen.“

Eine zufällige Begegnung mit einem Informatiker, der sich zufällig mit der Verarbeitung natürlicher Sprache beschäftigte, veranlasste Pavlick dazu, ihre Doktorarbeit zu beginnen und sich mit der Frage zu befassen, wie Computer Semantik oder Bedeutung in Sprache kodieren können. „Ich glaube, es hat einen gewissen Juckreiz geweckt“, sagte sie. „Es befasst sich mit der Philosophie und das passt zu vielen Dingen, an denen ich derzeit arbeite.“ Einer von Pavlicks Hauptforschungsbereichen konzentriert sich nun auf „Erdung“ – die Frage, ob die Bedeutung von Wörtern von Dingen abhängt, die unabhängig von der Sprache selbst existieren, wie etwa Sinneswahrnehmungen, soziale Interaktionen oder sogar andere Gedanken. Sprachmodelle werden vollständig auf Text trainiert und bieten daher eine fruchtbare Plattform für die Untersuchung, wie wichtig Erdung für die Bedeutung ist. Aber die Frage selbst beschäftigt Linguisten und andere Denker seit Jahrzehnten.

„Das sind nicht nur ‚technische‘ Probleme“, sagte Pavlick. „Sprache ist so groß, dass es sich für mich so anfühlt, als ob sie alles umfasst.“

Wie viel sprach mit Pavlick darüber, wie man aus Philosophie Wissenschaft macht, was „Bedeutung“ bedeutet und wie wichtig unsexy Ergebnisse sind. Das Interview wurde aus Gründen der Klarheit gekürzt und bearbeitet.

Was bedeutet „Verstehen“ oder „Bedeutung“ empirisch? Was genau suchen Sie?

Als ich mein Forschungsprogramm bei Brown begann, kamen wir zu dem Schluss, dass Bedeutung in irgendeiner Weise Konzepte beinhaltet. Mir ist klar, dass dies eine theoretische Verpflichtung ist, die nicht jeder eingeht, aber sie scheint intuitiv zu sein. Wenn Sie das Wort „Apfel“ für die Bedeutung „Apfel“ verwenden, benötigen Sie den Begriff „Apfel“. Das muss eine Sache sein, egal ob man das Wort dazu verwendet oder nicht. Das ist es, was es bedeutet, „eine Bedeutung zu haben“: Es muss das Konzept vorhanden sein, etwas, das man verbalisiert.

Ich möchte Konzepte im Modell finden. Ich möchte etwas, das ich innerhalb des neuronalen Netzwerks erfassen kann, einen Beweis dafür, dass es etwas gibt, das „Apfel“ intern darstellt und das es ermöglicht, immer mit demselben Wort darauf zu verweisen. Denn es scheint eine innere Struktur zu geben, die nicht zufällig und willkürlich ist. Sie können diese kleinen Nuggets wohldefinierter Funktionen finden, die zuverlässig etwas tun.

Ich habe mich darauf konzentriert, diese interne Struktur zu charakterisieren. Welche Form hat es? Es kann sich um eine Teilmenge der Gewichte innerhalb des neuronalen Netzwerks handeln, oder um eine Art lineare algebraische Operation über diese Gewichte, eine Art geometrische Abstraktion. Aber es muss eine kausale Rolle [im Verhalten des Modells] spielen: Es ist mit diesen Eingaben verbunden, aber nicht mit denen, und mit diesen Ausgaben und nicht mit denen.

Das fühlt sich an wie etwas, das man „Sinn“ nennen könnte. Es geht darum herauszufinden, wie wir diese Struktur finden und Beziehungen aufbauen können, damit wir sie, sobald wir alles eingerichtet haben, auf Fragen wie „Weiß es, was ‚Apfel‘ bedeutet?“ anwenden können.

Haben Sie Beispiele für diese Struktur gefunden?

Ja, eines Folge Dabei handelt es sich um den Abruf einer Information durch ein Sprachmodell. Wenn Sie das Modell fragen: „Was ist die Hauptstadt von Frankreich“, muss es „Paris“ sagen und „Was ist die Hauptstadt von Polen“ sollte „Warschau“ zurückgeben. Es könnte sich sehr leicht alle diese Antworten merken und sie könnten überall [innerhalb des Modells] verstreut sein – es gibt keinen wirklichen Grund, warum es eine Verbindung zwischen diesen Dingen haben muss.

Stattdessen haben wir eine kleine Stelle im Modell gefunden, an der diese Verbindung im Grunde auf einen kleinen Vektor reduziert wird. Wenn Sie es zu „Was ist die Hauptstadt Frankreichs“ hinzufügen, wird „Paris“ angezeigt. und derselbe Vektor wird, wenn Sie fragen „Was ist die Hauptstadt Polens“, „Warschau“ abrufen. Es ist wie dieser systematische „Hauptstadt-Stadt abrufen“-Vektor.

Das ist eine wirklich aufregende Erkenntnis, denn es scheint, als ob [das Modell] diese kleinen Konzepte auf den Punkt bringt und dann allgemeine Algorithmen darauf anwendet. Und obwohl wir uns mit diesen wirklich [einfachen] Fragen befassen, geht es darum, Beweise für diese Rohstoffe zu finden, die das Modell verwendet. In diesem Fall wäre es einfacher, mit dem Auswendiglernen davonzukommen – in vielerlei Hinsicht sind diese Netzwerke dafür konzipiert. Stattdessen zerlegt es [Informationen] in Teile und „Begründungen“ dazu. Und wir hoffen, dass wir, wenn wir bessere experimentelle Designs entwickeln, vielleicht etwas Ähnliches für kompliziertere Arten von Konzepten finden.

In welcher Beziehung steht die Erdung zu diesen Darstellungen?

Die Art und Weise, wie Menschen Sprache lernen, basiert auf einer Menge nichtsprachlicher Eingaben: Ihren Körperempfindungen, Ihren Emotionen, ob Sie hungrig sind, was auch immer. Das gilt als wirklich wichtig für die Bedeutung.

Aber es gibt auch andere Vorstellungen von Erdung, die mehr mit internen Repräsentationen zu tun haben. Es gibt Wörter, die nicht offensichtlich mit der physischen Welt verbunden sind, aber dennoch eine Bedeutung haben. Ein Wort wie „Demokratie“ ist ein beliebtes Beispiel. Es ist eine Sache in deinem Kopf: Ich kann über Demokratie nachdenken, ohne darüber zu reden. Die Grundlage könnte also in der Sprache zu diesem Ding liegen, zu dieser internen Repräsentation.

Aber Sie argumentieren, dass sogar Dinge, die eher äußerlich sind, wie Farbe, immer noch in internen „konzeptuellen“ Darstellungen verankert sein könnten, ohne sich auf Wahrnehmungen zu verlassen. Wie würde das funktionieren?

Nun, ein Sprachmodell hat keine Augen, oder? Es „weiß“ nichts über Farben. Vielleicht erfasst es also etwas Allgemeineres, etwa das Verständnis der Beziehungen zwischen ihnen. Ich weiß, dass ich Lila bekomme, wenn ich Blau und Rot kombiniere; Solche Beziehungen könnten diese interne [Grund-]Struktur definieren.

Wir können einem LLM Farbbeispiele geben, indem wir RGB-Codes [Zahlenfolgen, die Farben darstellen] verwenden. Wenn Sie „OK, hier ist Rot“ sagen und ihm den RGB-Code für Rot und „Hier ist Blau“ mit dem RGB-Code für Blau geben und dann „Sag mir, was Lila ist“ sagen, sollte der RGB-Code dafür generiert werden lila. Diese Zuordnung sollte ein guter Hinweis darauf sein, dass die interne Struktur des Modells solide ist – es fehlen die Wahrnehmungen [für Farbe], aber die konzeptionelle Struktur ist vorhanden.

Das Schwierige daran ist, dass [das Modell] sich einfach RGB-Codes merken konnte, die sich überall in seinen Trainingsdaten befinden. Also „drehten“ wir alle Farben [von ihren tatsächlichen RGB-Werten weg]: Wir teilten dem LLM mit, dass das Wort „Gelb“ mit dem RGB-Code für Grün verknüpft war, und so weiter. Das Modell schnitt gut ab: Wenn Sie nach Grün fragten, erhielten Sie die gedrehte Version des RGB-Codes. Das deutet darauf hin, dass die internen Farbdarstellungen eine gewisse Konsistenz aufweisen. Es geht darum, das Wissen über ihre Beziehungen anzuwenden und nicht nur auswendig zu lernen.

Das ist der springende Punkt bei der Erdung. Die Zuordnung eines Namens zu einer Farbe ist willkürlich. Es geht mehr um die Beziehungen zwischen ihnen. Das war also aufregend.

Wie können diese philosophisch klingenden Fragen wissenschaftlich sein?

Kürzlich habe ich von einem Gedankenexperiment erfahren: Was wäre, wenn der Ozean auf den Sand schwappte und sich zurückzog und die Muster ein Gedicht erzeugten? Hat das Gedicht eine Bedeutung? Das scheint super abstrakt zu sein, und Sie können diese lange philosophische Debatte führen.

Das Schöne an Sprachmodellen ist, dass wir kein Gedankenexperiment benötigen. Es ist nicht so: „Wäre das oder das theoretisch intelligent?“ Es geht nur darum: Ist dieses Ding intelligent? Es wird wissenschaftlich und empirisch.

Manchmal sind die Leute abweisend; da ist das „stochastische Papageien" Ansatz. Ich denke, es kommt von der Angst, dass die Leute diese Dinge überbewerten – was wir sehen. Und um das zu korrigieren, sagen die Leute: „Nein, das ist alles nur Schwindel.“ Das ist Schall und Rauch.“

Es ist ein bisschen ein schlechter Dienst. Wir sind auf etwas ziemlich Aufregendes und ganz Neues gestoßen, und es lohnt sich, es gründlich zu verstehen. Das ist eine riesige Chance, die wir nicht ungenutzt lassen sollten, denn wir haben Angst, die Modelle zu überinterpretieren.

Natürlich Du'Habe auch produziert Forschungsprojekte um genau diese Art der Überinterpretation zu entlarven.

Diese Arbeit, bei der die Leute all die „oberflächlichen Heuristiken“ fanden, die Modelle nutzten [um Verständnis nachzuahmen] – das war sehr grundlegend für mein Erwachsenwerden als Wissenschaftler. Aber es ist kompliziert. Es ist so, als ob man den Sieg nicht zu früh verkünden sollte. Es gibt eine gewisse Skepsis oder Paranoia [in mir], dass eine Bewertung richtig gemacht wurde, selbst wenn ich weiß, dass ich sie sehr sorgfältig entworfen habe!

Das gehört also dazu: nicht überfordern. Ein weiterer Teil ist, dass man, wenn man sich mit diesen [Sprachmodell-]Systemen beschäftigt, weiß, dass sie nicht auf menschlicher Ebene sind – die Art und Weise, wie sie Dinge lösen, ist nicht so intelligent, wie es scheint.

Wenn in diesem Bereich so viele grundlegende Methoden und Begriffe zur Debatte stehen, wie misst man dann überhaupt den Erfolg?

Was wir als Wissenschaftler meiner Meinung nach suchen, ist eine präzise, ​​für den Menschen verständliche Beschreibung dessen, was uns am Herzen liegt – in diesem Fall Intelligenz. Und dann fügen wir Worte hinzu, die uns helfen, dorthin zu gelangen. Wir brauchen eine Art Arbeitsvokabular.

Aber das ist schwierig, denn dann kann man in diesen Semantikkampf geraten. Wenn Leute sagen: „Hat es eine Bedeutung: Ja oder Nein?“ Ich weiß nicht. Wir lenken das Gespräch auf die falsche Sache.

Was ich hier zu bieten versuche, ist eine präzise Beschreibung der Verhaltensweisen, die uns am Herzen liegen. Und an diesem Punkt ist es irgendwie strittig, ob man es „Bedeutung“ oder „Darstellung“ oder eines dieser geladenen Wörter nennen möchte. Der Punkt ist, dass eine Theorie oder ein vorgeschlagenes Modell auf dem Tisch liegt – lassen Sie uns das bewerten.

Wie kann sich die Forschung zu Sprachmodellen also zu diesem direkteren Ansatz entwickeln?

Die Art von tiefgreifenden Fragen, die ich wirklich gerne beantworten würde: Was sind die Bausteine ​​der Intelligenz? Wie sieht menschliche Intelligenz aus? Wie sieht Modellintelligenz aus? – sind wirklich wichtig. Aber ich denke, dass die Dinge, die in den nächsten 10 Jahren passieren müssen, nicht sehr sexy sind.

Wenn wir uns mit diesen [internen] Darstellungen befassen wollen, brauchen wir Methoden, um sie zu finden – Methoden, die wissenschaftlich fundiert sind. Wenn es richtig gemacht wird, wird dieser unauffällige, übertrieben methodische Kram keine Schlagzeilen liefern. Aber das ist das wirklich Wichtige, das es uns ermöglicht, diese tiefgreifenden Fragen richtig zu beantworten.

In der Zwischenzeit werden sich die Modelle ständig ändern. Es wird also eine Menge Dinge geben, die die Leute weiterhin veröffentlichen werden, als ob es „der Durchbruch“ wäre, aber das ist wahrscheinlich nicht der Fall. Meiner Meinung nach kommt es mir zu früh vor, um große Durchbrüche zu erzielen.

Die Leute studieren diese wirklich einfachen Aufgaben, wie zum Beispiel [ein zu vervollständigendes Sprachmodell] „John hat _______ etwas zu trinken gegeben“ und versuchen herauszufinden, ob dort „John“ oder „Mary“ steht. Das hat nicht das Gefühl eines Ergebnisses, das Intelligenz erklärt. Aber ich glaube tatsächlich, dass die Werkzeuge, die wir zur Beschreibung dieses langweiligen Problems verwenden, für die Beantwortung der tiefgreifenden Fragen zur Intelligenz unerlässlich sind.