Начни говорить с Элли Павлик о своей работе — поиске доказательств понимания в рамках больших языковых моделей (LLM) — и может показаться, что она подшучивает над этим. Фраза «взмах руки» является ее любимой, и если она упоминает «значение» или «рассуждение», это часто сопровождается заметными воздушными кавычками. Это просто способ Павлик сохранять честность. Будучи ученым-компьютерщиком, изучающим языковые модели в Университете Брауна и Google DeepMind, она знает, что принять присущую естественному языку мягкость — единственный способ отнестись к нему серьезно. «Это научная дисциплина, и она немного запутанная», — сказала она.

Точность и нюансы сосуществовали в мире Павлик с подросткового возраста, когда она увлекалась математикой и естественными науками, «но всегда считала себя более творческим типом». Будучи студенткой, она получила степень по экономике и игре на саксофоне, а затем получила докторскую степень в области компьютерных наук — области, в которой она до сих пор чувствует себя аутсайдером. «Многие люди [думают], что интеллектуальные системы будут во многом напоминать компьютерный код: аккуратно и удобно, как и многие системы, которые мы хорошо понимаем», — сказала она. «Я просто верю, что ответы сложны. Если у меня есть простое решение, я почти уверен, что оно неправильное. И я не хочу ошибаться».

Случайная встреча с ученым-компьютерщиком, который занимался обработкой естественного языка, побудила Павлик приступить к работе над докторской работой, изучающей, как компьютеры могут кодировать семантику или значение языка. «Я думаю, это устранило определенный зуд», — сказала она. «Это погружено в философию, и это соответствует многим вещам, над которыми я сейчас работаю». Теперь одно из основных направлений исследований Павлика сосредоточено на «обосновании» — вопросе о том, зависит ли значение слов от вещей, которые существуют независимо от самого языка, таких как сенсорное восприятие, социальные взаимодействия или даже другие мысли. Языковые модели полностью обучаются на тексте, поэтому они предоставляют плодотворную платформу для изучения того, как обоснование имеет значение для значения. Но сам вопрос занимал лингвистов и других мыслителей на протяжении десятилетий.

«Это не только «технические» проблемы», — сказал Павлик. «Язык настолько огромен, что мне кажется, что он охватывает все».

Quanta поговорил с Павликом о том, как сделать науку из философии, что означает «смысл» и о важности непривлекательных результатов. Интервью было сокращено и отредактировано для ясности.

Что означает «понимание» или «значение» эмпирически? Что конкретно вы ищете?

Когда я начинал свою исследовательскую программу в Брауне, мы решили, что значение каким-то образом включает в себя концепции. Я понимаю, что это теоретическое обязательство, которое принимают на себя не все, но оно кажется интуитивно понятным. Если вы используете слово «яблоко» для обозначения яблока, вам нужно понятие яблока. Это должно быть чем-то особенным, независимо от того, используете ли вы это слово для обозначения этого слова или нет. Вот что значит «иметь смысл»: должна быть концепция, что-то, что вы вербализуете.

Я хочу найти концепции в модели. Мне нужно что-то, что я могу уловить в нейронной сети, свидетельство того, что существует вещь, которая внутренне представляет слово «яблоко», что позволяет постоянно называть его одним и тем же словом. Потому что, кажется, действительно существует внутренняя структура, которая не является случайной и произвольной. Вы можете найти эти маленькие самородки четко определенных функций, которые надежно что-то делают.

Я сосредоточился на характеристике этой внутренней структуры. Какую форму он имеет? Это может быть какое-то подмножество весов в нейронной сети или какая-то линейная алгебраическая операция над этими весами, какая-то геометрическая абстракция. Но оно должно играть причинную роль [в поведении модели]: оно связано с этими входами, а не с теми, и с этими выходами, а не с теми.

Это похоже на то, что вы могли бы назвать «смыслом». Речь идет о том, чтобы выяснить, как найти эту структуру и установить связи, чтобы, как только мы все это установим, мы могли применить ее к таким вопросам, как «Знает ли оно, что означает слово «яблоко»?»

Нашли ли вы примеры такой структуры?

Да, один результат включает в себя случаи, когда языковая модель извлекает часть информации. Если вы спросите модель: «Какая столица Франции», она должна ответить «Париж», а ответ «Какая столица Польши» должен вернуть «Варшава». Он мог бы легко запомнить все эти ответы, и они могли бы быть разбросаны повсюду [внутри модели] — нет реальной причины, по которой ему нужна связь между этими вещами.

Вместо этого мы нашли небольшое место в модели, где эта связь сводится к одному маленькому вектору. Если вы добавите его в «Какова столица Франции», он получит «Париж»; и тот же вектор, если вы спросите «Какая столица Польши», вернет «Варшаву». Это похоже на систематический вектор «возвращения столицы».

Это действительно захватывающее открытие, потому что кажется, что [модель] сводит эти маленькие концепции, а затем применяет к ним общие алгоритмы. И хотя мы рассматриваем эти действительно [простые] вопросы, речь идет о поиске доказательств того, что модель использует необработанные ингредиенты. В этом случае было бы проще обойтись без запоминания — во многом именно для этого и созданы эти сети. Вместо этого он разбивает [информацию] на части и «рассуждает» о ней. И мы надеемся, что по мере того, как мы будем предлагать лучшие экспериментальные схемы, мы сможем найти что-то подобное и для более сложных концепций.

Как заземление связано с этими представлениями?

То, как люди изучают язык, основано на множестве нелингвистических данных: ваших телесных ощущениях, ваших эмоциях, голоде ли вы и т. д. Считается, что это действительно важно для смысла.

Но есть и другие понятия заземления, которые больше связаны с внутренними репрезентациями. Есть слова, которые явно не связаны с физическим миром, но все же имеют значение. Любимым примером является такое слово, как «демократия». Это у тебя в голове: я могу думать о демократии, не говоря о ней. Таким образом, основание может быть от языка к этой вещи, к этой внутренней репрезентации.

Но вы утверждаете, что даже более внешние вещи, такие как цвет, все равно могут быть привязаны к внутренним «концептуальным» представлениям, не полагаясь на восприятие. Как это будет работать?

Ну, у языковой модели нет глаз, верно? Он ничего не «знает» о цветах. Так что, возможно, [он отражает] что-то более общее, например, понимание отношений между ними. Я знаю, что, соединив синий и красный, я получу фиолетовый; такого рода отношения могут определять эту внутреннюю [заземляющую] структуру.

Мы можем предоставить примеры цвета LLM, используя коды RGB [строки чисел, обозначающие цвета]. Если вы скажете «ОК, вот красный» и дадите ему код RGB для красного цвета и «Вот синий» с кодом RGB для синего, а затем скажете «Скажите мне, что такое фиолетовый», он должен сгенерировать код RGB для фиолетовый. Это отображение должно быть хорошим показателем того, что внутренняя структура модели правильная — в ней отсутствуют восприятия [цвета], но концептуальная структура присутствует.

Сложность заключается в том, что [модель] может просто запомнить коды RGB, которые присутствуют во всех ее обучающих данных. Итак, мы «повернули» все цвета [от их реальных значений RGB]: мы сообщали LLM, что слово «желтый» связано с кодом RGB для зеленого цвета и так далее. Модель показала себя хорошо: когда вы запросили зеленый цвет, она выдала повернутую версию кода RGB. Это говорит о том, что существует некоторая согласованность во внутренних представлениях цвета. Это применение знаний об их отношениях, а не просто запоминание.

В этом весь смысл заземления. Сопоставление имени с цветом является произвольным. Это больше об отношениях между ними. Так что это было захватывающе.

Как эти философски звучащие вопросы могут быть научными?

Недавно я узнал о мысленном эксперименте: что, если океан нахлынет на песок, а когда он отступит, узоры породят стихотворение? Имеет ли стихотворение смысл? Это кажется суперабстрактным, и вы можете вести долгие философские дебаты.

Преимущество языковых моделей в том, что нам не нужен мысленный эксперимент. Это не так: «Теоретически, будет ли то-то и то-то разумным?» Просто: эта штука разумная? Оно становится научным и эмпирическим.

Иногда люди относятся пренебрежительно; есть «стохастические попугаи" подход. Я думаю, это [происходит] из-за страха, что люди будут уделять слишком много внимания этим вещам — что мы и видим. И чтобы исправить это, люди говорят: «Нет, это все притворство. Это дым и зеркала».

Это немного медвежья услуга. Мы натолкнулись на нечто весьма интересное и совершенно новое, и стоит в этом разобраться поглубже. Это огромная возможность, которую нельзя упускать из виду, потому что мы обеспокоены чрезмерной интерпретацией моделей.

Конечно ты"я также продюсировал исследованиям развенчание именно такого рода чрезмерной интерпретации.

Эта работа, в которой люди находили все «поверхностные эвристики», которые использовали модели [чтобы имитировать понимание], стала основой моего становления как ученого. Но это сложно. Это типа: не объявляй победу слишком рано. [Во мне] присутствует некоторый скептицизм или паранойя по поводу того, что оценка была проведена правильно, даже если я знаю, что разработал ее очень тщательно!

Так что это часть этого: не преувеличивать требования. Другая часть заключается в том, что если вы имеете дело с этими системами [языковой модели], вы знаете, что они не находятся на человеческом уровне — способ, которым они решают проблемы, не так разумен, как кажется.

Когда в этой области обсуждается так много основных методов и терминов, как вообще измерить успех?

Я думаю, что мы как учёные ищем точное, понятное человеку описание того, что нас волнует — в данном случае интеллекта. А затем мы добавляем слова, которые помогут нам туда добраться. Нам нужен какой-то рабочий словарь.

Но это сложно, потому что тогда вы можете вступить в битву семантики. Когда люди спрашивают: «Имеет ли это значение: да или нет?» Я не знаю. Мы переводим разговор не на ту тему.

Я пытаюсь предложить точное описание поведения, которое мы хотели объяснить. И в этот момент довольно спорно, хотите ли вы назвать это «значением», «репрезентацией» или каким-либо из этих многозначительных слов. Дело в том, что на столе лежит теория или предложенная модель — давайте оценим это.

Так как же исследования языковых моделей могут перейти к более прямому подходу?

На такие глубокие вопросы мне бы очень хотелось получить ответ: каковы строительные блоки интеллекта? Как выглядит человеческий интеллект? Как выглядит модельный интеллект? — действительно важны. Но я думаю, что то, что должно произойти в ближайшие 10 лет, не очень привлекательно.

Если мы хотим иметь дело с этими [внутренними] представлениями, нам нужны методы их обнаружения — методы, которые являются научно обоснованными. Если все сделано правильно, эта низкоуровневая методологическая ерунда не попадет в заголовки газет. Но это действительно важные вещи, которые позволят нам правильно ответить на эти глубокие вопросы.

Между тем, модели будут продолжать меняться. Так что будет много вещей, которые люди будут продолжать публиковать, как будто это «прорыв», но, вероятно, это не так. На мой взгляд, еще слишком рано совершать большие прорывы.

Люди изучают эти действительно простые задачи, например, спрашивают [языковую модель для завершения] «Джон дал выпить _______» и пытаются увидеть, написано ли там «Джон» или «Мэри». Это не дает ощущения результата, объясняющего интеллект. Но я действительно верю, что инструменты, которые мы используем для описания этой скучной проблемы, необходимы для ответа на глубокие вопросы об интеллекте.