شروع به صحبت کنید الی پاولیک در مورد کار او - به دنبال شواهدی برای درک در مدل های بزرگ زبان (LLM) - و ممکن است به نظر برسد که انگار دارد آن را مسخره می کند. عبارت "دست موج دار" مورد علاقه است، و اگر او به "معنا" یا "استدلال" اشاره کند، اغلب با نقل قول های هوایی آشکار همراه می شود. این فقط راه پاولیک برای صادق نگه داشتن خود است. به عنوان یک دانشمند کامپیوتر که در حال مطالعه مدل‌های زبان در دانشگاه براون و Google DeepMind است، می‌داند که پذیرش لطافت ذاتی زبان طبیعی تنها راه برای جدی گرفتن آن است. او گفت: "این یک رشته علمی است - و کمی حیرت انگیز است."

دقت و نکات ظریف از دوران نوجوانی در دنیای پاولیک وجود داشته است، زمانی که او از ریاضیات و علوم لذت می برد «اما همیشه به عنوان یک نوع خلاق بیشتر شناخته می شد». او در مقطع لیسانس، پیش از ادامه تحصیل در مقطع دکترا در علوم کامپیوتر، مدرکی را در اقتصاد و اجرای ساکسیفون گرفت، رشته‌ای که هنوز احساس می‌کند یک فرد خارجی است. او گفت: «بسیاری از مردم هستند که [فکر می‌کنند] سیستم‌های هوشمند بسیار شبیه کدهای رایانه‌ای هستند: منظم و راحت مانند بسیاری از سیستم‌ها [ما در درک آن‌ها] خوب هستیم». من فقط معتقدم که پاسخ ها پیچیده هستند. اگر راه حل ساده ای داشته باشم، مطمئنم که اشتباه است. و من نمی خواهم اشتباه کنم.»

یک برخورد تصادفی با یک دانشمند کامپیوتر که اتفاقاً در پردازش زبان طبیعی کار می‌کرد، پاولیک را بر آن داشت تا کار دکترای خود را آغاز کند و مطالعه کند که چگونه رایانه‌ها می‌توانند معناشناسی یا معنا را در زبان رمزگذاری کنند. او گفت: "فکر می کنم خارش خاصی ایجاد کرد." "این در فلسفه فرو می رود، و این با بسیاری از چیزهایی که من در حال حاضر روی آنها کار می کنم مطابقت دارد." اکنون، یکی از حوزه‌های اصلی تحقیقات پاولیک بر «زمینه‌سازی» متمرکز است - این سؤال که آیا معنای کلمات به چیزهایی بستگی دارد که مستقل از خود زبان وجود دارند، مانند ادراکات حسی، تعاملات اجتماعی یا حتی سایر افکار. مدل‌های زبانی کاملاً بر روی متن آموزش داده می‌شوند، بنابراین یک پلتفرم پربار برای کاوش در زمینه اهمیت دادن به معنا فراهم می‌کنند. اما خود این پرسش ده ها سال است که زبان شناسان و دیگر متفکران را به خود مشغول کرده است.

پاولیک گفت: «اینها فقط مشکلات «فنی» نیستند. "زبان آنقدر بزرگ است که به نظر من همه چیز را در بر می گیرد."

کوانتوم با پاولیک در مورد ساختن علم از فلسفه، معنای «معنا» و اهمیت نتایج غیرجنسی صحبت کرد. مصاحبه برای وضوح فشرده و ویرایش شده است.

"درک" یا "معنا" از نظر تجربی به چه معناست؟ به طور خاص، به دنبال چه چیزی هستید؟

زمانی که برنامه تحقیقاتی خود را در براون شروع می کردم، به این نتیجه رسیدیم که معنا به نوعی شامل مفاهیم می شود. من متوجه هستم که این یک تعهد نظری است که همه آن را انجام نمی دهند، اما بصری به نظر می رسد. اگر از کلمه "سیب" به معنای سیب استفاده می کنید، به مفهوم سیب نیاز دارید. این باید یک چیز باشد، چه از این کلمه برای اشاره به آن استفاده کنید یا نه. معنای «داشتن معنا» این است: باید مفهومی وجود داشته باشد، چیزی که شما در حال بیان آن هستید.

من می خواهم مفاهیمی را در مدل پیدا کنم. من چیزی می‌خواهم که بتوانم در شبکه عصبی به دست بیاورم، شواهدی مبنی بر اینکه چیزی وجود دارد که در داخل «سیب» را نشان می‌دهد، که اجازه می‌دهد به طور مداوم با همان کلمه به آن اشاره شود. زیرا به نظر می رسد این ساختار درونی وجود دارد که تصادفی و دلخواه نیست. شما می توانید این قطعات کوچک با عملکرد کاملاً تعریف شده را پیدا کنید که به طور قابل اعتماد کاری انجام می دهند.

من روی توصیف این ساختار درونی تمرکز کرده ام. چه شکلی دارد؟ این می تواند زیرمجموعه ای از وزن های درون شبکه عصبی، یا نوعی عملیات جبری خطی بر روی آن وزن ها، نوعی انتزاع هندسی باشد. اما باید یک نقش علّی [در رفتار مدل] ایفا کند: به این ورودی‌ها متصل است، اما نه آن‌ها، و این خروجی‌ها و نه آن‌ها.

این به نظر چیزی است که می توانید آن را "معنا" نامید. این در مورد چگونگی پیدا کردن این ساختار و برقراری روابط است، به طوری که وقتی همه آن را در جای خود قرار دادیم، سپس می‌توانیم آن را برای سؤالاتی مانند «آیا می‌داند «سیب» به چه معناست، اعمال کنیم؟

آیا نمونه ای از این ساختار پیدا کرده اید؟

بله، یکی نتیجه زمانی را شامل می شود که یک مدل زبان بخشی از اطلاعات را بازیابی می کند. اگر از مدل بپرسید "پایتخت فرانسه چیست"، باید بگوید "پاریس" و "پایتخت لهستان چیست" باید "ورشو" را بازگرداند. خیلی راحت می‌توانست تمام این پاسخ‌ها را به خاطر بسپارد، و می‌توانستند در اطراف [داخل مدل] پراکنده شوند - هیچ دلیل واقعی وجود ندارد که نیاز به ارتباط بین آن چیزها داشته باشد.

در عوض، ما یک مکان کوچک در مدل پیدا کردیم که در آن اساساً این اتصال را به یک بردار کوچک تبدیل می‌کند. اگر آن را به "What is the France پایتخت" اضافه کنید، "پاریس" را بازیابی می کند. و همین بردار، اگر بپرسید "پایتخت لهستان چیست"، "ورشو" را بازیابی می کند. مانند این بردار سیستماتیک "بازیابی-پایتخت-شهر" است.

این یک یافته واقعاً هیجان‌انگیز است، زیرا به نظر می‌رسد [مدل] این مفاهیم کوچک را جمع‌آوری کرده و سپس الگوریتم‌های کلی را روی آنها اعمال می‌کند. و حتی اگر ما به این سؤالات واقعا [ساده] نگاه می کنیم، این در مورد یافتن شواهدی از این مواد خام است که مدل استفاده می کند. در این مورد، راحت‌تر از حفظ کردن خلاص می‌شوید - از بسیاری جهات، این همان کاری است که این شبکه‌ها برای انجام آن طراحی شده‌اند. در عوض، [اطلاعات] را به قطعات تقسیم می کند و درباره آن «دلایل» می کند. و ما امیدواریم که با طرح‌های آزمایشی بهتر، چیزی مشابه برای انواع پیچیده‌تر مفاهیم پیدا کنیم.

چگونه زمینه سازی با این بازنمایی ها ارتباط دارد؟

روشی که انسان‌ها زبان را یاد می‌گیرند بر پایه ورودی‌های غیرزبانی است: احساسات بدنی، احساسات شما، گرسنه بودن یا هر چیز دیگری. در نظر گرفته می شود که برای معنا واقعا مهم است.

اما مفاهیم دیگری از زمینه سازی وجود دارد که بیشتر به بازنمایی های داخلی مربوط می شود. کلماتی هستند که آشکارا با دنیای فیزیکی مرتبط نیستند، اما هنوز معنی دارند. کلمه ای مانند «دموکراسی» نمونه مورد علاقه است. این چیزی در ذهن شماست: من می توانم به دموکراسی فکر کنم بدون اینکه در مورد آن صحبت کنم. بنابراین زمینه می تواند از زبان به آن چیز، آن بازنمایی درونی باشد.

اما شما استدلال می‌کنید که حتی چیزهایی که بیرونی‌تر هستند، مانند رنگ، ممکن است همچنان به بازنمایی‌های «مفهومی» درونی، بدون تکیه بر ادراکات، متصل باشند. چگونه کار می کند؟

خوب، یک مدل زبان چشم ندارد، درست است؟ چیزی در مورد رنگ ها "نمی داند". بنابراین شاید [آن را به تصویر می کشد] چیزی کلی تر، مانند درک روابط بین آنها. می دانم که وقتی آبی و قرمز را ترکیب می کنم، بنفش می شوم. آن نوع روابط می توانند این ساختار [زمینه ای] درونی را تعریف کنند.

می‌توانیم با استفاده از کدهای RGB [رشته‌هایی از اعداد که رنگ‌ها را نشان می‌دهند] نمونه‌هایی از رنگ را به یک LLM ارائه کنیم. اگر بگویید "خوب، اینجا قرمز است" و کد RGB را برای قرمز و "اینجا آبی است" را با کد RGB برای آبی به آن بدهید و سپس بگویید "بنفش چیست"، باید کد RGB را برای رنگ بنفش. این نگاشت باید نشانه خوبی باشد که ساختار درونی مدل سالم است - ادراکات [برای رنگ] را از دست داده است، اما ساختار مفهومی وجود دارد.

مشکل این است که [مدل] فقط می‌تواند کدهای RGB را که در تمام داده‌های آموزشی آن قرار دارند، به خاطر بسپارد. بنابراین ما همه رنگ‌ها را [دور از مقادیر RGB واقعی‌شان] «چرخش» کردیم: به LLM می‌گوییم که کلمه «زرد» با کد RGB سبز و غیره مرتبط است. این مدل عملکرد خوبی داشت: وقتی رنگ سبز را درخواست می کردید، نسخه چرخانده شده کد RGB را به شما می داد. این نشان می دهد که نوعی سازگاری در بازنمایی های داخلی آن برای رنگ وجود دارد. این به کار بردن دانش روابط آنهاست، نه فقط حفظ کردن.

این تمام هدف از زمین است. نگاشت یک نام بر روی یک رنگ دلخواه است. بیشتر به روابط بین آنها مربوط می شود. بنابراین هیجان انگیز بود.

چگونه این پرسش های فلسفی-فلسفی می توانند علمی باشند؟

من اخیراً از یک آزمایش فکری یاد گرفتم: اگر اقیانوس روی شن‌ها فرو می‌رفت و [وقتی] عقب می‌کشید، الگوها شعری تولید می‌کردند، چه می‌شد؟ آیا شعر معنی دارد؟ این فوق العاده انتزاعی به نظر می رسد، و شما می توانید این بحث طولانی فلسفی را داشته باشید.

نکته خوب در مورد مدل های زبان این است که ما به آزمایش فکری نیاز نداریم. اینطور نیست که "در تئوری، فلان چیز هوشمند خواهد بود؟" فقط: آیا این چیز هوشمند است؟ علمی و تجربی می شود.

گاهی اوقات مردم نادیده گرفته می شوند. وجود دارد "طوطی های تصادفی" رویکرد. من فکر می‌کنم این ترس [از] این ترس ناشی می‌شود که مردم قصد دارند اطلاعات هوشمندی را برای این چیزها بیش از حد مشترک کنند - که ما شاهد آن هستیم. و برای تصحیح آن، مردم می‌گویند: «نه، همه اینها ساختگی است. این دود و آینه است.»

این یک کمی بی خدماتی است. ما به چیزی کاملاً هیجان‌انگیز و کاملاً جدید برخورد کرده‌ایم، و ارزش درک عمیق آن را دارد. این یک فرصت بزرگ است که نباید از آن غافل شد زیرا ما نگران تفسیر بیش از حد مدل ها هستیم.

البته شما'نیز تولید کرده است تحقیق رد کردن دقیقاً از این نوع تفسیر بیش از حد.

آن کار، جایی که مردم تمام «ابتکارهای کم عمق» را که مدل‌ها از آن بهره‌برداری می‌کردند [برای تقلید از درک] پیدا می‌کردند – اینها برای به‌رشد رسیدن من به عنوان یک دانشمند بسیار اساسی بودند. اما پیچیده است. مثل این است که زود اعلام پیروزی نکنید. کمی تردید یا پارانویا [در من] وجود دارد که ارزیابی درست انجام شده است، حتی ارزیابی که می دانم با دقت طراحی کرده ام!

پس این بخشی از آن است: نه ادعای بیش از حد. بخش دیگر این است که، اگر با این سیستم‌های [مدل زبانی] سر و کار داشته باشید، می‌دانید که آنها در سطح انسانی نیستند – روشی که آنها مسائل را حل می‌کنند آنقدرها هم که به نظر می‌رسد هوشمندانه نیست.

وقتی بسیاری از روش ها و اصطلاحات اساسی در این زمینه مورد بحث هستند، موفقیت را چگونه می سنجید؟

آنچه من فکر می‌کنم به‌عنوان دانشمندان به دنبال آن هستیم، توصیفی دقیق و قابل درک برای انسان از چیزی است که به آن اهمیت می‌دهیم - در این مورد، هوش. و سپس کلماتی را ضمیمه می کنیم تا به ما کمک کنند تا به آنجا برسیم. ما به نوعی واژگان کاربردی نیاز داریم.

اما این سخت است، زیرا در این صورت می توانید وارد این نبرد معناشناسی شوید. وقتی مردم می گویند "آیا معنی دارد: بله یا نه؟" من نمی دانم. ما گفتگو را به سمت اشتباه هدایت می کنیم.

آنچه من سعی دارم ارائه دهم، شرح دقیق رفتارهایی است که ما به توضیح آن اهمیت می دادیم. و در آن نقطه به نوعی بحث برانگیز است که بخواهید آن را «معنا» یا «نمایش» یا هر یک از این کلمات بارگذاری شده بنامید. نکته این است که یک نظریه یا یک مدل پیشنهادی روی میز وجود دارد - بیایید آن را ارزیابی کنیم.

بنابراین چگونه می‌توان تحقیق در مورد مدل‌های زبانی به سمت آن رویکرد مستقیم‌تر حرکت کرد؟

انواع سؤالات عمیقی که واقعاً دوست دارم بتوانم به آنها پاسخ دهم - بلوک های سازنده هوش چیست؟ هوش انسان چگونه است؟ هوش مدل چگونه به نظر می رسد؟ - واقعاً مهم هستند. اما من فکر می کنم چیزهایی که باید برای 10 سال آینده اتفاق بیفتد، خیلی جذاب نیستند.

اگر بخواهیم با این بازنمایی‌های [داخلی] مقابله کنیم، به روش‌هایی برای یافتن آن‌ها نیاز داریم - روش‌هایی که از نظر علمی معتبر هستند. اگر این کار به روش درست انجام شود، این موارد روش‌شناختی سطح پایین و فوق‌العاده در علف‌های هرز، تیتر اخبار را ارائه نمی‌کنند. اما این چیزهای واقعاً مهمی است که به ما امکان می دهد به این سؤالات عمیق به درستی پاسخ دهیم.

در همین حال، مدل‌ها همچنان در حال تغییر هستند. بنابراین، چیزهای زیادی وجود خواهد داشت که مردم به انتشار آن ادامه می دهند، گویی که "پیشرفت" است، اما احتمالاً اینطور نیست. در ذهن من، برای دستیابی به موفقیت های بزرگ خیلی زود است.

مردم در حال مطالعه این کارهای بسیار ساده هستند، مانند پرسیدن [یک مدل زبان برای تکمیل] «جان نوشیدنی به _______ داد،» و سعی می کنند ببینند که «جان» یا «مریم» می گوید. این احساس نتیجه ای را ندارد که هوش را توضیح دهد. اما من در واقع معتقدم که ابزارهایی که ما برای توصیف این مشکل خسته کننده استفاده می کنیم برای پاسخ به سوالات عمیق در مورد هوش ضروری هستند.