Mulailah berbicara dengan Ellie Pavlick tentang pekerjaannya — mencari bukti pemahaman dalam model bahasa besar (LLM) — dan dia mungkin terdengar seperti sedang mengolok-oloknya. Ungkapan “bergelombang tangan” adalah favoritnya, dan jika dia menyebutkan “makna” atau “penalaran”, sering kali disertai dengan tanda kutip udara yang mencolok. Ini hanyalah cara Pavlick menjaga kejujurannya. Sebagai seorang ilmuwan komputer yang mempelajari model bahasa di Brown University dan Google DeepMind, dia tahu bahwa menerima kelemahan yang melekat pada bahasa alami adalah satu-satunya cara untuk menganggapnya serius. “Ini adalah disiplin ilmu – dan ini sedikit rumit,” katanya.

Ketepatan dan nuansa telah hidup berdampingan dalam dunia Pavlick sejak remaja, ketika dia menyukai matematika dan sains “tetapi selalu diidentifikasikan sebagai tipe yang lebih kreatif.” Sebagai seorang sarjana, ia memperoleh gelar di bidang ekonomi dan pertunjukan saksofon sebelum mengejar gelar doktor di bidang ilmu komputer, sebuah bidang di mana ia masih merasa seperti orang luar. “Ada banyak orang yang [berpikir] sistem cerdas akan terlihat seperti kode komputer: rapi dan nyaman seperti kebanyakan sistem yang [kami] pandai dalam memahaminya,” katanya. “Saya hanya yakin jawabannya rumit. Jika saya mempunyai solusi yang sederhana, saya cukup yakin itu salah. Dan saya tidak ingin salah.”

Sebuah pertemuan kebetulan dengan seorang ilmuwan komputer yang kebetulan bekerja di bidang pemrosesan bahasa alami membuat Pavlick memulai pekerjaan doktoralnya mempelajari bagaimana komputer dapat menyandikan semantik, atau makna dalam bahasa. “Saya pikir itu menimbulkan rasa gatal tertentu,” katanya. “Ini masuk ke dalam filosofi, dan itu cocok dengan banyak hal yang sedang saya kerjakan.” Kini, salah satu bidang utama penelitian Pavlick berfokus pada “landasan” (grounding) – pertanyaan apakah makna kata bergantung pada hal-hal yang ada secara independen dari bahasa itu sendiri, seperti persepsi sensorik, interaksi sosial, atau bahkan pemikiran lain. Model bahasa dilatih sepenuhnya berdasarkan teks, sehingga model tersebut menyediakan platform yang berguna untuk mengeksplorasi pentingnya landasan bagi makna. Namun pertanyaan itu sendiri telah menyibukkan para ahli bahasa dan pemikir lain selama beberapa dekade.

“Ini bukan hanya masalah 'teknis',” kata Pavlick. “Bahasa sangatlah penting sehingga, bagi saya, rasanya mencakup segalanya.”

Quanta berbicara dengan Pavlick tentang menjadikan sains dari filsafat, apa arti “makna”, dan pentingnya hasil yang tidak seksi. Wawancara telah diringkas dan diedit untuk kejelasan.

Apa yang dimaksud dengan “pemahaman” atau “makna” secara empiris? Secara spesifik, apa yang Anda cari?

Ketika saya memulai program penelitian saya di Brown, kami memutuskan bahwa makna melibatkan konsep dalam beberapa cara. Saya menyadari ini adalah komitmen teoretis yang tidak dilakukan semua orang, namun tampaknya bersifat intuitif. Jika Anda menggunakan kata “apel” untuk mengartikan apel, Anda memerlukan konsep apel. Itu pasti suatu hal, baik Anda menggunakan kata itu atau tidak untuk merujuknya. Itulah yang dimaksud dengan “memiliki makna”: perlu adanya konsep, sesuatu yang Anda ungkapkan secara verbal.

Saya ingin menemukan konsep dalam model. Saya menginginkan sesuatu yang dapat saya ambil dalam jaringan saraf, bukti bahwa ada sesuatu yang mewakili “apel” secara internal, yang memungkinkannya untuk secara konsisten dirujuk dengan kata yang sama. Karena tampaknya memang ada struktur internal yang tidak acak dan sewenang-wenang. Anda dapat menemukan nugget kecil dengan fungsi terdefinisi dengan baik yang dapat melakukan sesuatu dengan andal.

Saya telah fokus pada karakterisasi struktur internal ini. Apa bentuknya? Ini bisa berupa subset bobot dalam jaringan saraf, atau semacam operasi aljabar linier pada bobot tersebut, semacam abstraksi geometris. Namun hal ini harus memainkan peran sebab-akibat [dalam perilaku model]: Hal ini terkait dengan masukan-masukan ini, tetapi bukan masukan-masukan tersebut, dan keluaran-keluaran ini, bukan keluaran-keluaran tersebut.

Rasanya seperti sesuatu yang bisa Anda sebut sebagai "makna". Ini tentang mencari tahu bagaimana menemukan struktur ini dan menjalin hubungan, sehingga setelah kita menyiapkan semuanya, kita bisa menerapkannya pada pertanyaan seperti “Apakah ia tahu apa arti 'apel'?”

Pernahkah Anda menemukan contoh struktur ini?

Ya, satu mengakibatkan melibatkan ketika model bahasa mengambil sepotong informasi. Jika Anda bertanya kepada model, “Apa ibu kota Prancis”, model tersebut harus menjawab “Paris”, dan “Apa ibu kota Polandia” harus menjawab “Warsawa”. Ia dapat dengan mudah mengingat semua jawaban ini, dan jawabannya dapat tersebar di mana-mana [dalam model] — tidak ada alasan nyata mengapa ia perlu memiliki hubungan antara hal-hal tersebut.

Sebaliknya, kami menemukan tempat kecil dalam model yang pada dasarnya meringkas koneksi tersebut menjadi satu vektor kecil. Jika Anda menambahkannya ke “Apa ibu kota Perancis”, itu akan mengambil “Paris”; dan vektor yang sama, jika Anda bertanya “Apa ibu kota Polandia”, akan memunculkan “Warsawa”. Ini seperti vektor “pengambilan ibu kota” yang sistematis.

Ini adalah temuan yang sangat menarik karena sepertinya [model ini] merangkum konsep-konsep kecil ini dan kemudian menerapkan algoritma umum pada konsep tersebut. Dan meskipun kita melihat pertanyaan-pertanyaan yang sangat [sederhana] ini, pertanyaannya adalah tentang menemukan bukti bahan mentah yang digunakan model tersebut. Dalam hal ini, akan lebih mudah untuk menghindari menghafal — dalam banyak hal, itulah yang dirancang untuk dilakukan oleh jaringan ini. Sebaliknya, ia memecah [informasi] menjadi beberapa bagian dan “alasan” tentangnya. Dan kami berharap ketika kami menghasilkan desain eksperimental yang lebih baik, kami dapat menemukan sesuatu yang serupa untuk konsep yang lebih rumit.

Bagaimana landasan berhubungan dengan representasi ini?

Cara manusia mempelajari bahasa didasarkan pada banyak masukan nonlinguistik: sensasi tubuh Anda, emosi Anda, apakah Anda lapar, atau apa pun. Itu dianggap sangat penting bagi makna.

Namun ada gagasan lain tentang landasan yang lebih berkaitan dengan representasi internal. Ada kata-kata yang tidak jelas berhubungan dengan dunia fisik, namun masih memiliki makna. Kata seperti “demokrasi” adalah contoh favorit. Ada yang ada di kepala Anda: Saya bisa memikirkan demokrasi tanpa membicarakannya. Jadi landasannya bisa dari bahasa ke benda itu, yaitu representasi internal.

Namun Anda berpendapat bahwa bahkan hal-hal yang lebih eksternal, seperti warna, mungkin masih terikat pada representasi “konseptual” internal, tanpa bergantung pada persepsi. Bagaimana cara kerjanya?

Nah, model bahasa tidak punya mata, kan? Ia tidak “tahu” apa pun tentang warna. Jadi mungkin [ini menangkap] sesuatu yang lebih umum, seperti memahami hubungan di antara keduanya. Saya tahu bahwa ketika saya menggabungkan warna biru dan merah, saya mendapatkan warna ungu; hubungan semacam itu dapat menentukan struktur [landasan] internal ini.

Kita dapat memberikan contoh warna pada LLM menggunakan kode RGB [rangkaian angka yang mewakili warna]. Jika Anda mengatakan “OK, ini merah,” dan berikan kode RGB untuk warna merah, dan “Ini biru,” dengan kode RGB untuk warna biru, lalu katakan “Katakan padaku apa itu ungu,” maka kode RGB untuk warna tersebut akan dihasilkan. ungu. Pemetaan ini seharusnya menjadi indikasi yang baik bahwa struktur internal model sudah baik - tidak ada persepsi [untuk warna], namun struktur konseptualnya ada.

Yang rumit adalah [model] hanya bisa mengingat kode RGB, yang ada di seluruh data pelatihannya. Jadi kami “memutar” semua warna [menjauhi nilai RGB sebenarnya]: Kami akan memberi tahu LLM bahwa kata “kuning” dikaitkan dengan kode RGB untuk hijau, dan seterusnya. Model ini berkinerja baik: Saat Anda meminta warna hijau, itu akan memberi Anda versi kode RGB yang diputar. Hal ini menunjukkan bahwa ada semacam konsistensi pada representasi warna internalnya. Itu menerapkan ilmu tentang hubungan mereka, bukan sekedar menghafal.

Itulah inti dari landasan. Memetakan nama ke suatu warna bersifat sewenang-wenang. Ini lebih tentang hubungan di antara mereka. Jadi itu menarik.

Bagaimana pertanyaan-pertanyaan yang terdengar filosofis ini bisa menjadi ilmiah?

Baru-baru ini saya mempelajari eksperimen pemikiran: Bagaimana jika lautan menyapu pasir dan [ketika] mundur, polanya menghasilkan sebuah puisi? Apakah puisi tersebut mempunyai makna? Tampaknya sangat abstrak, dan Anda dapat melakukan perdebatan filosofis yang panjang.

Hal yang menyenangkan tentang model bahasa adalah kita tidak memerlukan eksperimen pemikiran. Ini tidak seperti, “Secara teori, apakah hal ini dan itu akan menjadi cerdas?” Hanya saja: Apakah hal ini cerdas? Ini menjadi ilmiah dan empiris.

Terkadang orang meremehkan; ada “beo stokastik" mendekati. Saya pikir hal ini [berasal dari] ketakutan bahwa orang-orang akan terlalu mengandalkan kecerdasan pada hal-hal ini – yang memang kita lihat. Dan untuk memperbaikinya, orang-orang berkata, “Tidak, itu semua palsu. Ini adalah asap dan cermin.”

Ini sedikit merugikan. Kita telah menemukan sesuatu yang cukup menarik dan baru, dan penting untuk memahaminya secara mendalam. Ini adalah peluang besar yang tidak boleh diabaikan karena kami khawatir akan menafsirkan model secara berlebihan.

Tentu saja kamu'juga telah memproduksi penelitian membantah penafsiran berlebihan semacam itu.

Pekerjaan itu, di mana orang-orang menemukan semua “heuristik dangkal” yang dieksploitasi oleh model [untuk meniru pemahaman] - hal itu sangat mendasar bagi kedewasaan saya sebagai seorang ilmuwan. Tapi ini rumit. Ibaratnya, jangan terlalu cepat mendeklarasikan kemenangan. Ada sedikit skeptisisme atau paranoia [dalam diri saya] bahwa evaluasi dilakukan dengan benar, bahkan evaluasi yang saya tahu telah saya rancang dengan sangat hati-hati!

Jadi itu bagiannya: tidak mengklaim secara berlebihan. Bagian lainnya adalah, jika Anda berurusan dengan sistem [model bahasa] ini, Anda tahu bahwa sistem tersebut tidak setingkat manusia — cara mereka menyelesaikan sesuatu tidaklah secerdas kelihatannya.

Ketika begitu banyak metode dan istilah dasar yang diperdebatkan di bidang ini, bagaimana Anda mengukur keberhasilan?

Menurut saya, yang kita cari, sebagai ilmuwan, adalah deskripsi yang tepat dan dapat dipahami manusia tentang apa yang kita pedulikan – dalam hal ini kecerdasan. Dan kemudian kami melampirkan kata-kata untuk membantu kami mencapainya. Kami membutuhkan semacam kosakata yang berfungsi.

Tapi itu sulit, karena Anda bisa terlibat dalam pertarungan semantik ini. Saat orang berkata “Apakah ada artinya: ya atau tidak?” Aku tidak tahu. Kami mengalihkan pembicaraan ke hal yang salah.

Apa yang saya coba tawarkan adalah penjelasan yang tepat tentang perilaku yang ingin kami jelaskan. Dan pada saat itu masih diperdebatkan apakah Anda ingin menyebutnya “makna” atau “representasi” atau salah satu dari kata-kata sarat ini. Intinya adalah, ada teori atau model yang diajukan — mari kita evaluasi.

Jadi bagaimana penelitian tentang model bahasa bisa mengarah ke pendekatan yang lebih langsung?

Jenis pertanyaan mendalam yang sangat ingin saya jawab - Apa saja yang menjadi landasan kecerdasan? Seperti apa kecerdasan manusia? Seperti apa model kecerdasan itu? — sangat penting. Namun menurut saya hal-hal yang perlu dilakukan dalam 10 tahun ke depan tidaklah terlalu seksi.

Jika kita ingin menangani representasi [internal] ini, kita memerlukan metode untuk menemukannya – metode yang masuk akal secara ilmiah. Jika dilakukan dengan cara yang benar, hal-hal metodologis tingkat rendah dan super rumit ini tidak akan menjadi berita utama. Namun itulah hal yang sangat penting yang memungkinkan kita menjawab pertanyaan mendalam ini dengan benar.

Sementara itu, modelnya akan terus berubah. Jadi akan ada banyak hal yang orang-orang akan terus publikasikan seolah-olah itu adalah “terobosan”, padahal mungkin juga bukan. Dalam benak saya, rasanya terlalu dini untuk mendapatkan terobosan besar.

Orang-orang mempelajari tugas-tugas yang sangat sederhana ini, seperti menanyakan [model bahasa yang harus diselesaikan] “John memberi minuman kepada _______,” dan mencoba melihat apakah yang tertulis adalah “John” atau “Mary.” Itu tidak memberikan hasil yang menjelaskan kecerdasan. Namun saya benar-benar percaya bahwa alat yang kita gunakan untuk menggambarkan masalah yang membosankan ini sangat penting untuk menjawab pertanyaan mendalam tentang kecerdasan.