CCC підтримав три наукові сесії на щорічній конференції AAAS цього року, і якщо ви не змогли бути присутніми особисто, ми підведемо підсумок кожної сесії. Цього тижня ми підсумуємо основні моменти виступів учасників сесії,Великі мовні моделі: корисні помічники, романтичні партнери чи шахраї?” Ця панель, модерована Доктор Марія Гіні, член ради CCC і професор комп’ютерних наук та інженерії в Університеті Міннесоти Доктор Ече Камар, керуючий директор AI Frontiers у Microsoft Research, Доктор Хал Дауме III, професор інформатики в Університеті Меріленда, і Доктор Джонатан Мей, професор інформатики Інституту інформаційних наук Університету Південної Каліфорнії.

Великі мовні моделі сьогодні знаходяться в авангарді розмов у суспільстві, і журі не буде, якщо вони виправдають ажіотаж навколо них. Учасники цієї сесії AAAS розглянули можливості, виклики та потенціал LLM.

Першим учасником дискусії був доктор Есе Камар (Microsoft Research). Вона описала поточний статус штучного інтелекту як «фазовий перехід». Вона представила унікальну перспективу як людина, яка бачила зміни в ШІ в промисловості та експоненціальне зростання моделей глибокого навчання, яке мало хто очікував, що триватиме до 2024 року.

Зростання було спричинене збільшенням обсягу даних, на яких навчаються магістратури, а також більшою архітектурою під назвою трансформатори. Доктор Камар поділився на графіку цікавою ідеєю: моделі настільки швидко масштабуються, тому що спочатку їх просто навчили виконувати певне завдання; завдання, яке вони могли б надійно виконати. ChatGPT показав, що якщо ви достатньо масштабуєте, включаючи кількість параметрів, які враховує модель, моделі можуть почати виконувати завдання з такою ж продуктивністю, як і модель, яку спеціально навчили виконувати ті самі завдання.

Це визначення фазового переходу LLM: моделі більше не потребують спеціального навчання для виконання конкретного завдання, але їх можна навчити загалом і потім виконувати багато завдань. І немає ознак того, що зростання цих можливостей уповільнюється.

Доктор Камар мала ранній доступ до GPT-4, і під час її тривалого тестування вона була вражена його значними вдосконаленнями, пов’язаними з масштабом і даними, а також тим фактом, що він міг синхронно виконувати різні завдання.

Яке майбутнє чекає на ці LLM? Доктор Камар очікує, що магістратури вийдуть за межі людської мови, вивчать машинну мову та зможуть перекладати між двома мовами. Це розширить можливості модальностей у введенні та виведенні, що може призвести до того, що моделі зможуть не просто генерувати мову, але й дії та прогнози в поведінці.

Далі доктор Камар розповів про значний фазовий перехід, який відбувається в обчислювальній техніці. Сьогодні системи розробляються дуже по-різному, і цей розвиток вимагатиме створення нової обчислювальної парадигми, про яку ми наразі лише подряпали поверхню. Те, як ми взаємодіємо з комп’ютерами, буде виглядати зовсім по-іншому в найближчі роки, і це вимагатиме переосмислення взаємодії людини з комп’ютером (HCI).

Ще одна зміна — це те, як люди працюватимуть у майбутньому. Корпорація Майкрософт провела дослідження, згідно з якими продуктивність працівників може подвоїтися з точки зору написання рядків коду за допомогою ШІ. Це неймовірне досягнення, але те, як ця технологія працює і звідки береться її інтелект, здебільшого невідомо, тому є багато дослідницьких питань у цій галузі.

Є також багато запитань про потенційне зловживання LLMs, як ці. Є занепокоєння щодо справедливості, різних демографічних ризиків та інших, ще більш різких наслідків. Хоча існує великий потенціал для наукових відкриттів, існує також великий потенціал для шкоди; наприклад, переконати батьків не вакцинувати своїх дітей, дитину зробити щось погане або переконати когось, що світ плоский. Багато зусиль, спрямованих на безпеку, було спрямовано на розробку LLM, і відкритий вихідний код також може бути дуже корисним для досягнення прогресу в цій галузі.  

Потім доктор Камар поставив запитання науковому співтовариству:

• Як зміниться наука з руйнуванням ШІ?
• Чи робимо ми кроки для зміни того, як ми навчаємо та навчаємо наступне покоління?
• Ви будуєте технологічну інфраструктуру, щоб отримати вигоду від цього фазового переходу?
• Чи готуємо ми майбутні покоління до нового світу?

Нарешті, д-р Камар підкреслив, що одним із основних аспектів фазового переходу, який є чудовим, є швидкість, з якою розвиваються LLM. Ці моделі значно вдосконалюються за дуже короткий проміжок часу, і дослідникам обчислювальної техніки потрібно багато чого надолужити.

Другий учасник дискусії, д-р Хал Дауме III (Університет Меріленда), розпочав свою доповідь, пояснивши, що моделі ШІ слід розробляти, щоб допомагати людям робити те, що вони хочуть; збільшувати людську роботу, а не автоматизувати. Це бачення автоматизації охопило суспільство з 60-х років. Замість того, щоб допомогти людям краще грати в шахи, вчені розробили систему, яка грає в шахи самостійно.

Ця філософія нікуди не дінеться; Сьогодні штучний інтелект все ще заслуговує на увагу, якщо він достатньо розумний, щоб виконувати завдання самостійно. Це глибоко в крові ШІ. Перш ніж витрачати час і гроші на автоматизацію системи, ми повинні спочатку зупинитися і запитати, чи це в наших інтересах?

Доктор Дауме висунув концепцію аугментації: як ШІ можна використовувати як інструмент? Такі системи, як Github Copilot, підвищують продуктивність, але підвищення продуктивності недостатньо. Користувач системи вигукнув, що це дозволило їм зосередитися на частинах кодування, які були цікавими, що набагато більше відповідає тому, як має бути побудований ШІ.

Дослідники штучного інтелекту не повинні хотіти видаляти частини роботи людини, які приносять задоволення; їм слід надати пріоритет видаленню важкої праці. Це має покращувати життя людей, а не лише покращувати прибутки компанії.

Доктор Дауме був співавтором статті, у якій піднімає ці питання, і з’явився контраргумент, що з технічної точки зору створення систем із використанням технології машинного навчання, зокрема, часто набагато легше автоматизувати, ніж розширити. Це тому, що дані, необхідні для навчання системи, яка буде навчати систему, легко отримати. Ми надаємо цю інформацію, виконуючи свою роботу, і легко навчити ML наслідувати людську поведінку. Набагато важче навчити систему допомагати комусь виконувати завдання. Ця інформація розкидана серед оглядів літератури від NSF, написання програмістом на аркуші паперу тощо. Дані, необхідні для допомоги людині у виконанні завдань, не записуються.

Ще одним ключовим аспектом створення корисних систем є запитання користувача, які системи будуть корисними для його життя. Наприклад, потреби сліпих людей дуже відрізняються від потреб зрячих людей (які також відрізняються від потреб зрячих людей). думати потреби незрячих людей). Прикладом, який поділився доктор Дауме, є те, що зорова система може виявити, що об’єкт — це банка газованої води, але сліпа людина зазвичай може визначити це сама. Інгредієнти газованої води були б для них набагато кориснішими. Існує величезна різниця між якістю відповідей систем на просте розуміння питань і відповіддю на питання доступності, і ця різниця збільшується.

Додатковим прикладом важливості визначення потреб спільноти перед створенням технології для «допомоги» їй є модерація вмісту. Багато волонтерів-модераторів контенту беруть участь у роботі, тому що хочуть зробити світ кращим і допомогти створити спільноту, яку вони вважають важливою. Коли їх запитують, який інструмент вони хочуть допомогти своїй ролі, вони часто не хочуть, щоб їх робота була повністю автоматизованою, вони просто хочуть, щоб такі нудні частини, як пошук історії чату, були легшими.

Доктор Дауме закінчує цю дискусію останнім прикладом своєї мами, яка любить автомобілі, яка любить автомобілі та відмовляється їздити на автоматичних автомобілях. Вона вибирає механічну коробку передач, і для неї дуже важливо мати такий вибір. Люди повинні контролювати, чи хочуть вони, щоб їхні завдання були автоматизованими чи ні.

Доктор Дауме продовжує розмову, пропонуючи альтернативи поточним підходам до технологій доступності. Наприклад, під час створення інструменту на основі розпізнавання мови жестів, замість того, щоб шукати в Інтернеті відео людей, які підписуються (що викликає багато проблем із згодою та конфіденційністю, до того ж більшість цих відео створено професіоналами та без фонового шуму/відволікань, що не t реалістично), зв’яжіться зі спільнотою та ініціюйте проект, який дає їм змогу надсилати відео для навчання інструментів. Такі стратегії, орієнтовані на спільноту, є більш етичними та відповідальними та дають користувачам більше контролю. 

LLMs та інші інструменти повинні бути розроблені таким чином, щоб віддавати перевагу корисності, а не інтелекту, підсумовує доктор Дауме. Чим кориснішим він є, тим більше він може допомогти людям робити те, що вони не можуть або не хочуть робити, а не автоматизувати те, що люди вже добре роблять і отримують задоволення.

Доктор Джонатан Мей (Інститут інформаційних наук Університету Південної Каліфорнії) був наступним доповідачем, і він розпочав свою доповідь із роздумів про тему конференції: «До науки без стін». Він стверджує, що хоча нещодавня розробка LLM руйнує стіни для деяких людей, вона будує стіни для багатьох.

Спочатку він обговорює, як Інтернет усунув багато бар’єрів для проведення досліджень; коли йому було 17, він дивувався, чому «Зоряні війни» та «Володар перснів» мають дуже схожі сюжети, і йому довелося їхати до бібліотеки та шукати книгу з відповіддю. Він провів серйозні, але не менш складні дослідження для своєї кандидатської дисертації, але наприкінці його навчання була створена сторінка у Вікіпедії на цю тему, а потім пошук в Інтернеті, і тепер дослідження без автомобіля є нормою.

Доктор Мей продовжив, сказавши, що він відчуває привілей бути в демографічній групі цільової аудиторії LLM. Він не часто кодує і ніколи не навчився багато навичок кодування, але коли йому це знадобиться для його роботи, він може запитати ChatGPT, і він чудово виконує свою роботу. 

Однак існує багато перешкод для широкого поширення корисності LLM:

• Мовні стіни: моделі працюють краще, чим більше даних вони використовують. Незважаючи на те, що сучасні комерційні LLM є багатомовними, вони значною мірою зважені на англійську. Наприклад, ChatGPT навчається на 92% англійської мови. Крім того, дані інструкцій, які є «секретним соусом» LLMs, переважна більшість є англійською мовою (наприклад, 96% ChatGPT). Наразі існує дуже мало зусиль для покращення міжмовної продуктивності цих моделей, незважаючи на системні прогалини продуктивності в існуючих тестах, що має сенс через загальний консенсус, що машинний переклад (MT) є «вирішеним», і зусилля слід зосередити на інших завданнях.
• Identity Walls: Якщо ви запитуєте ChatGPT, що вам робити на Різдво, він зосереджується на різних заходах і традиціях, якими ви можете займатися; там не згадується, що ви можете піти на роботу. Було показано, що LLM поводяться по-різному при описі різних демографічних груп, виражаючи більше негативних настроїв і навіть відверту токсичність у деяких випадках. Існує ймовірність стереотипних речень, які можуть завдати шкоди таким спільнотам, як ЛГБТК+ або єврейська; загалом існує багато упереджень, і це має наслідки для розгорнутого прийняття рішень. Існують деякі вбудовані запобіжні заходи, і більш чіткі пробні запитання з меншою ймовірністю отримають токсичні відповіді, але ймовірнісно моделі віддають перевагу стереотипним твердженням і результатам, і саме тут є шкода, особливо коли використовуються моделі в подальших можливостях, де ви не бачите вихід (тобто право на кредит). Він навів приклад LLM-ів, які виявляють упередженість при створенні облич людей на основі їх роботи; нижчеоплачувані роботи показані як жінки та меншини, тоді як високооплачувані роботи – білі чоловіки.
• Екологічні стіни (програмне забезпечення): LLM потребують значної кількості енергії для виробництва та роботи. Навіть найскромніші LM споживають в 3 рази більше енергії на рік, ніж витрачає одна людина. Існує також значна прогалина в даних для найбільших мовних моделей, таких як ChatGPT, але компанії, які ними володіють, явно відмовляють у доступі до їх споживання енергії.
• Екологічні стіни (обладнання): щоб виробляти мікросхеми, які потрібні всім LLM, вам потрібні «конфліктні матеріали», такі як тантал (добувається в Конго) і гафній (добувається в Сенегалі та Росії). У США компанії повинні звітувати про кількість корисних копалин конфлікту, які вони використовують, але США публічно демонструють зменшення використання цих матеріалів, що не відповідає дійсності. Окрім цього, є багато соціально-політичних проблем, наприклад, обмеження Китаєм германію та галію у відповідь на експортні обмеження США.

Доктор Мей зазначає, що ці категорії розкривають деякі з багатьох проблем, пов’язаних із заподіянням шкоди LLM, і випадки, коли люди не отримують користі. Є привід для занепокоєння, але також є можливості для дослідження та/або зміни поведінки, які б пом’якшили деякі з цих шкоди:

• Мова: виділяйте більше фінансування на дослідження багатомовності (а не лише перекладу на англійську та з неї).
• Ідентичність: дослідження знизу вгору та за участю спільноти. Модифікація та тестування моделі перед розгортанням
• Середовище: розробка алгоритму, який використовує менше даних і змінює менше параметрів (наприклад, LoRA, адаптери, не-RL PO). Будьте сумлінними щодо обчислень і наполягайте на відкритості на регулятивних рівнях 

Доктор Мей завершив дискусію, повторивши думку доктора Дауме про те, що люди повинні отримувати таку користь, як вони хочуть, коли вони спілкуються з магістрами права, і про це слід пам’ятати на етапі розробки.

Щиро дякую, що прочитали, і, будь ласка, завітайте завтра, щоб прочитати підсумок частини запитань і відповідей сесії.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
• джерело: https://feeds.feedblitz.com/~/874484594/0/cccblog~CCC-AAAS-Large-Language-Models-Helpful-Assistants-Romantic-Partners-or-Con-Artists-Part-One/