Моделі машинного навчання є неймовірно потужними інструментами. Вони витягують глибоко приховані шаблони у великих наборах даних, які наш обмежений людський мозок не може розібрати. Таким чином, ці складні алгоритми повинні бути незрозумілими «чорними скриньками», тому що модель, яку ми могли б відкрити й зрозуміти, була б марною. правильно?

Це все неправильно, принаймні згідно з Синтія Рудін, який вивчає інтерпретоване машинне навчання в Університеті Дьюка. Більшу частину своєї кар’єри вона присвятила створенню прозорих, але все ж точних моделей, які замінили б чорні ящики, улюблені в її галузі.

Ставки високі. Ці непрозорі моделі стають все більш поширеними в ситуаціях, коли їхні рішення мають реальні наслідки, як-от рішення про біопсію потенційної пухлини, надання застави чи схвалення заявки на кредит. Сьогодні щонайменше 581 модель штучного інтелекту, яка бере участь у прийнятті медичних рішень, отримала дозвіл від Управління з контролю за продуктами й ліками. Майже 400 із них спрямовані на те, щоб допомогти радіологам виявити аномалії в медичних зображеннях, наприклад злоякісні пухлини чи ознаки інсульту.

Багато з цих алгоритмів є чорними ящиками — або тому, що вони є власністю, або тому, що вони занадто складні для розуміння людиною. "Це мене дуже нервує", - сказав Рудін. «Коли ви працюєте з чимось вищим, потрібно змінити всю структуру машинного навчання».

Але змінився на що? Нещодавно Рудін та її команда вирішили довести, що навіть найскладніші моделі машинного навчання, нейронні мережі, що виконують завдання комп’ютерного зору, можна перетворити на інтерпретовані скляні ящики, які показують свою роботу лікарям.

Рудін, яка виросла за межами Баффало, штат Нью-Йорк, зросла до того, щоб розділити любов свого батька до фізики та математики — він медичний фізик, який допомагав калібрувати рентгенівські апарати — але вона зрозуміла, що надає перевагу вирішенню проблем за допомогою комп’ютерів. Тепер вона очолює лабораторію Duke’s Interpretable Machine Learning, де вона та її колеги ретельно досліджують найскладніші коробки-головоломки в машинному навчанні — нейронні мережі — щоб створити точні моделі, які демонструють їхню роботу.

Quanta поговорив з Рудіном про ці зусилля, етичні зобов’язання в машинному навчанні та дивну комп’ютерну поезію. Інтерв’ю було скорочено та відредаговано для ясності.

Ви завжди мріяли стати інформатиком?

Ні, точно ні. У дитинстві я хотів бути диригентом оркестру чи щось на зразок цього. А я хотів бути композитором і писати музику.

Яку музику?

Ось у чому проблема. Я пишу французьку музику початку минулого століття, як Равель і Дебюссі. А потім я зрозумів, що така музика мало кого цікавить, тому я вирішив не займатися нею як кар’єрою. Будучи студентом, я хотів стати прикладним математиком, але пішов у протилежному напрямку, яким було машинне навчання.

Коли ви почали думати про можливість інтерпретації?

Після закінчення навчання я працював у Колумбійському університеті в нью-йоркській енергетичній компанії Con Edison. І вони виконували реальну роботу. Ми повинні були передбачити, в яких каналізаційних колодязях буде пожежа чи вибух — на той час це був приблизно 1% каналізаційних колодязів на Мангеттені щороку. Я пожартував, що завжди намагався сфотографувати себе на люку, який «швидше за все вибухне», хоча насправді ніколи не робив цього.

Я дуже швидко зрозумів, що це не проблема, з якою допомагає машинне навчання, оскільки дані були дуже безладними. У них були бухгалтерські записи ще з 1890-х років. Тож ми обробили всі дані та перетворили їх на ці крихітні моделі, які компанія могла зрозуміти та працювати з ними. Це було інтерпретоване машинне навчання, хоча я тоді цього не знав.

Що ви тоді знали про інтерпретабельність?

Я насправді нічого не знав про інтерпретативність, тому що вони нікого цьому не вчили. Машинне навчання було розроблено як «чорний ящик» — прогностичні моделі, які або занадто складні для розуміння будь-якою людиною, або пропрієтарні, чийсь секретний соус. Вся ідея полягала в тому, що вам не потрібно мати справу з даними; алгоритм впорається з усім цим під капотом. Це було так елегантно, але через це було дуже важко зрозуміти, що відбувається.

Але чому важливо знати, що відбувається під капотом?

Якщо ви хочете довіряти прогнозу, вам потрібно зрозуміти, як працюють усі обчислення. Наприклад, у сфері охорони здоров’я вам потрібно знати, чи застосовна ця модель до вашого пацієнта. І справді важко усунути несправності моделей, якщо ви не знаєте, що в них міститься. Іноді моделі залежать від змінних таким чином, що вам може не сподобатися, якби ви знали, що вони роблять. Наприклад, з енергетичною компанією в Нью-Йорку ми дали їм модель, яка залежала від кількості нейтральних кабелів. Вони подивилися на це і сказали: «Нейтральні кабелі? Цього не повинно бути у вашій моделі. Щось не так». І, звичайно, в базі даних був недолік, і якби ми не змогли його точно визначити, у нас би виникла серйозна проблема. Тож дуже корисно мати можливість зазирнути в модель, щоб ви могли її вирішити.

Коли ви вперше занепокоїлися непрозорими моделями ШІ в медицині?

Мій тато медичний фізик. Кілька років тому він збирався на конференції з медичної фізики та радіології. Я пам’ятаю, як дзвонив йому по дорозі на роботу, і він сказав: «Ви не повірите, але всі сеанси ШІ заповнені. ШІ захоплює радіологію». Тоді моя учениця Аліна [Барнетт] залучила нас до вивчення [моделей ШІ, які досліджують] мамографії. Тоді я зрозумів, добре, почекай. Вони не використовують інтерпретовані моделі. Вони використовують лише ці чорні ящики; потім вони намагаються пояснити свої результати. Можливо, нам варто щось з цим зробити.

Тож ми вирішили спробувати довести, що ви можете побудувати інтерпретовані моделі для мамографії не втрачав точності над своїми аналогами чорної скриньки. Ми просто хотіли довести, що це можливо.

Як створити радіологічний ШІ, який показує свою роботу?

Ми вирішили скористатися міркування на основі випадків. Тут ви говорите: «Я думаю, що ця річ схожа на іншу річ, яку я бачив раніше». Це схоже на те, що доктор Хаус робить зі своїми пацієнтами в телешоу. Наприклад: «Ця пацієнтка хвора на серце, і я бачив її стан раніше у пацієнтки 20 років тому. Ця пацієнтка — молода жінка, а той — літній чоловік, але стан серця схожий». І тому я можу міркувати про цей випадок у термінах іншого випадку.

Ми вирішили зробити це за допомогою комп’ютерного зору: «Ну, ця частина зображення виглядає як та частина того зображення, яку я бачив раніше». Це пояснило б процес міркування у спосіб, подібний до того, як людина могла б пояснити свої міркування щодо зображення іншій людині.

Це моделі високої складності. Це нейронні мережі. Але поки вони міркують про поточну справу з точки зору її зв’язку з минулими випадками, це обмеження, яке змушує модель бути інтерпретованою. І ми не втратили точності порівняно з тестами комп’ютерного зору.

Чи буде цей «доктор» Техніка будинку працює для інших сфер охорони здоров'я?

Ви можете використовувати міркування на основі випадків для будь-чого. Коли ми започаткували проект мамографії, мої студенти Аліна Барнетт і Старк Го, а також лікар на ім’я Брендон Вестовер передали свої знання безпосередньо до сканування ЕЕГ для тяжкохворих пацієнтів. Це схожа нейронна архітектура, і вони навчили її протягом кількох місяців, дуже швидко.

Якщо цей підхід такий же точний, як і чорні ящики, чому б не використовувати його для всього?

Ну, по-перше, набагато важче навчити інтерпретативну модель, тому що вам потрібно думати про процес міркування та переконатися, що він правильний. Для рішень з низькими ставками це насправді не варто. Як і у випадку з рекламою, якщо реклама потрапляє до потрібних людей і заробляє гроші, люди, як правило, щасливі. Але для прийняття серйозних рішень я вважаю, що це варте додаткових зусиль.

Чи є інші способи зрозуміти, що робить нейронна мережа?

Приблизно в 2017 році люди почали працювати над «пояснюваністю», яка пояснювала прогнози чорної скриньки. Отже, у вас є якась складна функція — як нейронна мережа. Ви можете думати про ці методи пояснення як про спробу наближення цих функцій. Або вони можуть спробувати вибрати, які змінні важливі для конкретного прогнозу.

І ця робота має серйозні проблеми. Пояснення мають бути неправильними, тому що якби їхні пояснення завжди були правильними, ви могли б просто замінити чорний ящик поясненнями. Тож той факт, що люди, що займаються пояснюваністю, випадково заявляють про ті ж самі гарантії, які насправді надають люди, що займаються інтерпретацією, викликав у мене дуже незручність, особливо коли мова йшла про важливі рішення. Навіть за наявності пояснень вас можуть позбавити волі, якщо ви були в’язнем і справді не розумієте чому. Або вам можуть відмовити у позиці, яка б дала вам будинок, і знову ж таки, ви не зможете знати, чому. Вони могли б дати вам якесь погане пояснення, і ви нічого не могли б з цим зробити, насправді.

Чи зараз люди більш серйозно ставляться до інтерпретації?

Я думаю так. Раніше було так, що я виступаю з доповіддю, а деякі люди підходять і кричать на мене після. І вони сказали б: «Нам не потрібні інтерпретовані моделі; ми просто перевіряємо це дуже ретельно, і це добре». Тепер після цього люди підходять і кажуть: «Так, я згоден з вами, і я теж над цим працюю». Я думаю, що у вас все ще є зрозумілі люди, які зараз правлять країною — знову ж таки, легше тицьнути в чорну скриньку, ніж замінити її. Тих хлопців мені не вдалося переконати, і я вважаю це певною мірою особистою невдачею, але я працюю над цим. [Сміється.] Я сподіваюся, що наступне покоління допоможе мені.

Чи виграють будь-які програми машинного навчання з низькими ставками від більшої інтерпретації? 

Люди працюють над інтерпретованими моделями обробки природної мови. Ці великі моделі генерації мови, такі як ChatGPT, дуже важко зрозуміти. Тепер ми зрозуміли, що коли вони говорять щось образливе, було б корисно знати, чому вони це зробили. У цих моделях чорних ящиків справді важко усунути несправності. До ChatGPT я керував командою комп’ютерних поезій у Duke. Ми працювали з GPT-2, попередником ChatGPT, і мені часто здавалося, що ми намагаємося переконати його зробити те, чого він насправді не хоче робити. Він просто не міг зрозуміти, які слова, як правило, мають сенс разом.

Чому ви створили комп’ютерну поезію?

Ну, я сподівався зробити щось метакреативне. Команда почала з сонетів, потім перейшла до лімериків. Вони написали цей папір під назвою «Одного разу був справді поганий поет, він був автоматизований, але ви цього не знали». Ми змусили модель слідувати певному шаблону — як Mad Libs на стероїдах. Там була ціла купа віршів, які були просто бунтом. Це так весело, коли ти отримуєш якийсь дивний вірш, написаний комп’ютером, і ти кажеш: «Вау, це дуже смішно».

Але все це було до ChatGPT, який не має проблем із створенням тексту, навіть із дуже складними обмеженнями, такими як римування та ямбічний пентаметр. Але ChatGPT навчив мене дечому важливому. Якщо ми не маємо можливості інтерпретації великомасштабних моделей генерації мови та зображень, їх важче контролювати, а це означає, що вони, ймовірно, допоможуть швидше поширювати небезпечну дезінформацію. Тож вони змінили мою думку щодо цінності інтерпретації — здається, вона нам потрібна навіть для низьких ставок.

Ви коли-небудь використовували машинне навчання для створення музики?

Ми опублікували прекрасний алгоритм генерації комп’ютера для чотириголосна гармонія який повністю піддається інтерпретації, написаний одним із моїх студентів, Стівеном Ханом. Усі співавтори були музикантами, і ми включили теорію музики в алгоритм. Це не нейронна мережа, і вона створює красива музика.

Я маю на увазі, коли ми знаходимо крихітну маленьку модель для прогнозування того, чи буде у когось судомний напад, я вважаю, що це чудово, тому що це дуже маленька модель, яку хтось може оцінити та використовувати. А музика — це все про шаблони. Поезія — це все про шаблони. Усі вони гарні візерунки.