เพลโต ดาต้า อินเทลลิเจนซ์
ค้นหาแนวตั้ง & Ai

โมเดลภาษาขนาดใหญ่สามารถโกหกคุณได้ – ศาสตราจารย์คนนี้อยากให้คุณรู้เมื่อพวกเขาทำ – Mass Tech Leadership Council

วันที่:

พูดคุยกับใครก็ได้ ไม่ว่าจะเป็นมนุษย์ก็ตาม แล้วบทสนทนาของคุณจะพบกับอะไร มาลีเฮ อาลิคานี เรียกว่า “ความขัดแย้งที่ดีต่อสุขภาพ” ช่วงเวลาที่เป้าหมายของคุณในการสนทนาขัดแย้งกับของคู่ของคุณ ช่วงเวลาที่ต้องมีการชี้แจง ก่อให้เกิดความสับสน หรือนำไปสู่ความขัดแย้ง

ไม่เช่นนั้นกับโมเดลภาษาขนาดใหญ่

Alikhani ผู้ช่วยศาสตราจารย์ในวิทยาลัยวิทยาการคอมพิวเตอร์ Khoury แห่งมหาวิทยาลัย Northeastern กล่าวว่าโมเดลภาษาขนาดใหญ่เช่น ChatGPT มีปัญหาร้ายแรงอย่างแน่นอน

โครงการใหม่ของ Alikhani เรียกว่า Friction for Accountability in Conversational Transactions (FACT) เป็นความร่วมมือระหว่าง Northeastern University, University of Illinois Urbana-Champaign และ University of Southern California

โครงการ FACT ได้รับทุนสนับสนุนจากการสำรวจปัญญาประดิษฐ์ผ่านหน่วยงานโครงการวิจัยขั้นสูงด้านกลาโหม โดยมีเป้าหมายเพื่อพัฒนาเครื่องมือปัญญาประดิษฐ์ที่โปร่งใสและเท่าเทียมกันมากขึ้น

“สิ่งหนึ่งที่ทำให้การสื่อสารของมนุษย์เป็นเครื่องมือที่ประสบผลสำเร็จ” Alikhani กล่าว “ก็คือความจริงที่ว่าเราเป็นตัวแทนของความไม่แน่นอนในคำพูดและน้ำเสียงของเรา เราใส่มันในการแสดงออกทางสีหน้าของเรา”

ความขัดแย้งอันดีที่เกิดขึ้นจากความไม่แน่นอนในการสื่อสารระหว่างมนุษย์ช่วยรักษาความคิดเห็นและมุมมองที่หลากหลาย เธอกล่าวต่อ

แต่โมเดลภาษาขนาดใหญ่ (หรือ LLM) ไม่สนใจที่จะแสดงความไม่แน่นอนของพวกเขา ส่งผลให้เกิดสิ่งที่ Alikhani เรียกว่า "พฤติกรรมประสาทหลอน" โมเดลภาษาขนาดใหญ่ “ต้องการเพิ่มความพึงพอใจสูงสุด” ให้กับผู้ใช้ เธอกล่าว และ “อย่าทำให้เกิดความขัดแย้งใดๆ ในการสนทนา ไม่ว่าโมเดลจะมั่นใจหรือไม่ก็ตาม”

ปัญหาเพิ่มเติมเกิดขึ้นกับแบบจำลองภาษาขนาดใหญ่เนื่องจากมีแนวโน้มที่จะเกิดอาการประสาทหลอน LLMs “ประกอบข้อเท็จจริง พวกเขาเก่งมากในการโน้มน้าวผู้คนถึงข้อเท็จจริงที่ถูกสร้างขึ้น”

แม้จะมีปัญหาเหล่านี้ Alikhani ยังกล่าวด้วยว่ามนุษย์มีแนวโน้มที่จะพึ่งพา "ข้อเท็จจริง" ที่สร้างโดยโมเดลปัญญาประดิษฐ์เหล่านี้มากเกินไป ซึ่ง "อาจประกอบขึ้นเป็นข้อเท็จจริงเพื่อทำให้คุณมีความสุข"

ส่วนหนึ่งของสิ่งที่ทำให้ผู้ใช้ไว้วางใจ LLM มากเกินไปก็คือ “พฤติกรรมที่เหมือนมนุษย์” ของพวกเขา เธอกล่าว “นั่นจะบิดเบือนการรับรู้ของเรา”

โมเดลภาษาขนาดใหญ่ดูเหมือนจะให้การตอบสนองในทันที ซึ่งเป็นอีกปัจจัยหนึ่งที่ทำให้ผู้ใช้ถือว่าถูกต้อง “นักวิทยาศาสตร์ AI อย่างเราเป็นเรื่องยากที่จะบอกผู้คนว่า 'ใช่ มันสอดคล้องกัน ใช่มันรวดเร็ว ใช่ มันปรับให้เข้ากับสไตล์ของคุณ แต่มันทำให้เกิดภาพหลอน" Alikhani กล่าว

ภายใต้ทุนสนับสนุนใหม่ Alikhani และทีมของเธอจะออกแบบเครื่องมือที่แสดงให้เห็นถึงระดับความมั่นใจที่ LLM ถือครองเกี่ยวกับคำแถลงที่บริษัทจัดทำและทำให้เกิดความขัดแย้งที่ดีต่อสุขภาพในการสนทนาระหว่างมนุษย์กับ AI

“เราจะทำนายและพูดความเชื่อมั่นของระบบได้อย่างไร” อาลิคานีถาม หากโมเดล AI “มีความมั่นใจเพียง 2% ก็ควรสร้างความมั่นใจจากภายนอก”

“เป้าหมายหลักประการหนึ่งของการวิจัยคือการสร้างแบบจำลองความไม่แน่นอน การสร้างความไม่แน่นอนภายนอก” และสอน LLM ถึงวิธีพรรณนาถึงความไม่แน่นอนนั้นภายในการสนทนาระหว่างมนุษย์กับ AI สิ่งนี้อาจปรากฏในอินเทอร์เฟซของผู้ใช้เป็นคะแนนเปอร์เซ็นต์ของความแน่นอนของแบบจำลอง หรือแบบจำลองอาจสะท้อนถึงความไม่แน่นอนในการตอบสนองในลักษณะที่เหมือนมนุษย์มากกว่า

ตัวอย่างเช่น Alikhani จินตนาการถึงสถานการณ์ที่ผู้ป่วยอาจถามคำถามเกี่ยวกับสุขภาพของตนเองโดยใช้แบบจำลองภาษาขนาดใหญ่ LLM รุ่นปัจจุบันจะพยายามให้คำตอบ แม้ว่าคำตอบนั้นอาจกลายเป็นอันตรายก็ตาม Alikhani หวังจะสร้างโมเดลที่สามารถพูดได้ว่า “'ฉันไม่รู้' คุณควรโทรหาพยาบาลของคุณ '”

“ความแข็งแกร่งเป็นกุญแจสำคัญต่อความรับผิดชอบใน AI” Alikhani กล่าว ในขณะนี้ เป็นเรื่องปกติที่ LLM จะตอบกลับด้วยคำตอบเดียวสำหรับคำถามในขณะที่ถาม และคำตอบที่แตกต่างไปจากเดิมอย่างสิ้นเชิงในไม่กี่นาทีต่อมา

เมื่อพูดถึงการออกแบบ AI ที่มีทั้งความปลอดภัยและความรับผิดชอบ ระบบ AI ก่อนหน้านี้ที่อาจช่วยในงานง่ายๆ “ไม่สามารถเข้าถึงชุดข้อมูลอื่นๆ ได้” Alikhani กล่าว “และพวกเขาไม่สามารถพูดสิ่งที่อาจเป็นอันตรายได้ เพราะมันไม่ได้อยู่ในข้อมูลของพวกเขา”

สิ่งที่ชุดข้อมูลเหล่านั้นรวมหรือไม่รวมไว้เป็นกุญแจสำคัญในการเอาชนะอคติที่ LLM แสดงต่อ "เพศ แต่ยังรวมถึงอคติที่ละเอียดอ่อนกว่าด้วย เช่น อคติแบบภายในและภายนอก และอคติด้านการรับรู้ที่แตกต่างกัน ซึ่งสะท้อนให้เห็นในโมเดล [ภาษาใหญ่]"

ตอนนี้ Alikhani หวังที่จะออกแบบโมเดลที่ให้บริการผู้คนด้วย "ราคาและความชอบที่แตกต่างกัน" เธอกล่าว

“เราไม่ต้องการเพียงแค่เก็บระบบการสร้างไว้สำหรับประชากรที่เรามีข้อมูล แต่เราคิดว่าเราจะทิ้งใครไว้ข้างหลัง และเราจะหยุดช่องว่างขนาดใหญ่ของความไม่เท่าเทียมกันนี้ แทนที่จะทำให้มันแย่ลงได้อย่างไร” เธอถาม. “เป้าหมายของห้องทดลองของฉันคือการก้าวไปสู่ทิศทางนั้น”

จุด_img

ข่าวกรองล่าสุด

จุด_img

แชทกับเรา

สวัสดี! ฉันจะช่วยคุณได้อย่างไร?