COMMENTARY

OWASP เพิ่งเปิดตัว รายการ 10 อันดับแรกสำหรับแอปพลิเคชันโมเดลภาษาขนาดใหญ่ (LLM)ในความพยายามที่จะให้ความรู้แก่อุตสาหกรรมเกี่ยวกับภัยคุกคามด้านความปลอดภัยที่อาจเกิดขึ้น ที่ต้องระวังเมื่อปรับใช้และจัดการ LLM รุ่นนี้เป็นก้าวสำคัญในทิศทางที่ถูกต้องสำหรับชุมชนความปลอดภัย เนื่องจากนักพัฒนา นักออกแบบ สถาปนิก และผู้จัดการขณะนี้มี 10 ประเด็นที่ต้องให้ความสำคัญอย่างชัดเจน 

คล้ายกับ กรอบสถาบันมาตรฐานและเทคโนโลยีแห่งชาติ (NIST) และ  แนวทางปฏิบัติของหน่วยงานรักษาความปลอดภัยทางไซเบอร์และโครงสร้างพื้นฐาน (CISA) สำหรับอุตสาหกรรมการรักษาความปลอดภัย รายชื่อของ OWSAP จะสร้างโอกาสในการปรับแนวที่ดีขึ้นภายในองค์กร ด้วยความรู้นี้ หัวหน้าเจ้าหน้าที่รักษาความปลอดภัยข้อมูล (CISO) และผู้นำด้านความปลอดภัยสามารถมั่นใจได้ว่ามีมาตรการป้องกันด้านความปลอดภัยที่ดีที่สุดเกี่ยวกับการใช้เทคโนโลยี LLM ที่พัฒนาอย่างรวดเร็ว LLM เป็นเพียงรหัส เราจำเป็นต้องใช้สิ่งที่เราได้เรียนรู้เกี่ยวกับการตรวจสอบสิทธิ์และการอนุญาตรหัสเพื่อป้องกันการใช้ในทางที่ผิดและการประนีประนอม นี่คือสาเหตุที่ข้อมูลระบุตัวตนจัดให้มี Kill Switch สำหรับ AI ซึ่งเป็นความสามารถในการตรวจสอบและให้สิทธิ์แต่ละโมเดลและการดำเนินการของโมเดลเหล่านั้น และหยุดการทำงานเมื่อมีการใช้ในทางที่ผิด ประนีประนอม หรือเกิดข้อผิดพลาด

ฝ่ายตรงข้ามกำลังใช้ประโยชน์จากช่องว่างในองค์กร

ในฐานะผู้ปฏิบัติงานด้านความปลอดภัย เราได้ คุยกันมานาน สิ่งที่ฝ่ายตรงข้ามกำลังทำอยู่ เช่น ข้อมูลเป็นพิษ ช่องโหว่ของห่วงโซ่อุปทาน หน่วยงานที่มากเกินไปและการโจรกรรม และอื่นๆ รายการ OWASP สำหรับ LLM นี้เป็นข้อพิสูจน์ว่าอุตสาหกรรมกำลังตระหนักถึงความเสี่ยง เพื่อปกป้ององค์กรของเรา เราต้องแก้ไขอย่างรวดเร็วและดำเนินการเชิงรุก 

ปัญญาประดิษฐ์เชิงสร้างสรรค์ (GenAI) กำลังให้ความสำคัญกับความเสี่ยงด้านซอฟต์แวร์ระลอกใหม่ที่มีรากฐานมาจาก ความสามารถเดียวกัน นั่นทำให้มันทรงพลังตั้งแต่แรก ทุกครั้งที่ผู้ใช้ถามคำถาม LLM ระบบจะรวบรวมข้อมูลตำแหน่งเว็บจำนวนนับไม่ถ้วนเพื่อพยายามให้การตอบสนองหรือเอาต์พุตที่สร้างโดย AI แม้ว่าเทคโนโลยีใหม่ทุกอย่างจะมาพร้อมกับความเสี่ยงใหม่ๆ แต่ LLM ก็มีความกังวลเป็นพิเศษ เนื่องจากเทคโนโลยีเหล่านี้แตกต่างจากเครื่องมือที่เราคุ้นเคยมาก

ภัยคุกคาม LLM 10 อันดับแรกเกือบทั้งหมดมุ่งเน้นไปที่การประนีประนอมในการรับรองความถูกต้องสำหรับข้อมูลประจำตัวที่ใช้ในแบบจำลอง วิธีการโจมตีที่แตกต่างกันจะใช้ขอบเขต ซึ่งไม่เพียงส่งผลต่อข้อมูลประจำตัวของอินพุตโมเดลเท่านั้น แต่ยังรวมถึงข้อมูลประจำตัวของโมเดลด้วย เช่นเดียวกับผลลัพธ์และการดำเนินการของโมเดลเหล่านั้น สิ่งนี้มีผลกระทบแบบน็อคออนและเรียกร้องให้มีการรับรองความถูกต้องในการลงนามโค้ดและการสร้างกระบวนการเพื่อหยุดช่องโหว่ที่แหล่งที่มา

การรับรองความถูกต้องของการฝึกอบรมและแบบจำลองเพื่อป้องกันพิษและการใช้ในทางที่ผิด

เมื่อมีเครื่องจักรพูดคุยกันมากขึ้นกว่าเดิม จะต้องมีการฝึกอบรมและการรับรองความถูกต้องของวิธีการใช้ข้อมูลประจำตัวเพื่อส่งข้อมูลและข้อมูลจากเครื่องหนึ่งไปยังอีกเครื่องหนึ่ง โมเดลจำเป็นต้องตรวจสอบรหัสเพื่อให้โมเดลสามารถจำลองการรับรองความถูกต้องนั้นไปยังเครื่องอื่นได้ หากมีปัญหากับอินพุตหรือโมเดลเริ่มต้น เนื่องจากโมเดลมีความเสี่ยงและมีบางสิ่งที่ต้องจับตามองอย่างใกล้ชิด ก็จะเกิดเอฟเฟกต์โดมิโน โมเดลและอินพุตจะต้องได้รับการรับรองความถูกต้อง หากไม่เป็นเช่นนั้น สมาชิกในทีมรักษาความปลอดภัยจะสงสัยว่านี่เป็นโมเดลที่ถูกต้องที่พวกเขาฝึกฝนมาหรือไม่ หรือกำลังใช้ปลั๊กอินที่พวกเขาอนุมัติหรือไม่ เมื่อโมเดลสามารถใช้ API และการตรวจสอบสิทธิ์ของโมเดลอื่นๆ ได้ การอนุญาตจะต้องถูกกำหนดและจัดการอย่างดี แต่ละรุ่นจะต้องได้รับการรับรองความถูกต้องด้วยเอกลักษณ์เฉพาะตัว

เราได้เห็นการเล่นนี้ออกมาเมื่อเร็วๆ นี้ด้วย ความล้มเหลวของ AT&Tซึ่งได้รับการขนานนามว่าเป็น "ข้อผิดพลาดในการกำหนดค่าซอฟต์แวร์" ส่งผลให้ผู้คนหลายพันคนไม่มีบริการโทรศัพท์มือถือระหว่างการเดินทางตอนเช้า ในสัปดาห์เดียวกันนั้น Google พบข้อผิดพลาดที่แตกต่างออกไปมากแต่ก็น่ากังวลพอๆ กัน โปรแกรมสร้างรูปภาพ Gemini ของ Google บิดเบือนความจริง ภาพประวัติศาสตร์ทำให้เกิดความกังวลเรื่องความหลากหลายและอคติอันเนื่องมาจาก AI ในทั้งสองกรณี ข้อมูลที่ใช้ในการฝึกโมเดล GenAI และ LLM รวมถึงการขาดราวกั้นรอบๆ คือต้นตอของปัญหา เพื่อป้องกันปัญหาเช่นนี้ในอนาคต บริษัท AI ต้องใช้เวลาและเงินมากขึ้นในการฝึกอบรมโมเดลอย่างเพียงพอและแจ้งข้อมูลได้ดีขึ้น 

เพื่อที่จะออกแบบระบบกันกระสุนและปลอดภัย CISO และผู้นำด้านความปลอดภัยควรออกแบบระบบที่โมเดลจะทำงานร่วมกับรุ่นอื่นๆ ได้ ด้วยวิธีนี้ ฝ่ายตรงข้ามที่ขโมยโมเดลหนึ่งไปจะไม่ทำให้ทั้งระบบล่มสลาย และอนุญาตให้ใช้วิธี kill-switch ได้ คุณสามารถปิดโมเดลและทำงานต่อและปกป้องทรัพย์สินทางปัญญาของบริษัทได้ ซึ่งจะทำให้ทีมรักษาความปลอดภัยมีความแข็งแกร่งยิ่งขึ้นและป้องกันความเสียหายเพิ่มเติม 

การดำเนินการตามบทเรียนจากรายการ 

สำหรับผู้นำด้านความปลอดภัย ฉันขอแนะนำให้ปฏิบัติตามคำแนะนำของ OWASP และสอบถามผู้บริหารระดับ CISO หรือ C ของคุณว่าองค์กรให้คะแนนช่องโหว่เหล่านี้โดยรวมอย่างไร กรอบการทำงานนี้ทำให้เราทุกคนมีความรับผิดชอบมากขึ้นในการนำเสนอข้อมูลเชิงลึกและโซลูชันด้านความปลอดภัยระดับตลาด เป็นเรื่องที่น่ายินดีที่เรามีบางสิ่งที่จะแสดงให้ CEO และคณะกรรมการของเราเห็นว่าเราทำอย่างไรเมื่อต้องเตรียมพร้อมรับความเสี่ยง 

ในขณะที่เรายังคงเห็นความเสี่ยงเกิดขึ้นกับ LLM และเครื่องมือบริการลูกค้า AI เหมือนที่เราเพิ่งทำ แชทบอทของ Air Canada คืนเงินให้กับนักเดินทางบริษัทจะต้องรับผิดชอบต่อความผิดพลาด ถึงเวลาที่จะเริ่มควบคุม LLM เพื่อให้แน่ใจว่าพวกเขาได้รับการฝึกอบรมอย่างถูกต้องและพร้อมที่จะจัดการกับข้อตกลงทางธุรกิจที่อาจส่งผลกระทบต่อผลกำไร 

โดยสรุป รายการนี้ทำหน้าที่เป็นกรอบงานที่ยอดเยี่ยมในการเพิ่มช่องโหว่ของเว็บและความเสี่ยงที่เราต้องให้ความสนใจเมื่อใช้ LLM ในขณะที่มากกว่าครึ่งหนึ่งของความเสี่ยง 10 อันดับแรกเป็นความเสี่ยงที่ได้รับการบรรเทาลงและเรียกร้องให้มี Kill Switch สำหรับ AI บริษัทต่างๆ จะต้องประเมินทางเลือกของตนเมื่อปรับใช้ LLM ใหม่ หากมีเครื่องมือที่เหมาะสมในการตรวจสอบอินพุตและโมเดล รวมถึงการดำเนินการของโมเดล บริษัทต่างๆ ก็จะมีความพร้อมที่ดีขึ้นในการใช้ประโยชน์จากแนวคิด AI kill-switch และป้องกันการถูกทำลายเพิ่มเติม แม้ว่าสิ่งนี้อาจดูน่ากลัว แต่ก็มีหลายวิธีในการปกป้ององค์กรของคุณท่ามกลางการแทรกซึมของ AI และ LLM ในเครือข่ายของคุณ

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
• เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
• เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
• เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
• ที่มา: https://www.darkreading.com/vulnerabilities-threats/top-lessons-cisos-owasp-llm-top-10