问题：我们对大语言模型 (LLM) 安全性到底了解多少？我们是否愿意通过在商业中使用法学硕士来打开混乱的大门？
CyCognito 首席执行官 Rob Gurzeev： 想象一下：您的工程团队正在利用法学硕士的巨大能力来“编写代码”并快速开发应用程序。它会改变您的企业的游戏规则；现在的开发速度快了几个数量级。您已将上市时间缩短了 30%。对于您的组织、利益相关者和最终用户来说，这是双赢的。
六个月后，您的应用程序被报告泄露客户数据；它已被越狱并且其代码被操纵。你现在是 面临 SEC 违规行为 以及顾客走开的威胁。
效率提升固然诱人，但风险也不容忽视。虽然我们在传统软件开发中拥有完善的安全标准，但法学硕士是黑匣子，需要重新思考我们如何提高安全性。
法学硕士面临的新型安全风险
法学硕士充满了未知的风险，并且容易受到传统软件开发中从未见过的攻击。
-
即时注入攻击 涉及操纵模型以产生意外或有害的响应。在这里，攻击者战略性地 制定欺骗LLM的提示，可能会绕过为确保负责任地使用人工智能（AI）而实施的安全措施或道德约束。因此，法学硕士的响应可能会明显偏离预期或预期的行为，对人工智能驱动的应用程序的隐私、安全和可靠性构成严重风险。
-
不安全的输出处理 当法学硕士或类似人工智能系统生成的输出未经充分审查或验证而被接受并合并到软件应用程序或网络服务中时，就会出现这种情况。这可以暴露 后端系统漏洞，例如跨站脚本（XSS）、跨站请求伪造（CSRF）、服务器端请求伪造（SSRF）、权限提升和远程代码执行（RCE）。
-
训练数据中毒 当用于训练法学硕士的数据被故意操纵或被恶意或有偏见的信息污染时，就会发生这种情况。训练数据中毒的过程通常涉及向训练数据集中注入欺骗性、误导性或有害的数据点。这些被操纵的数据实例是经过策略性选择的，以利用模型学习算法中的漏洞或灌输可能导致模型预测和响应出现不良结果的偏差。
LLM申请保护和控制的蓝图
虽然其中一些是 新领域，您可以实施一些最佳实践来限制暴露。
-
输入净化 正如名称所暗示的那样，涉及 清理输入以防止未经授权的操作和恶意提示发起的数据请求。第一步是输入验证，以确保输入符合预期的格式和数据类型。接下来是输入清理，删除或编码潜在有害的字符或代码以阻止攻击。其他策略包括批准内容的白名单、禁止内容的黑名单、数据库交互的参数化查询、内容安全策略、正则表达式、日志记录和持续监控以及安全更新和测试。
-
输出审查 is 对 LLM 生成的输出进行严格处理和评估，以减少 XSS、CSRF 和 RCE 等漏洞。该过程首先验证和过滤法学硕士的回答，然后再接受它们进行演示或进一步处理。它结合了内容验证、输出编码和输出转义等技术，所有这些技术都旨在识别和消除生成内容中的潜在安全风险。
-
保护培训数据 对于防止训练数据中毒至关重要。这包括实施严格的访问控制、采用加密技术保护数据、维护数据备份和版本控制、实施数据验证和匿名化、建立全面的日志记录和监控、进行定期审计以及为员工提供数据安全培训。验证数据源的可靠性并确保安全的存储和传输实践也很重要。
-
执行严格的沙盒策略和访问控制 还可以帮助降低 LLM 操作中 SSRF 漏洞的风险。这里可以应用的技术包括沙箱隔离、访问控制、白名单和/或黑名单、请求验证、网络分段、内容类型验证和内容检查。定期更新、全面记录和员工培训也很关键。
-
持续监控和内容过滤 可以集成到法学硕士的处理流程中，使用基于关键字的过滤、上下文分析、机器学习模型和可定制的过滤器来检测和防止有害或不当内容。道德准则和人工审核在保持负责任的内容生成方面发挥着关键作用，而持续的实时监控、用户反馈循环和透明度确保任何偏离预期行为的行为都能得到及时解决。
