从最新的颠覆性人工智能工具的第一次炒作开始，开发人员和对编码感兴趣的人就一直在使用它们只需按一下按钮即可生成代码。安全专家很快指出，在许多情况下，生成的代码是 质量差且易损坏 并且，在那些缺乏安全意识的人手中，可能会导致雪崩 不安全的应用程序和 Web 开发 打击毫无戒心的消费者。
还有一些人拥有足够的安全知识，可以将其用于邪恶的目的。对于每一项令人兴奋的人工智能壮举，似乎都会遇到使用相同技术的反击 邪恶的目的。网络钓鱼、深度伪造诈骗视频、恶意软件创建、一般脚本小子恶作剧——这些破坏性活动现在可以更快地实现，而且进入门槛更低。
当然，有很多标题诱饵将这种工具吹捧为革命性的，或者至少在与“平均”人类技能相匹配时脱颖而出。虽然大型语言模型式 (LLM) 人工智能技术将不可避免地改变我们工作的许多方面（而不仅仅是软件开发）的方式，但我们需要退后一步，考虑头条新闻之外的风险。
作为一个编码伴侣，它的缺陷也许是它最“人性化”的属性。
糟糕的编码模式主导其首选解决方案
ChatGPT 在数十年的现有代码和知识库上进行了训练，因此，尽管它令人惊奇和神秘，但它也遇到了人们在浏览代码时面临的同样常见的陷阱，这一点也就不足为奇了。糟糕的编码模式是首选，并且仍然需要具有安全意识的驱动程序通过提出正确的问题并提供正确的提示工程来生成安全的编码示例。
即便如此，从安全角度来看，也不能保证给出的代码片段是准确且功能齐全的；该技术很容易产生幻觉，甚至 构建不存在的库 当要求执行一些特定的 JSON 操作时。这可能会导致威胁行为者的“幻觉抢注”，他们会很乐意启动一些伪装成 ChatGPT 充满信心推荐的伪造库的恶意软件。
最终，我们必须面对这样的现实：总的来说，我们并没有期望开发人员具有足够的安全意识，我们作为一个行业也没有为他们做好充分的准备，将安全代码作为默认状态编写。这在输入 ChatGPT 的大量训练数据中显而易见，我们可以预期其输出会产生类似的乏善可陈的安全结果，至少在最初是这样。开发人员必须能够识别安全错误，并自行修复它们或设计更好的提示以获得更可靠的结果。
最快的 大规模用户研究 斯坦福大学研究人员对用户如何与人工智能编码助手交互以解决各种与安全相关的功能进行了研究，支持了这一观点。
在这种情况和不可避免的人工智能威胁将渗透到我们的未来之间，开发人员现在比以往任何时候都更必须磨练他们的安全技能并提高代码质量的标准，无论其来源如何。
通往数据泄露灾难的道路是善意铺就的
人工智能编码伴侣很受欢迎也就不足为奇了，特别是当开发人员面临着越来越大的责任、更紧迫的期限以及公司创新的雄心时。然而，即使有最好的意图，在使用人工智能进行编码时缺乏可操作的安全意识也将不可避免地导致明显的安全问题。所有使用 AI/ML 工具的开发人员都将生成更多代码，其安全风险级别将取决于他们的技能水平。组织需要敏锐地意识到，未经培训的人员肯定会更快地生成代码，但他们也会增加技术安全债务的速度。
即使我们在 4 月份对 ChatGPT 进行的初步测试也表明，它会产生非常基本的错误，可能会造成灾难性的后果。当我们要求它使用 MySQL 数据库在 PHP 中构建登录例程时，功能代码很快就生成了。然而，它默认以明文形式将密码存储在数据库中，以代码形式存储数据库连接凭据，并使用可能导致 SQL 注入的编码模式（尽管它确实对输入参数进行了一定程度的过滤并吐出数据库错误） ）。无论以何种标准衡量，所有新手错误：
进一步的提示确保了错误得到纠正，但纠正过程需要大量的安全知识。未经检查和广泛使用这些工具并不比让初级开发人员参与您的项目更好，如果此代码正在构建敏感基础设施或处理个人数据，那么我们正在寻找一个定时炸弹。
当然，就像初级开发人员无疑会随着时间的推移提高他们的技能一样，我们期望 AI/ML 能力也会得到提高。一年后，它可能不会犯如此明显和简单的安全错误。然而，这将大大提高追踪更严重、隐藏、不平凡的安全错误所需的安全技能，但它仍然有产生的危险。
我们在查找和修复安全漏洞方面仍然准备不足，人工智能扩大了差距
尽管多年来人们一直在谈论“左移”，但事实仍然是，对于大多数组织来说，开发群体中严重缺乏实用的安全知识，我们必须更加努力地 提供合适的工具和教育 帮助他们上路。
就目前情况而言，我们还没有为已经遇到的安全漏洞做好准备，更不用说人工智能带来的新问题，如即时注入和幻觉蹲下，这些问题代表着即将像野火一样爆发的全新攻击媒介。人工智能编码工具确实代表了开发人员编码武器库的未来，但安全使用这些生产力武器的教育现在就必须到来。
