您可能会发现自己住在一个霰弹枪小屋里。您可能会发现自己正在使用 GPT-4。您可能会问自己，“GPT-4 会运行《DOOM》吗？”你可能会问自己：“我说得对吗？我错了吗？”
微软首席应用科学家、英国约克大学研究员 Adrian de Wynter 在最近的一篇研究论文中提出了这些问题，“GPT-4 会运行《DOOM》吗？“
遗憾的是，GPT-4（微软支持的 OpenAI 的大型语言模型）缺乏直接执行《DOOM》源代码的能力。
但它的多模态变体 GPT-4V 可以接受图像作为输入以及文本，表现出同样可爱的子能力 厄运 令人担忧的基于文本的模型已经催生了无数人工智能初创公司。
“根据论文的设置，GPT-4（以及具有视觉功能的 GPT-4，或 GPT-4V）本身无法真正运行 Doom，因为它受到输入大小的限制（而且，显然，它可能只是编造一些东西） ；你真的不希望你的编译器每五分钟就出现一次幻觉），”de Wynter 在一份解释性文章中写道 注意 关于他的论文。 “也就是说，它绝对可以充当引擎的代理，与其他“它会运行《毁灭战士》吗？”不同。实现，例如 E。大肠杆菌 or 记事本设立的区域办事处外，我们在美国也开设了办事处，以便我们为当地客户提供更多的支持。“
也就是说，GPT-4V 无法运行 DOOM 就像约翰迪尔拖拉机 但它无需经过专门训练就能玩《DOOM》。
为了解决这个问题，de Wynter 设计了一个调用 GPT-4V 的 Vision 组件，它从游戏引擎捕获屏幕截图并返回游戏状态的结构描述。他将其与调用 GPT-4 的代理模型结合起来，根据视觉输入和之前的历史记录做出决策。代理模型被告知将其响应转换为对游戏引擎有意义的击键命令。
交互通过管理器层进行处理，该管理器层包含一个开源 Python 绑定到 C 末日引擎 在 Matplotlib 上运行。
De Wynter 的图表展示了玩《DOOM》的 GPT-4V 系统的设计……点击放大
该论文称，这种人工智能模型和代码的组合可以打开大门、与敌人战斗和发射武器。它可以执行更广泛的指令集（例如关卡演练）以提高其自身的性能。
这个基于 GPT-4V 的系统的主要缺点是缺乏对象持久性——当游戏中的僵尸离开屏幕时，它会忘记它们。
GPT-4 忘记了僵尸并继续前进
“例如，模型经常会在屏幕上看到僵尸，然后开始向它开火，直到它击中（或死亡），”de Wynter 解释道。 “现在，这是为 1993 年的硬件而编写的人工智能，所以我猜它没有超深的决策树。所以僵尸向你射击，然后开始在房间里跑来跑去。
“这里有什么问题吗？好吧，首先僵尸要消失。更糟糕的是，它仍然活着，并且会在某个时候攻击你。所以你必须去追求它，对吗？毕竟，在《毁灭战士》中，要么被重击，要么被重击。
“事实证明，GPT-4 忘记了僵尸并继续前进。注意：提示明确告诉模型在受到伤害并且看不到敌人时该怎么做。更好的是，它只是继续快乐地前进，然后被困在角落里，然后死掉。它确实转了几次，但在近 50-60 次运行中，我观察到了它……两次，我想说。”
而且，GPT-4 不能很好地推理。当被要求解释它在上下文中通常是正确的行为时，它的解释很差，并且经常包含幻觉（又名不正确的信息）。
尽管如此，De Wynter 认为 GPT-4 能够在没有事先训练的情况下玩《DOOM》是很了不起的。
同时，他也觉得这很麻烦。
“在道德部门，令人非常担忧的是（a）我可以轻松地构建代码让模特拍摄一些东西； （b）让模型能够准确地拍摄某些东西，而无需真正对指令进行事后猜测，”他在总结文章中写道。
“因此，虽然这是围绕规划和推理的非常有趣的探索，并且可以在自动化视频游戏测试中应用，但很明显该模型并不知道自己在做什么。我强烈敦促每个人思考这些模型的部署对社会意味着什么以及它们潜在的滥用。”
你可能会对自己说：“天哪，我做了什么？”®
