编辑|+0
用鹈鹕骑自行车测试模型能力可能已经不够了?
最近,Andrej Karpathy 设计了一项很有意思的模型测试。
![]()
他把《指环王》开篇的一段文字交给 Opus 5,提供约 100 万 Token 的预算,成本大约为 10 美元,然后只提出了一个要求:使用 Three.js,把这段故事做成一个可以观看和交互的三维场景。
接下来,AI 自己忙了近两个小时,最终写出了约 5500 行代码。
![]()
视频链接:https://mp.weixin.qq.com/s/tZnmSbBCnzKLyCjOH_8VoQ
大家也可以直接打开网页观看和交互:
- https://karpathy.ai/lotr-movie/
这 5500 行代码并不只是搭建一个网页那么简单。模型首先需要理解原文所描述的环境和情节,创建人物、房屋、树木等多边形资产,再将这些元素逐一放入三维空间,为它们设置具体的 x、y、z 坐标。
然后,它还要规划镜头、设计角色动作、编写动画,让整个场景按照故事的叙事顺序运转起来。
当然,最终效果谈不上精致。
Karpathy 评价称,整个作品依然比较粗糙,部分场景甚至呈现出明显的「抽象感」,但整体效果仍然很有趣。
毕竟,「一个语言模型读完一段小说后,自己写下数千行代码,在三维坐标系中摆放资产、组织动画,并最终生成一个能动起来的世界」,这在几年前听起来还像是一个需要多人团队参与的小游戏项目。
而现在,成本大约是 10 美元。(BTW 10 美元也可以买打折的胡闹厨房)
有网友用不同的 harness 做出了一个增强版。
![]()
![]()
视频链接:https://mp.weixin.qq.com/s/tZnmSbBCnzKLyCjOH_8VoQ
还有人尝试了哈利波特版。
![]()
![]()
视频链接:https://mp.weixin.qq.com/s/tZnmSbBCnzKLyCjOH_8VoQ
Karpathy 认为,这个案例有趣的地方在于,在过去,任何一个头脑清醒的人都不会花时间去编写如此个性化的内容。花几天甚至几周时间,手写数千行高度定制的代码,对开发者来说显然是一件投入与回报严重不成比例的事情。
但大模型没有这种顾虑。只要计算预算允许,它就可以不断创建模型、调整坐标、补充动画,再反复检查程序是否能够正常运行。
让人想到一个梗图:
![]()
由此,Karpathy 进一步设想,未来的大模型或许能够按需生成各种临时存在的虚拟世界。
用户可以要求 AI 创建一个《指环王》场景,然后以旁观者、NPC,甚至故事角色的身份进入其中。任何小说、电影、历史事件,乃至个人脑海中的想象,都可能被临时转化为一个可以探索、可以交互的游戏空间。
《黑客帝国》加载中……《西部世界》加载中……
Karpathy 将其形容为一种「按需生成的、短暂存在的 GTA」。输入一个主题,等待片刻,一个只为你存在的世界就生成了。
不过,这次实验也暴露出了一个关键问题:大模型可以轻易写出游戏,却不太能检查自己的工作成果,因为它们目前还无法高效、原生地感知视频,也很难真正参与并理解一段游戏过程。
![]()
对于普通代码,模型可以读取报错信息、分析日志,再根据文字反馈进行修改。但三维世界不同,场景是否穿模、人物是否站在正确位置、镜头有没有被树挡住、动画看起来是否自然,都需要模型真正「看见」运行效果。
在这次实验中,Opus 5 只能在不同阶段缓慢截取画面,再根据静态图像一点点调整。整个过程既耗时,也容易出现判断失误。结果就是,代码虽然运行了,但场景中仍然留下了不少错位、碰撞和粗糙细节。
但无论如何,过去只有团队协作才能完成的高度定制内容,如今变成了一项成本仅为十几美元的即时生成任务,这是一件让人兴奋的事。
苦等 GTA 6 上线的日子里,大家可以先去「GTA 霍比屯」逛逛。
参考链接:
https://x.com/karpathy/status/2083749667410727319
https://x.com/Izkimar/status/2083819741643178208
https://x.com/filicroval/status/2083875012243542162
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.