ARTICLE / 新闻中心

突发!李飞飞最新 AI 成果发布,把世界模型装进复古掌机,单张图实时跑出 15 帧

新闻中心 8344
突发!李飞飞最新 AI 成果发布,把世界模型装进复古掌机,单张图实时跑出 15 帧
突发!李飞飞最新 AI 成果发布,把世界模型装进复古掌机,单张图实时跑出 15 帧

点下生成按钮,然后对着转圈的进度条干等好几分钟。过去玩 3D 世界模型或者视频生成的朋友,估计都被那种漫长的渲染折磨得没脾气了。 就在今天,李飞飞创办的 World Labs 发布了一款名为 Frameboy 的研究预览版 Demo,直接把自家的自回归世界模型 Atlas 拉进了实时交互时代。 官方博客 https://www.worldlabs.ai/blog/atlas-realtime 只需要打开浏览器, 云端 GPU 就能以最高 15 fps 的帧率把画面实时串流过来,让你像打游戏一样自由操控镜头,在单张图片生成的 3D 世界里随便溜达。 哪怕是不小心走错了方向、试了个烂点子,试错成本也几乎归零,鼠标一划就能换个角度继续探索。 更有意思的是,此次更新也是今年 9 月底 AMD 宣布斥资 82 亿美元(约合人民币 550 亿元)全股票收购 World Labs 之后,李飞飞这支顶尖空间智能团队交出的又一份技术答卷。 把世界模型装进复古掌机,单张图实时跑出 15 帧 要把此次更新看明白,得先提一嘴两个月前刚亮相的 Atlas。 作为一个自回归世界模型,Atlas 当时最大的卖点是可以逐帧生成画面,并支持像素级精度的相机视角控制,无论是拿一张图脑补出虚拟 3D 世界,还是用几张多视角照片还原真实地标、去建筑工地看进度、给电影勘景都不在话下。 但问题也很现实,就是太慢了。 如果每次调整一下机位,都得等上几十秒甚至好几分钟才能看到渲染结果,创作者在搭场景和规划运镜时就会变得束手束脚,每次按生成键都像在开盲盒。 为了缓解世界模型漫长的生成等待, 团队对 Atlas 进行了深度推理优化,并推出了搭载这一优化版模型的实时交互 Demo Frameboy, 复古掌机式的设计也让人很容易联想到经典的 Game Boy。 现在,当画面生成速度提升到最高每秒 15 帧,用户已经明显感觉不到点击生成那个割裂的动作了。 你只需要在浏览器里推拉摇移相机,云端就会源源不断地把新视角的画面实时推流到屏幕上。 拿官方放出的客厅对比演示来说,以前用慢速模型手动迭代,用户得小心翼翼地在房间里点四个关键帧机位,按下生成干等视频出来,发现角度不对再拖拽重试,来回折腾好几轮。 而在 Frameboy 的实时模式下,你直接开着虚拟相机在房间里转圈就行,视野所及之处,画面同步实时更新。 如果熟悉 World Labs 去年的研究预览项目 RTFM,可能会觉得复古掌机形态有点眼熟。 不过相比当年那个轻量级的帧生成模型,如今的 Atlas 不光模型规模大得多、吞下的数据量高出好几个数量级,能力边界也完全不同了。 去年的 RTFM 主要只能在已有的几个视角之间做插值过渡,而现在的 Atlas 哪怕只喂给它一张静态图片或者一段文字描述,都能从零把整个周边场景给脑补出来,放进 Frameboy 的空间上下文里任你交互探索。 同时,它也完整保留并升级了多视角新视图合成能力,输入几张真实世界名胜古迹的多角度照片,就能在浏览器里直接开启一场赛博实景漫游。 上传图片,亲手搭个 3D 游乐场 光在官方预设好的几个场景里逛,显然还不够过瘾。 为了让大家能亲手搭出自己的 3D 世界,World Labs 还把实时串流能力塞进了自家的网页端应用 Viewfinder 里,做成了实时渲染叠加模式, 目前正处于封闭测试阶段并已开放候补名单申请。 在 Viewfinder 里,你可以拿自己上传的图片当起点,操控虚拟相机一步步往外走,一帧一帧地把整个 3D 空间搭建起来。 Atlas 每生成新的一帧,都会同步输出色彩与深度信息,帮你在视觉上对齐整个三维空间结构。 等场景主体搭得差不多了,直接一键唤起 Frameboy 叠加层,刚才还在逐帧构建的静态工程,瞬间就能变成实时串流的 3D 游乐场。 团队对未来的定位非常清晰,就是 想让 Atlas 这样的世界模型成为下一代生成式渲染器。 不过官方在博客最后也没有回避目前的算力门槛。 现阶段 Frameboy 必须运行在云端的高性能 GPU 服务器上,跟传统的本地渲染比起来,成本绝对算不上便宜。 但回顾计算机图形学的历史,任何一项颠覆性技术在刚诞生时往往都是又慢又贵的,随着底层硬件与软件算法的协同演进,今天昂贵的云端实验室玩具,迟早会变成白菜价的普及工具。 550 亿联姻苏姿丰,加速贴近底层硬件 恰恰是在软硬协同降本提速这件事上,如今的 World Labs 可以说是找到了最合适的靠山。 就在一个多月前的 9 月 28 日,芯片巨头 AMD 刚刚官宣了一项重磅收购协议,拟以 82 亿美元的全股票交易将成立仅两年的 World Labs 收入囊中。 预计在今年底完成交割的这笔交易,直接创下了 AMD 历史上仅次于赛灵思的第二大收购纪录。 算起来,这家总部位于旧金

about image
KEEP READING / 02

相关阅读

查看全部
新闻分析:中国女足主帅米利西奇缘何下课

新闻分析:中国女足主帅米利西奇缘何下课

新华社北京10月23日电(记者岳东兴、韦骅)中国足协23日宣布,女足国家队主教练安特·米利西奇离任。双方原计划延续到2027年巴西女足世界杯的合作,提前画上句号。 3月14日,中国队主教练安特·米利西奇在比赛前。当地时间3月14日,在澳大利亚珀斯举行的2026年女足亚洲杯四分之一决赛中,中国队对阵中国台北队。新华社记者 马平 摄 现年52岁的米利西奇于2024年5月接过中国女足教鞭。在两年多的执教

0比2后主帅坚称球员和高层仍支持我:噪音只是噪音

0比2后主帅坚称球员和高层仍支持我:噪音只是噪音

主场0比2输给纽卡斯尔联后,水晶宫主帅皮埃尔·萨热(Pierre Sage)坚持认为,球员和俱乐部高层依然支持自己。 这场在塞尔赫斯特公园的失利,让水晶宫的连续不胜场次扩大到四场。上半场结束后的11分钟内,纽卡斯尔联连进两球,锁定胜局。更让外界在意的是丢球的时间点——第一球几乎是在萨热中场训话后开场不到一分钟就打进的,水晶宫又一次在下半场开局阶段慢热。本赛季水晶宫丢掉的球里,有五分之一出现在比赛前

国家安全部披露案件细节:境外间谍情报机关瞄准我重点单位涉密人员,施以小恩小惠拉近距离,步步深入,打探涉密信息,最终完成策反

国家安全部披露案件细节:境外间谍情报机关瞄准我重点单位涉密人员,施以小恩小惠拉近距离,步步深入,打探涉密信息,最终完成策反

国家安全部10月29日披露, 近日,国家安全机关破获一起案件,涉案人员本是大家眼中的“天之骄子”,却在一错再错之下沦为阶下囚,令人惋惜。 长期以来,境外间 谍情报机关瞄准我重点单位涉密人员,以交友谈心、兴趣往来、生活关照等为伪装,施以小恩小惠拉近距离, 步步深入 ,不断突破心理防线,打探涉密信息,最终完成策反。 面对刻意主动示好、频繁打探内部信息的“有心人士”,广大涉密人员务必保持警惕,严守纪律红