模型发布2 分钟读完Hacker News

World Labs发布Atlas世界模型,支持图像视频3D生成与重建

速览

World Labs推出下一代世界模型Atlas,这是一个原生处理文本、图像、视频和3D的多模态模型。Atlas支持像素级相机控制的图像视频生成、从稀疏图像重建3D场景,以及时空模拟。模型输出可达1440p一分钟视频,性能随训练算力提升而增强。

World Labs 今日发布其下一代世界模型 Atlas,这是一个从头预训练的 omni 模型,原生支持文本、图像、视频和3D四种模态。Atlas 的核心架构是多模态自回归扩散 transformer,所有输入被整合到一个共享的空间上下文中,模型利用该上下文生成后续内容,并保持3D一致性。

Atlas 的主要能力分为三块。在相机控制生成方面,它可以从一到六张参考图像生成视频,支持像素级精确的相机路径控制,输出分辨率最高达1440p、时长一分钟。在空间重建方面,Atlas 能从一至数十张输入图像重建真实场景,同时生成新视角图像和显式3D输出,据称在稀疏输入下的重建效果优于专门做3D重建的模型。在时空模拟方面,它可对输入视频进行重构图,支持机器人领域的 Real-to-Sim 工作流。

Atlas 还支持从文本生成图像和360度全景图,能遵循复杂提示并渲染文字。World Labs 表示,Atlas 将驱动其未来版本的 Marble 产品及其他工具。目前 Atlas 已开放早期访问申请。

原文Atlas: A World Model for Spatial Intelligenceworldlabs.ai

#世界模型#空间智能#Atlas

本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。