Google DeepMind发布Genie 4世界模型,支持实时音频与场景编辑
速览
Google DeepMind于周二发布新一代世界模型Genie 4研究预览版。新模型能生成更逼真的交互式世界,支持在模拟过程中输入文本来改变场景,并同步生成匹配的实时音频。这意味着开发者可用文本实时操控模拟环境,为游戏、交互式学习和机器人测试带来新可能。
Genie 4发布正值世界模型行业整合加速。AI视频初创公司Runway两个月前刚推出第二代世界模型GWM Worlds 2,支持动态响应和音频生成。与此同时,李飞飞的World Labs正被AMD收购,亚马逊洽谈买下Decart,Rivian则收购Third Dimension用于自动驾驶仿真测试。Google此举意在激烈竞争中保持领先。
与前代Genie 3相比,Genie 4在真实感和音频之外,支持自由编辑,例如实时更改天气或摄像机角度、添加新人物或物体。它可维持一致场景长达两分钟,是前代的两倍,物理效果更佳,角色也更接近真人。
Gemini AI模型与Genie 4的集成更紧密,扮演导演角色,负责规划步骤和检查帧,而Genie则生成视觉内容。在一项与Gemini Robotics相关的实验中,Gemini 4 Argon模型将任务分解为步骤,由Genie 4实时模拟,展示了在真实世界前测试机器人场景的可能性。Google研究总监Tejas Kulkarni表示,未来将出现混合世界模型,Gemini编写代码和文本,Genie实时接收并模拟现实。
早期测试者发现电影原型制作可能是新用例。Google DeepMind工程师Diego Rivas指出,实时特性在创意构思和故事板阶段价值最大。Google同时提供AI视频生成模型Veo,已受电影制作者欢迎,未来用户或可借助Gemini Omni将原型转化为创意资产,但该能力仍远未成熟。团队承认Genie 4仍有短板:模拟运行越久,细节和物体越容易漂移,音频准确性和世界内文本可读性也待解决。
Genie 4现已向可信测试者开放研究预览,未来几周将向Google AI Ultra订阅者及Gemini API和AI Studio的早期合作伙伴推送。
原文Google’s Genie 4 world model adds audio, more realistic worlds, and real-time steeringtechcrunch.com
#Google#世界模型#Genie
本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。