非凡国际为你整理相关体育消息:
编辑|牛来 今年交互视频世界模型成了大热门。
阿里 HappyOyster、蚂蚁 LingBot、生数科技 Vidu S2、爱诗科技 PixVerse R2 等接连亮相。
虽然技术路线各有侧重,但各家目标高度一致,都想让 AI 视频能实时响应用户操作,支持连续交互,生成一个可以自由探索的虚拟世界。
当然,我们对距离真正开放、长期运行的生成世界一直抱有保守期待,毕竟真正落地有不少技术与工程难题。
但现实的进展,往往快过预期。
最近,我们在交互视频世界模型评测 WBench 的榜首,看到了一个新名字: Murea-Pro 。
它在多轮交互视频评测 WBench Full-289 中,以 81.
1 分 拿下第一 。
其中拉开差距最大的交互能力和物理合理性,分别取得 82.
6 和 74.
4 的高分。
Wbench 链接: https://meituan-longcat.
github.
io/WBench/#leaderboard 生成速度方面非常亮眼,RTX PRO 6000 可以做到 3.
6 s 生成 5s 长度视频, RTF < 1 (Real-Time Factor,实时因子),处理速度快于音频播放速度,实现了实时视频。
我们在该模型官网,发现它还有一个轻量型的开源版本: Murea-Fast 。
这个「轻量型」并不逊色,在参考生视频评测 OpenS2V-Eval 中,以 64.
98 分位居参评开源模型第一,其 NexusScore 达 51.
66,在参考还原能力上同样排名第一。
两项成绩,让这组模型进入了我们的视野,在认真拆解了它的技术报告以及经过实测后,发现很多有意思的地方:这个团队的野心,不是下一个世界模型,而是更好玩、更有想象空间、能更快落地的 —— 实时互动内容模型 。
视频地址:https://mp.
weixin.
qq.
com/s/_YAaKBXAJuwOjXcFovarLA 脱离「看视频」的逻辑,这更像在一个 AI 生成的世界里真正「玩」起来。
技术解读:Murea-InWorld 如何维持一个持续演化的世界?
Murea-InWorld 采用 两层协同架构 。
每轮交互开始时, 上层的 Murea-Mind 作为模型大脑,会读取当前世界状态、用户指令和上一段视频的结束画面,规划下一个事件,充当编剧和导演和核心角色;
下层的 Murea-Pro 和 Murea-Fast 负责执行生成相应的画面与声音;
生成结果随后交给大脑模型检查,确认发生的变化再写回世界状态,成为下一轮交互的依据。
这一过程可以概括为 「状态、行动、生成、观测」 。
这种双层协作,可以让模型避免出现生成虽快,但内容无意义的情况,真正做到让用户用自然语言来持续改变一个有记忆、有声音、可以回档分支、支持多人参与的虚拟世界。
GitHub链接:https://github.
com/Murea-Labs/InWorld Hugging Face链接:https://huggingface.
co/MureaLabs/InWorld 官网链接:https://murea.
ai/ 让这套闭环稳定运转的关键,是 持续更新的世界状态 。
系统在视频模型之外维护一套「账本」,人物和场景的参考图、声音、固定描述被保存为资产;
人物位置、服装、情绪、随身物品,以及天气、光线等信息则持续更新。
固定身份与动态状态分开管理,可以降低角色外观和剧情变化互相干扰的概率。
用户撤销操作时,系统恢复生成前的状态快照;
重新选择则创建并行分支,原有视频与剧情继续保留。
多人模式下,每名玩家的输入先转换为结构化动作,再由系统统一编排进同一画面。
World Agent 总览。
上层保存世界记忆;
中层把用户指令转换成生成条件并保存片段;
下层回看生成画面,为后续规划和部分状态更新提供依据。
世界状态确定之后,Murea-Pro 和 Murea-Fast 负责生成画面与声音,其核心机制是 Omni-Reference Generation 。
人物、动物、物品和场景参考会被分别编码为干净的条件 latent,并获得独立编号。
参考素材不参与加噪和去噪,主要作用是稳定人物身份和外观。
左侧是输入参考,右侧是同一生成视频的连续采样帧。
可重点看人物、猫、布料与庭院的组合,以及多人同框、写实和风格化场景中的实体对应。
视频与音频在同一个 DiT 中联合生成。
受控注意力机制先让参考信息作用于各自模态,再通过正片中的视频和音频 token 建立联系。
训练数据使用结构化描述,明确每个参考对应谁、由谁说出哪句台词,以及动作和镜头发生的时间顺序。
音视频生成框架总览。
模型能力的三层结构。
上方 (a) 说明参考图、可选声音参考和文本如何共同控制音视频生成;
左下 (b) 说明 MeanFlow → DMD 两阶段蒸馏;
右下 (c) 说
以上内容由非凡国际整理发布。