WorldMem 是南洋理工大学、北京大学和上海 AI Lab 推出的创新 AI 世界生成模型。模型基于引入记忆机制，解决传统世界生成模型在长时序下缺乏一致性的关键问题。在WorldMem中，智能体在多样化场景中自由探索，生成的世界在视角和位置变化后能保持几何一致性。WorldMem 支持时间一致性建模，模拟动态变化（如物体对环境的影响）。模型在 Minecraft 数据集上进行大规模训练，在真实场景中验证有效性。WorldMem 为构建真实、持久、交互式的虚拟世界提供新的技术路径。
WorldMem的主要功能
- 保持一致性：在长时间生成中，让虚拟世界保持一致。
- 模拟动态变化：模拟时间推移带来的变化，比如物体对环境的影响（如灯光融化积雪）。
- 支持交互：用户在虚拟世界中放置物体或进行操作，交互被记录影响后续生成。
- 多样化场景生成：支持在多种虚拟场景（如平原、沙漠、冰原等）中自由探索。
- 适用于真实场景：在真实世界数据集上验证生成一致性的能力。
WorldMem的技术原理
- 条件生成模块：基于条件扩散变换器（Conditional Diffusion Transformer）构建，结合 Diffusion Forcing 训练策略，支持自回归式长时生成。用外部动作信号（如移动、视角控制、物体放置等）引导第一人称视角的生成。
- 记忆读写模块：记忆库存储生成过程中的关键历史信息，每个记忆单元包含图像帧及其对应的状态（如视角位姿和时间戳）。记忆检索用贪心匹配算法，基于视野重叠和时间差异计算相似度，高效筛选出与当前场景最相关的记忆单元。
- 记忆融合模块：将当前帧与记忆帧的状态嵌入（位姿 + 时间）结合，基于注意力计算提取与当前场景最相关的记忆信息，生成融合特征引导当前帧的生成。用 Plücker 坐标表示位姿，基于 MLP 映射时间戳，引入相对嵌入机制，提升模型的空间理解和细节保持能力。
WorldMem的项目地址
相关推荐
Step1X-3D
<h2 style="font-size: 20px;">Step1X-3D是什么</h2> <p>Step1X-3D 是StepFun联合LightIllusions推出的高保真、可控的 3D 资产生成框架。基于严格的数据整理流程，从超过 500 万个 3D 资产中筛选出 200 万个高质量数据，创建标准化的几何和纹理属性数据集。Step1X-3D 支持多模态条件输入，如文本和语义标签，基于低秩自适应（LoRA）微调实现灵活的几何控制。Step1X-3D 推动了 3D 生成技术的发展。</p> <p><a class="js" href="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747253028_nwRbyjwM0g.png" data-fancybox="fancybox" data-caption="Step1X-3D"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://ai-bot.cn/wp-content/uploads/2025/05/Step1X-3D-website2.png"></a></p> <h2 style="font-size: 20px;">Step1X-3D的主要功能</h2> <ul> <li>高保真度和可控的3D资产生成：生成具有高保真度几何形状和多样化纹理贴图的3D资产，保持表面几何与纹理映射之间的卓越对齐。</li> <li>支持多种条件输入：支持多种条件输入，如多视图、边界框和骨骼等，实现更灵活的3D资产生成。</li> <li>开源性：提供技术报告、推理代码和模型权重、训练代码的开源。</li> </ul> <h2 style="font-size: 20px;">Step1X-3D的技术原理</h2> <ul> <li>数据整理：基于多维度过滤条件，精准筛选出高质量的3D资产，运用绕数技术，提升网格到SDF转换的成功率，确保几何监督的准确性。</li> <li>几何生成：借助基于感知器的潜在编码和锐边采样策略，生成高保真度的TSDF表示，基于整流流变换器进行高效扩散模型训练，保障几何生成的稳定性和高效性。</li> <li>纹理生成：用预训练的多视图图像生成模型为基础，结合几何引导，生成多视图一致的纹理，引入纹理空间同步模块，实现潜在空间对齐，确保纹理与几何的精确对齐，运用纹理修复技术处理UV映射中的伪影，实现无缝纹理合成。</li> <li>可控性：基于LoRA微调技术，实现灵活的几何控制，支持对称性、几何细节级别等控制，兼容多模态条件输入，增强生成的可控性和多样性。</li> </ul> <h2 style="font-size: 20px;">Step1X-3D的项目地址</h2> <ul> <li>GitHub仓库：<a class="external" href="https://github.com/stepfun-ai/Step1X-3D" target="_blank" rel="noopener nofollow">https://github.com/stepfun-ai/Step1X-3D</a></li> <li>HuggingFace模型库：<a class="external" href="https://huggingface.co/stepfun-ai/Step1X-3D" target="_blank" rel="noopener nofollow">https://huggingface.co/stepfun-ai/Step1X-3D</a></li> <li>arXiv技术论文：<a class="external" href="https://arxiv.org/pdf/2505.07747" target="_blank" rel="noopener nofollow">https://arxiv.org/pdf/2505.07747</a></li> <li>在线体验Demo：<a class="external" href="https://huggingface.co/spaces/stepfun-ai/Step1X-3D" target="_blank" rel="noopener nofollow">https://huggingface.co/spaces/stepfun-ai/Step1X-3D</a></li> </ul> <h2 style="font-size: 20px;">Step1X-3D的应用场景</h2> <ul> <li>游戏开发：生成高保真3D模型，快速制作原型，支持个性化内容，提升视觉效果和玩家体验。</li> <li>影视制作：用在虚拟场景、角色和特效的生成，加速制作流程，提高视觉质量。</li> <li>虚拟现实（VR）和增强现实（AR）：创建沉浸式3D环境和交互式内容，增强用户体验。</li> <li>建筑设计：生成虚拟建筑和室内设计模型，辅助城市规划，提升设计展示效果。</li> <li>教育和培训：构建虚拟实验室、历史文化遗产模型和技能培训环境，提供直观互动的学习体验。</li> </ul>
Matrix-Game
<div class="dpu8C _2kCxD"> <p>昆仑万维正式开源（17B+）Matrix-Game大模型，即Matrix-Zero世界模型中的可交互视频生成大模型。Matrix-Game是Matrix系列在交互式世界生成方向的正式落地，也是工业界首个开源的10B+空间智能大模型，它是一个面向游戏世界建模的交互式世界基础模型，专为开放式环境中的高质量生成与精确控制而设计。</p> </div> <div class="dpu8C _2kCxD"> <p>空间智能作为AI时代的重要前沿技术，正在重塑我们与虚拟世界的交互方式。通过融合视频生成、三维建模与交互控制等核心技术，空间智能不仅支持更加自然、直观、沉浸的体验，也在具身智能、影视制作、游戏开发等领域展现出巨大潜力。</p> </div> <div class="dpu8C _2kCxD"> <p>昆仑万维长期关注空间智能的新进展，经过不懈的技术研发，今天正式开源Matrix-Game，不仅刷新了交互式世界生成的技术上限，也为构建通用虚拟世界基座树立了全新标杆。</p> </div> <div class="dpu8C _2kCxD"> <p>Matrix-Game聚焦于视频生成与用户交互的深度融合，让用户可以通过简单直观的指令，自由探索、操控、甚至创造出细节丰富、物理规则合理的虚拟世界。</p> </div> <div class="dpu8C _2kCxD"> <p>Matrix-Game由以下三大核心部分构成：</p> </div> <div class="dpu8C _2kCxD"> <p>1. Matrix-Game-MC数据集：自主构建的大规模交互世界数据集，包含两类数据：一是大规模无标签的Minecraft游戏视频，二是带有键盘与鼠标控制信号的 Minecraft 与 Unreal 可控视频数据，具备精细的动作注释。该数据集支持对复杂环境动态与交互模式的高效建模与学习。</p> </div> <div class="dpu8C _2kCxD"> <p>2. Matrix-Game主模型：基于先进扩散模型技术开发的图像到世界生成框架，能够根据用户输入（键盘指令、鼠标移动等）生成连贯、可控的互动视频，兼顾视觉质量、时序一致性与物理合理性。</p> </div> <div class="dpu8C _2kCxD"> <p>3. GameWorld Score评测体系：提出统一的游戏交互世界评估标准，从视频的视觉质量、时序质量、动作可控性与物理规则理解四个维度，全面量化模型性能，填补了该领域缺乏系统性评测基准的空白。</p> </div> <div class="dpu8C _2kCxD"> <p>通过两阶段训练策略（无标签数据预训练 + 标注数据可控训练），参数规模达 17B 的 Matrix-Game 世界基座模型在空间理解、用户指令响应以及物理交互建模等方面取得了显著提升。具备以下模型优势：</p> </div> <div class="dpu8C _2kCxD"> <p>细粒度用户交互控制：支持前进、跳跃、攻击、视角移动等细节操作，根据用户输入响应，操作体验准确自然。</p> </div> <div class="dpu8C _2kCxD"> <p>高保真视觉与物理一致性：生成结果在保持视觉连贯的同时，遵循自然物理规律，如重力、碰撞等，显著提升沉浸感。</p> </div> <div class="dpu8C _2kCxD"> <p>多场景泛化能力：具备对多种 Minecraft 游戏场景的泛化能力，涵盖不同地形、天气和生物群系，并具备向非 Minecraft 游戏环境泛化的潜力。</p> </div> <div class="dpu8C _2kCxD"> <p>系统化评估体系：提出统一的 GameWorld Score 标准，为交互世界模型的客观评估与持续优化提供有力支撑。</p> </div> <div class="dpu8C _2kCxD"> <p>与知名创业公司 Decart 开源方案 Oasis 和微软开源模型 MineWorld 对比，Matrix-Game 在 Minecraft 世界生成任务的各项指标上实现了全面超越，尤其在交互可控性和物理一致性理解方面表现尤为出色。此外，得益于 Unreal 数据的融入，Matrix-Game 在泛化到更广泛的通用游戏场景方面展现出明显优势。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202214_fsQRmFiRue.png"></div> </div> <div class="dpu8C _2kCxD"> <p>来源：Matrix-Game技术报告</p> </div> <div class="dpu8C _2kCxD"> <p>Matrix-Game能够在不同Minecraft场景下（如森林、沙滩、沙漠、冰川、河流、平原等）实现可控生成，包括基础运动、复合运动、视角运动等。例如，在一个沙漠场景中，Matrix-Game 能够根据用户输入的任意控制指令（如键盘的 W/A/S/D 方向键、Space 键用于跳跃、Attack 键用于攻击，以及鼠标用于视角移动），生成对应的游戏世界视频，支持角色的前后左右移动、跳跃、攻击以及视角变换等动态行为。</p> </div> <div class="dpu8C _2kCxD"> <p>在此基础上，Matrix-Game 支持自回归式的长视频生成，不仅能实现动作与视角之间的丝滑衔接，还在时间一致性与环境适应性方面表现出色，为开发沉浸式长时体验、创意内容生成及游戏设计等应用奠定了坚实的模型基础。</p> </div> <div class="dpu8C _2kCxD"> <p>不仅如此，在非Minecraft场景泛化上，Matrix-Game表现得也非常出色。</p> </div> <div class="dpu8C _2kCxD"> <p>接下来，我们来看看Matrix-Game是如何达到这样的效果的。</p> </div> <div class="dpu8C _2kCxD"> <p>01 数据构建：大规模高质量Matrix-Game-MC数据集</p> </div> <div class="dpu8C _2kCxD"> <p>为构建能够理解物理规则并具备交互生成能力的世界基础模型，Matrix-Game 自主构建了大规模 Matrix-Game-MC 数据集，涵盖从无标签预训练数据到精细标注的可控视频的完整流程，兼顾数据规模与质量。</p> </div> <div class="dpu8C _2kCxD"> <p>无标签预训练数据集采用三阶段过滤机制从6000小时的MineDojo数据中过滤出近千小时高质量数据: (1) 画质与美学过滤；(2) 非游戏内容剔除；(3) 动态与视角稳定性过滤。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202214_gJU3Hr3t48.png"></div> </div> <div class="dpu8C _2kCxD"> <p>有标签数据采用两种策略混合生成数千小时的可控监督数据：</p> </div> <div class="dpu8C _2kCxD"> <p>探索代理（Exploration Agent）：借助 VPT agent 在 MineRL 环境中进行自动探索，生成大规模、高质量的 Minecraft 视频数据，数据中包含精确的键盘与鼠标控制信号，支持可控性学习。</p> </div> <div class="dpu8C _2kCxD"> <p>程序化模拟（Unreal Procedural Simulation）：基于 Unreal Engine 手动构建结构清晰、标签精确的模拟交互场景，提供位置信息、动作标签（离散与连续）、以及环境反馈信号（如方块是否成功破坏），生成高精度、无噪声的可控标注数据，助力高保真动作-响应建模。</p> </div> <div class="dpu8C _2kCxD"> <p>02 模型架构：Matrix-Game从图像出发构建可控交互世界</p> </div> <div class="dpu8C _2kCxD"> <p>Matrix-Game是以图像为输入的交互式世界生成基础模型，整体架构围绕以下几个核心设计：</p> </div> <div class="dpu8C _2kCxD"> <p>图像到世界建模（Image-to-World Modeling）</p> </div> <div class="dpu8C _2kCxD"> <p>强调空间智能能力：不依赖语言提示，仅基于视觉信号建模空间几何、物体运动及其物理交互；</p> </div> <div class="dpu8C _2kCxD"> <p>输入形式：以单张参考图像作为生成交互式视频的起点；</p> </div> <div class="dpu8C _2kCxD"> <p>交互可控生成：融合用户动作输入（如键盘、鼠标），通过类似 Flux 与 HunyuanVideo 的多模态扩散模型直接生成虚拟游戏世界的视频内容。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202214_L8eKAJovBW.png"></div> </div> <div class="dpu8C _2kCxD"> <p>自回归式视频生成（Autoregressive Diffusion Generation）</p> </div> <div class="dpu8C _2kCxD"> <p>支持自回归方式扩展生成长度，可持续生成高一致性长视频内容；</p> </div> <div class="dpu8C _2kCxD"> <p>每次以前一视频片段的最后 k=5帧作为运动上下文，逐段递进生成，确保时间上的连贯性；</p> </div> <div class="dpu8C _2kCxD"> <p>为缓解时序漂移和误差累积，训练中以一定概率针对参考图像与运动上下文引入随机扰动、随机删除，以及Classifier-free guidance策略。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202214_RPZLulGwpv.png"></div> </div> <div class="dpu8C _2kCxD"> <p>可控交互设计（Injecting Actions for Controllability）</p> </div> <div class="dpu8C _2kCxD"> <p>键盘动作（如上下左右、跳跃、攻击）以离散token表达，视角移动动作（如鼠标pitch角度）则以连续token表达；</p> </div> <div class="dpu8C _2kCxD"> <p>采用GameFactory的控制模块，并融入多模态Diffusion Transformer架构；</p> </div> <div class="dpu8C _2kCxD"> <p>使用 Classifier-free guidance策略提升对控制信号的鲁棒响应能力。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202214_Amo91azDXy.png"></div> </div> <div class="dpu8C _2kCxD"> <p>03 评测体系与模型性能：提出统一基准 GameWorld Score，重塑交互式世界生成标杆</p> </div> <div class="dpu8C _2kCxD"> <p>为了系统性评估和比较交互式世界生成模型的性能，Matrix-Game提出了一套专为 Minecraft 世界建模设计的统一评测框架 —— GameWorld Score。该评测体系弥补了现有基准在交互性、物理一致性等维度的缺失，首次实现了对感知质量 + 控制能力 + 物理合理性的全方位衡量。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202215_dA71JaP77O.png"></div> </div> <div class="dpu8C _2kCxD"> <p>GameWorld Score 包含四大核心评估维度：</p> </div> <div class="dpu8C _2kCxD"> <p>视觉质量（Visual Quality）：评估每一帧图像的清晰度、结构一致性与真实感。依据人类视觉系统（HVS）标准衡量每一帧图像生成效果。</p> </div> <div class="dpu8C _2kCxD"> <p>时序质量（Temporal Quality）：衡量模型生成视频的动态连贯性，包括运动连续性、节奏平滑性与时间稳定性。</p> </div> <div class="dpu8C _2kCxD"> <p>交互可控性（Action Controllability）：评估生成结果是否准确响应用户输入的控制信号，涵盖离散控制（如前进、跳跃）和连续控制（如视角转换）。</p> </div> <div class="dpu8C _2kCxD"> <p>物理规则理解（Physical Rule Understanding）：测试生成视频是否遵循物理常识与空间一致性。</p> </div> <div class="dpu8C _2kCxD"> <p>在GameWorld Score评测系统中，Matrix-Game在视觉质量、时间一致性、动作可控性与物理规则理解四大维度上均取得领先成绩，全面超越现有开源基线模型 Oasis 与 MineWorld。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202215_xcyuicaou9.png"></div> </div> <div class="dpu8C _2kCxD"> <p>在双盲人评实验中，用户更倾向于选择 Matrix-Game生成的视频：</p> </div> <div class="dpu8C _2kCxD"> <p>96.3% 总体偏好率，生成效果更真实、连贯、可信；</p> </div> <div class="dpu8C _2kCxD"> <p>93.76% 动作控制偏好，准确响应键盘与鼠标指令；</p> </div> <div class="dpu8C _2kCxD"> <p>98.23% 视觉质量得分，单帧画面更清晰美观；</p> </div> <div class="dpu8C _2kCxD"> <p>89.56% 时间一致性得分，动态流畅，无闪烁跳变。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202215_e5gc8SoSzy.png"></div> </div> <div class="dpu8C _2kCxD"> <p>在控制性能上，Matrix-Game可实现：“运动”“攻击”等动作高达 90%+ 准确率；细粒度视角控制下依然保持高精度响应。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202215_hjouC89Ycb.png"></div> </div> <div class="dpu8C _2kCxD"> <p>在 8 大典型 Minecraft 场景中全面领先，展现出卓越的环境适应性与泛化能力，可广泛应用于复杂动态的虚拟世界交互任务。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202215_weKCnSq97U.png"></div> </div> <div class="dpu8C _2kCxD"> <p>Matrix-Game用事实证明，它不仅能“看得清”，更能“动得准、控得稳”，是当前工业界最强的交互式世界生成基座模型之一。</p> </div> <div class="dpu8C _2kCxD"> <p>04 昆仑万维引领交互式世界生成新纪元</p> </div> <div class="dpu8C _2kCxD"> <p>Matrix-Game作为空间智能领域交互式世界生成的重要里程碑，将潜在为多个领域带来革命性影响：</p> </div> <div class="dpu8C _2kCxD"> <p>虚拟游戏世界快速搭建：借助模型的可控生成能力，可低成本、高效率地创建多样化、结构合理的游戏地图与交互环境，显著提升关卡设计与任务构建的自由度。</p> </div> <div class="dpu8C _2kCxD"> <p>影视与元宇宙内容生产：支持高保真、物理一致的动态场景合成，为沉浸式体验开发与创意内容生成提供通用世界建模基础。</p> </div> <div class="dpu8C _2kCxD"> <p>具身智能体训练与数据生成：尽管当前模型未直接用于具身智能，Matrix-Game 具备生成大规模交互视频的能力，具备扩展至具身智能体训练与评估的潜力，可为智能体创建多样复杂的虚拟环境，辅助其任务执行与推理能力的提升。</p> </div> <div class="dpu8C _2kCxD"> <p>Matrix-Game让世界不再只是被观看，而是被探索、被操控、被创造。昆仑万维正站在空间智能时代的新起点，邀请每一位探索者一起，用指尖绘制属于自己的无限虚拟世界。</p> </div> <div class="dpu8C _2kCxD"> <p>未来，昆仑万维将持续投入前沿技术与基础模型研发，并且坚定开源SOTA级别模型回归社区。我们相信，Matrix系列世界模型将对公司AI短剧生产和编辑以及AI游戏生产等业务进一步赋能，为用户和开发者带来新的平台和工具。</p> </div>
Blend MCP
BlenderMCP 通过模型上下文协议 (MCP) 将 Blender 连接到 Claude AI，使 Claude 能够直接与 Blender 交互并控制 Blender。这种集成支持快速辅助 3D 建模、场景创建和操作。 Hyper3D 的免费试用密钥允许您每天生成有限数量的模型。如果达到每日限制，您可以等待第二天重置，或从 hyper3d.ai 和 fal.ai 获取您自己的密钥。
RPGGO AI
AI RPG platform for text-based games