4D-LRM（Large Space-Time Reconstruction Model）是Adobe研究公司、密歇根大学等机构的研究人员共同推出的新型4D重建模型。模型能基于稀疏的输入视图和任意时间点，快速、高质量地重建出任意新视图和时间组合的动态场景。模型基于Transformer的架构，预测每个像素的4D高斯原语，实现空间和时间的统一表示，具有高效性和强大的泛化能力。4D-LRM在多种相机设置下均展现出良好的性能，尤其在交替的规范视图和帧插值设置下，模型能有效地插值时间生成高质量的重建结果。
<p>Dive3D是北京大学和小红书公司合作推出的文本到3D生成框架。框架基于分数的匹配（Score Implicit Matching，SIM）损失替代传统的KL散度目标，有效避免模式坍塌问题，显著提升3D生成内容的多样性。Dive3D在文本对齐、人类偏好和视觉保真度方面表现出色，在GPTEval3D基准测试中取得优异的定量结果，证明了在生成高质量、多样化3D资产方面的强大能力。</p> <h2 style="font-size: 20px;">Dive3D的项目地址</h2> <ul> <li>项目官网：https://ai4scientificimaging.org/dive3d/</li> <li>GitHub仓库：https://github.com/ai4imaging/dive3d</li> <li>arXiv技术论文：https://arxiv.org/pdf/2506.13594</li> </ul>
<p>TripoSG 是 VAST-AI-Research 团队推出的基于大规模修正流（Rectified Flow, RF）模型的高保真 3D 形状合成技术， 通过大规模修正流变换器架构、混合监督训练策略以及高质量数据集，实现了从单张输入图像到高保真 3D 网格模型的生成。TripoSG 在多个基准测试中表现出色，生成的 3D 模型具有更高的细节和更好的输入条件对齐。</p> <h2 style="font-size: 20px;">TripoSG的主要功能</h2> <ul> <li>3D 内容自动化生成：TripoSG 能直接从单张输入图像生成细节惊艳的 3D 网格模型，适用于自动化生成高质量的 3D 内容。</li> <li>高分辨率三维重建：TripoSG 的 VAE 架构能处理更高分辨率的输入，适用于高分辨率的三维重建任务。</li> <li>高保真生成：生成的网格具有锐利的几何特征、精细的表面细节和复杂的结构。</li> <li>语义一致性：生成的形状准确反映了输入图像的语义和外观。</li> <li>强泛化能力：能处理多种输入风格，包括照片级真实图像、卡通和草图。</li> </ul> <h2 style="font-size: 20px;">TripoSG的地址</h2> <ul> <li>项目官网：<a class="external" href="https://yg256li.github.io/TripoSG-Page/?utm_source=medsci" target="_blank" rel="noopener">https://yg256li.github.io/TripoSG-Page/</a></li> <li>Github仓库：<a class="external" href="https://github.com/VAST-AI-Research/TripoSG" target="_blank" rel="noopener nofollow">https://github.com/VAST-AI-Research/TripoSG</a></li> <li>HuggingFace模型库：<a class="external" href="https://huggingface.co/VAST-AI/TripoSG" target="_blank" rel="noopener nofollow">https://huggingface.co/VAST-AI/TripoSG</a></li> <li>arXiv技术论文：<a class="external" href="https://arxiv.org/pdf/2502.06608" target="_blank" rel="noopener nofollow">https://arxiv.org/pdf/2502.06608</a></li> </ul>
<p>3DTown 是哥伦比亚大学联合Cybever AI等机构推出的从单张俯视图生成3D城镇场景框架。框架基于区域化生成和空间感知的3D修复技术，将输入图像分解为重叠区域，基于预训练的3D对象生成器分别生成每个区域的3D内容，基于掩码修正流修复过程填补缺失的几何结构，同时保持结构连续性。3DTown 支持生成具有高几何质量和纹理保真度的连贯3D场景，在多种风格的场景生成中表现出色，优于现有的先进方法。</p> <p><img src="https://img.medsci.cn/aisite/img//xThGTn1tiP8cPY6Nv7QjZZva42ut32yhjpoUpq11.png"></p> <h2 style="font-size: 20px;">3DTown的主要功能</h2> <ul> <li>生成多样化的3D场景：支持不同风格和布局的场景生成，如“雪镇”、“沙漠小镇”等。</li> <li>保持几何和纹理一致性：生成的3D场景在几何结构和纹理上与输入图像高度一致。</li> <li>高效处理复杂场景：能有效处理复杂场景，避免几何失真和布局幻觉。</li> </ul> <h2 style="font-size: 20px;">3DTown的技术原理</h2> <ul> <li>区域化生成：将输入图像分解为重叠区域，每个区域独立生成3D内容。用预训练的3D对象生成器对每个区域进行生成，提高局部对齐和分辨率。基于区域融合，将生成的区域逐步合并为连贯的全局3D场景。</li> <li>空间感知3D修复：用单目深度估计和地标检测初始化粗略的3D结构，作为空间先验。基于掩码修正流（Masked Rectified Flow）技术，填补缺失的几何结构，同时保持已知内容的连续性。基于两阶段的掩码修正流管道，生成稀疏结构和结构化潜在表示，确保全局一致性。</li> <li>结构化潜在表示：基于结构化潜在表示来构建3D场景，包括位置索引和潜在特征向量。用稀疏结构生成器和结构化潜在生成器，逐步生成3D场景的潜在表示。</li> <li>模块化设计：基于模块化设计，将复杂的3D场景生成问题分解为多个子问题，每个子问题独立解决后再进行整合。</li> </ul> <h2 style="font-size: 20px;">3DTown的项目地址</h2> <ul> <li>项目官网：<a class="external" href="https://eric-ai-lab.github.io/3dtown.github.io/?utm_source=medsci" target="_blank" rel="noopener">https://eric-ai-lab.github.io/3dtown.github.io/</a></li> <li>arXiv技术论文：<a class="external" href="https://arxiv.org/pdf/2505.15765" target="_blank" rel="noopener nofollow">https://arxiv.org/pdf/2505.15765</a></li> </ul>
<p>HRAvatar是清华大学联合IDEA团队推出的单目视频重建技术，支持从普通单目视频中生成高质量、可重光照的3D头像。HRAvatar用可学习的形变基和线性蒙皮技术，基于精准的表情编码器减少追踪误差，提升重建质量。HRAvatar将头像外观分解为反照率、粗糙度和菲涅尔反射等属性，结合物理渲染模型，实现真实的重光照效果。HRAvatar在多个指标上优于现有方法，支持实时渲染（约155 FPS），为数字人、虚拟主播、AR/VR等领域提供新的技术方案。</p> <p><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/img//aamsMy0jDzR0ZGkWzvS6GnI2Ip9zVD6oFlYQGJjG.png"></p> <h2 style="font-size: 20px;">HRAvatar的技术原理</h2> <ul> <li>精确表情追踪：用端到端的表情编码器，联合优化提取更准确的表情参数，减少预追踪参数误差对重建的影响。表情编码器与3D头像重建联合训练，用高斯重建损失进行监督，提高重建准确性。</li> <li>几何变形模型：基于可学习的线性形变基（Linear Blendshapes），对每个高斯点引入形状基、表情基和姿态基，实现从标准空间到姿态空间的灵活变形。用线性蒙皮（Linear Blend Skinning），将高斯点变换到姿态空间，适应个体的姿态变形。</li> <li>外观建模：将头像外观分解为反照率、粗糙度、菲涅尔反射率等材质属性。用BRDF物理渲染模型进行着色，结合简化的SplitSum近似技术，实现高质量、可重光照的实时渲染。引入反照率伪先验，更好地解耦材质信息，避免将局部光照误混入反照率。</li> <li>法线估计与材质先验：用每个高斯点的最短轴作为其法线，基于深度导数获得的法线图监督渲染的法线图，确保几何一致性。用现有模型提取伪真实反照率，监督渲染反照率，限制粗糙度和基础反射率在预定义范围内，获得更真实的材质。</li> </ul> <h2 style="font-size: 20px;">HRAvatar的项目地址</h2> <ul> <li>项目官网：<a class="external" href="https://eastbeanzhang.github.io/HRAvatar/?utm_source=medsci" target="_blank" rel="noopener">https://eastbeanzhang.github.io/HRAvatar/</a></li> <li>GitHub仓库：<a class="external" href="https://github.com/Pixel-Talk/HRAvatar" target="_blank" rel="noopener nofollow">https://github.com/Pixel-Talk/HRAvatar</a></li> <li>arXiv技术论文：<a class="external" href="https://arxiv.org/pdf/2503.08224" target="_blank" rel="noopener nofollow">https://arxiv.org/pdf/2503.08224</a></li> </ul>
<p>WorldMem 是南洋理工大学、北京大学和上海 AI Lab 推出的创新 AI 世界生成模型。模型基于引入记忆机制，解决传统世界生成模型在长时序下缺乏一致性的关键问题。在WorldMem中，智能体在多样化场景中自由探索，生成的世界在视角和位置变化后能保持几何一致性。WorldMem 支持时间一致性建模，模拟动态变化（如物体对环境的影响）。模型在 Minecraft 数据集上进行大规模训练，在真实场景中验证有效性。WorldMem 为构建真实、持久、交互式的虚拟世界提供新的技术路径。</p> <h2 style="font-size: 20px;">WorldMem的主要功能</h2> <ul> <li>保持一致性：在长时间生成中，让虚拟世界保持一致。</li> <li>模拟动态变化：模拟时间推移带来的变化，比如物体对环境的影响（如灯光融化积雪）。</li> <li>支持交互：用户在虚拟世界中放置物体或进行操作，交互被记录影响后续生成。</li> <li>多样化场景生成：支持在多种虚拟场景（如平原、沙漠、冰原等）中自由探索。</li> <li>适用于真实场景：在真实世界数据集上验证生成一致性的能力。</li> </ul> <h2 style="font-size: 20px;">WorldMem的技术原理</h2> <ul> <li>条件生成模块：基于条件扩散变换器（Conditional Diffusion Transformer）构建，结合 Diffusion Forcing 训练策略，支持自回归式长时生成。用外部动作信号（如移动、视角控制、物体放置等）引导第一人称视角的生成。</li> <li>记忆读写模块：记忆库存储生成过程中的关键历史信息，每个记忆单元包含图像帧及其对应的状态（如视角位姿和时间戳）。记忆检索用贪心匹配算法，基于视野重叠和时间差异计算相似度，高效筛选出与当前场景最相关的记忆单元。</li> <li>记忆融合模块：将当前帧与记忆帧的状态嵌入（位姿 + 时间）结合，基于注意力计算提取与当前场景最相关的记忆信息，生成融合特征引导当前帧的生成。用 Plücker 坐标表示位姿，基于 MLP 映射时间戳，引入相对嵌入机制，提升模型的空间理解和细节保持能力。</li> </ul> <h2 style="font-size: 20px;">WorldMem的项目地址</h2> <ul> <li>项目官网：<a class="external" href="https://xizaoqu.github.io/worldmem/?utm_source=medsci" target="_blank" rel="noopener">https://xizaoqu.github.io/worldmem/</a></li> <li>GitHub仓库：<a class="external" href="https://github.com/xizaoqu/WorldMem?utm_source=medsci" target="_blank" rel="noopener">https://github.com/xizaoqu/WorldMem</a></li> <li>arXiv技术论文：<a class="external" href="https://arxiv.org/pdf/2504.12369" target="_blank" rel="noopener nofollow">https://arxiv.org/pdf/2504.12369</a></li> <li>在线体验Demo：<a class="external" href="https://huggingface.co/spaces/yslan/worldmem?utm_source=medsci" target="_blank" rel="noopener">https://huggingface.co/spaces/yslan/worldmem</a></li> </ul>
<h2 style="font-size: 20px;">Step1X-3D是什么</h2> <p>Step1X-3D 是StepFun联合LightIllusions推出的高保真、可控的 3D 资产生成框架。基于严格的数据整理流程，从超过 500 万个 3D 资产中筛选出 200 万个高质量数据，创建标准化的几何和纹理属性数据集。Step1X-3D 支持多模态条件输入，如文本和语义标签，基于低秩自适应（LoRA）微调实现灵活的几何控制。Step1X-3D 推动了 3D 生成技术的发展。</p> <p><a class="js" href="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747253028_nwRbyjwM0g.png" data-fancybox="fancybox" data-caption="Step1X-3D"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://ai-bot.cn/wp-content/uploads/2025/05/Step1X-3D-website2.png"></a></p> <h2 style="font-size: 20px;">Step1X-3D的主要功能</h2> <ul> <li>高保真度和可控的3D资产生成：生成具有高保真度几何形状和多样化纹理贴图的3D资产，保持表面几何与纹理映射之间的卓越对齐。</li> <li>支持多种条件输入：支持多种条件输入，如多视图、边界框和骨骼等，实现更灵活的3D资产生成。</li> <li>开源性：提供技术报告、推理代码和模型权重、训练代码的开源。</li> </ul> <h2 style="font-size: 20px;">Step1X-3D的技术原理</h2> <ul> <li>数据整理：基于多维度过滤条件，精准筛选出高质量的3D资产，运用绕数技术，提升网格到SDF转换的成功率，确保几何监督的准确性。</li> <li>几何生成：借助基于感知器的潜在编码和锐边采样策略，生成高保真度的TSDF表示，基于整流流变换器进行高效扩散模型训练，保障几何生成的稳定性和高效性。</li> <li>纹理生成：用预训练的多视图图像生成模型为基础，结合几何引导，生成多视图一致的纹理，引入纹理空间同步模块，实现潜在空间对齐，确保纹理与几何的精确对齐，运用纹理修复技术处理UV映射中的伪影，实现无缝纹理合成。</li> <li>可控性：基于LoRA微调技术，实现灵活的几何控制，支持对称性、几何细节级别等控制，兼容多模态条件输入，增强生成的可控性和多样性。</li> </ul> <h2 style="font-size: 20px;">Step1X-3D的项目地址</h2> <ul> <li>GitHub仓库：<a class="external" href="https://github.com/stepfun-ai/Step1X-3D" target="_blank" rel="noopener nofollow">https://github.com/stepfun-ai/Step1X-3D</a></li> <li>HuggingFace模型库：<a class="external" href="https://huggingface.co/stepfun-ai/Step1X-3D" target="_blank" rel="noopener nofollow">https://huggingface.co/stepfun-ai/Step1X-3D</a></li> <li>arXiv技术论文：<a class="external" href="https://arxiv.org/pdf/2505.07747" target="_blank" rel="noopener nofollow">https://arxiv.org/pdf/2505.07747</a></li> <li>在线体验Demo：<a class="external" href="https://huggingface.co/spaces/stepfun-ai/Step1X-3D" target="_blank" rel="noopener nofollow">https://huggingface.co/spaces/stepfun-ai/Step1X-3D</a></li> </ul> <h2 style="font-size: 20px;">Step1X-3D的应用场景</h2> <ul> <li>游戏开发：生成高保真3D模型，快速制作原型，支持个性化内容，提升视觉效果和玩家体验。</li> <li>影视制作：用在虚拟场景、角色和特效的生成，加速制作流程，提高视觉质量。</li> <li>虚拟现实（VR）和增强现实（AR）：创建沉浸式3D环境和交互式内容，增强用户体验。</li> <li>建筑设计：生成虚拟建筑和室内设计模型，辅助城市规划，提升设计展示效果。</li> <li>教育和培训：构建虚拟实验室、历史文化遗产模型和技能培训环境，提供直观互动的学习体验。</li> </ul>
<div class="dpu8C _2kCxD"> <p>昆仑万维正式开源（17B+）Matrix-Game大模型，即Matrix-Zero世界模型中的可交互视频生成大模型。Matrix-Game是Matrix系列在交互式世界生成方向的正式落地，也是工业界首个开源的10B+空间智能大模型，它是一个面向游戏世界建模的交互式世界基础模型，专为开放式环境中的高质量生成与精确控制而设计。</p> </div> <div class="dpu8C _2kCxD"> <p>空间智能作为AI时代的重要前沿技术，正在重塑我们与虚拟世界的交互方式。通过融合视频生成、三维建模与交互控制等核心技术，空间智能不仅支持更加自然、直观、沉浸的体验，也在具身智能、影视制作、游戏开发等领域展现出巨大潜力。</p> </div> <div class="dpu8C _2kCxD"> <p>昆仑万维长期关注空间智能的新进展，经过不懈的技术研发，今天正式开源Matrix-Game，不仅刷新了交互式世界生成的技术上限，也为构建通用虚拟世界基座树立了全新标杆。</p> </div> <div class="dpu8C _2kCxD"> <p>Matrix-Game聚焦于视频生成与用户交互的深度融合，让用户可以通过简单直观的指令，自由探索、操控、甚至创造出细节丰富、物理规则合理的虚拟世界。</p> </div> <div class="dpu8C _2kCxD"> <p>Matrix-Game由以下三大核心部分构成：</p> </div> <div class="dpu8C _2kCxD"> <p>1. Matrix-Game-MC数据集：自主构建的大规模交互世界数据集，包含两类数据：一是大规模无标签的Minecraft游戏视频，二是带有键盘与鼠标控制信号的 Minecraft 与 Unreal 可控视频数据，具备精细的动作注释。该数据集支持对复杂环境动态与交互模式的高效建模与学习。</p> </div> <div class="dpu8C _2kCxD"> <p>2. Matrix-Game主模型：基于先进扩散模型技术开发的图像到世界生成框架，能够根据用户输入（键盘指令、鼠标移动等）生成连贯、可控的互动视频，兼顾视觉质量、时序一致性与物理合理性。</p> </div> <div class="dpu8C _2kCxD"> <p>3. GameWorld Score评测体系：提出统一的游戏交互世界评估标准，从视频的视觉质量、时序质量、动作可控性与物理规则理解四个维度，全面量化模型性能，填补了该领域缺乏系统性评测基准的空白。</p> </div> <div class="dpu8C _2kCxD"> <p>通过两阶段训练策略（无标签数据预训练 + 标注数据可控训练），参数规模达 17B 的 Matrix-Game 世界基座模型在空间理解、用户指令响应以及物理交互建模等方面取得了显著提升。具备以下模型优势：</p> </div> <div class="dpu8C _2kCxD"> <p>细粒度用户交互控制：支持前进、跳跃、攻击、视角移动等细节操作，根据用户输入响应，操作体验准确自然。</p> </div> <div class="dpu8C _2kCxD"> <p>高保真视觉与物理一致性：生成结果在保持视觉连贯的同时，遵循自然物理规律，如重力、碰撞等，显著提升沉浸感。</p> </div> <div class="dpu8C _2kCxD"> <p>多场景泛化能力：具备对多种 Minecraft 游戏场景的泛化能力，涵盖不同地形、天气和生物群系，并具备向非 Minecraft 游戏环境泛化的潜力。</p> </div> <div class="dpu8C _2kCxD"> <p>系统化评估体系：提出统一的 GameWorld Score 标准，为交互世界模型的客观评估与持续优化提供有力支撑。</p> </div> <div class="dpu8C _2kCxD"> <p>与知名创业公司 Decart 开源方案 Oasis 和微软开源模型 MineWorld 对比，Matrix-Game 在 Minecraft 世界生成任务的各项指标上实现了全面超越，尤其在交互可控性和物理一致性理解方面表现尤为出色。此外，得益于 Unreal 数据的融入，Matrix-Game 在泛化到更广泛的通用游戏场景方面展现出明显优势。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202214_fsQRmFiRue.png"></div> </div> <div class="dpu8C _2kCxD"> <p>来源：Matrix-Game技术报告</p> </div> <div class="dpu8C _2kCxD"> <p>Matrix-Game能够在不同Minecraft场景下（如森林、沙滩、沙漠、冰川、河流、平原等）实现可控生成，包括基础运动、复合运动、视角运动等。例如，在一个沙漠场景中，Matrix-Game 能够根据用户输入的任意控制指令（如键盘的 W/A/S/D 方向键、Space 键用于跳跃、Attack 键用于攻击，以及鼠标用于视角移动），生成对应的游戏世界视频，支持角色的前后左右移动、跳跃、攻击以及视角变换等动态行为。</p> </div> <div class="dpu8C _2kCxD"> <p>在此基础上，Matrix-Game 支持自回归式的长视频生成，不仅能实现动作与视角之间的丝滑衔接，还在时间一致性与环境适应性方面表现出色，为开发沉浸式长时体验、创意内容生成及游戏设计等应用奠定了坚实的模型基础。</p> </div> <div class="dpu8C _2kCxD"> <p>不仅如此，在非Minecraft场景泛化上，Matrix-Game表现得也非常出色。</p> </div> <div class="dpu8C _2kCxD"> <p>接下来，我们来看看Matrix-Game是如何达到这样的效果的。</p> </div> <div class="dpu8C _2kCxD"> <p>01 数据构建：大规模高质量Matrix-Game-MC数据集</p> </div> <div class="dpu8C _2kCxD"> <p>为构建能够理解物理规则并具备交互生成能力的世界基础模型，Matrix-Game 自主构建了大规模 Matrix-Game-MC 数据集，涵盖从无标签预训练数据到精细标注的可控视频的完整流程，兼顾数据规模与质量。</p> </div> <div class="dpu8C _2kCxD"> <p>无标签预训练数据集采用三阶段过滤机制从6000小时的MineDojo数据中过滤出近千小时高质量数据: (1) 画质与美学过滤；(2) 非游戏内容剔除；(3) 动态与视角稳定性过滤。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202214_gJU3Hr3t48.png"></div> </div> <div class="dpu8C _2kCxD"> <p>有标签数据采用两种策略混合生成数千小时的可控监督数据：</p> </div> <div class="dpu8C _2kCxD"> <p>探索代理（Exploration Agent）：借助 VPT agent 在 MineRL 环境中进行自动探索，生成大规模、高质量的 Minecraft 视频数据，数据中包含精确的键盘与鼠标控制信号，支持可控性学习。</p> </div> <div class="dpu8C _2kCxD"> <p>程序化模拟（Unreal Procedural Simulation）：基于 Unreal Engine 手动构建结构清晰、标签精确的模拟交互场景，提供位置信息、动作标签（离散与连续）、以及环境反馈信号（如方块是否成功破坏），生成高精度、无噪声的可控标注数据，助力高保真动作-响应建模。</p> </div> <div class="dpu8C _2kCxD"> <p>02 模型架构：Matrix-Game从图像出发构建可控交互世界</p> </div> <div class="dpu8C _2kCxD"> <p>Matrix-Game是以图像为输入的交互式世界生成基础模型，整体架构围绕以下几个核心设计：</p> </div> <div class="dpu8C _2kCxD"> <p>图像到世界建模（Image-to-World Modeling）</p> </div> <div class="dpu8C _2kCxD"> <p>强调空间智能能力：不依赖语言提示，仅基于视觉信号建模空间几何、物体运动及其物理交互；</p> </div> <div class="dpu8C _2kCxD"> <p>输入形式：以单张参考图像作为生成交互式视频的起点；</p> </div> <div class="dpu8C _2kCxD"> <p>交互可控生成：融合用户动作输入（如键盘、鼠标），通过类似 Flux 与 HunyuanVideo 的多模态扩散模型直接生成虚拟游戏世界的视频内容。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202214_L8eKAJovBW.png"></div> </div> <div class="dpu8C _2kCxD"> <p>自回归式视频生成（Autoregressive Diffusion Generation）</p> </div> <div class="dpu8C _2kCxD"> <p>支持自回归方式扩展生成长度，可持续生成高一致性长视频内容；</p> </div> <div class="dpu8C _2kCxD"> <p>每次以前一视频片段的最后 k=5帧作为运动上下文，逐段递进生成，确保时间上的连贯性；</p> </div> <div class="dpu8C _2kCxD"> <p>为缓解时序漂移和误差累积，训练中以一定概率针对参考图像与运动上下文引入随机扰动、随机删除，以及Classifier-free guidance策略。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202214_RPZLulGwpv.png"></div> </div> <div class="dpu8C _2kCxD"> <p>可控交互设计（Injecting Actions for Controllability）</p> </div> <div class="dpu8C _2kCxD"> <p>键盘动作（如上下左右、跳跃、攻击）以离散token表达，视角移动动作（如鼠标pitch角度）则以连续token表达；</p> </div> <div class="dpu8C _2kCxD"> <p>采用GameFactory的控制模块，并融入多模态Diffusion Transformer架构；</p> </div> <div class="dpu8C _2kCxD"> <p>使用 Classifier-free guidance策略提升对控制信号的鲁棒响应能力。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202214_Amo91azDXy.png"></div> </div> <div class="dpu8C _2kCxD"> <p>03 评测体系与模型性能：提出统一基准 GameWorld Score，重塑交互式世界生成标杆</p> </div> <div class="dpu8C _2kCxD"> <p>为了系统性评估和比较交互式世界生成模型的性能，Matrix-Game提出了一套专为 Minecraft 世界建模设计的统一评测框架 —— GameWorld Score。该评测体系弥补了现有基准在交互性、物理一致性等维度的缺失，首次实现了对感知质量 + 控制能力 + 物理合理性的全方位衡量。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202215_dA71JaP77O.png"></div> </div> <div class="dpu8C _2kCxD"> <p>GameWorld Score 包含四大核心评估维度：</p> </div> <div class="dpu8C _2kCxD"> <p>视觉质量（Visual Quality）：评估每一帧图像的清晰度、结构一致性与真实感。依据人类视觉系统（HVS）标准衡量每一帧图像生成效果。</p> </div> <div class="dpu8C _2kCxD"> <p>时序质量（Temporal Quality）：衡量模型生成视频的动态连贯性，包括运动连续性、节奏平滑性与时间稳定性。</p> </div> <div class="dpu8C _2kCxD"> <p>交互可控性（Action Controllability）：评估生成结果是否准确响应用户输入的控制信号，涵盖离散控制（如前进、跳跃）和连续控制（如视角转换）。</p> </div> <div class="dpu8C _2kCxD"> <p>物理规则理解（Physical Rule Understanding）：测试生成视频是否遵循物理常识与空间一致性。</p> </div> <div class="dpu8C _2kCxD"> <p>在GameWorld Score评测系统中，Matrix-Game在视觉质量、时间一致性、动作可控性与物理规则理解四大维度上均取得领先成绩，全面超越现有开源基线模型 Oasis 与 MineWorld。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202215_xcyuicaou9.png"></div> </div> <div class="dpu8C _2kCxD"> <p>在双盲人评实验中，用户更倾向于选择 Matrix-Game生成的视频：</p> </div> <div class="dpu8C _2kCxD"> <p>96.3% 总体偏好率，生成效果更真实、连贯、可信；</p> </div> <div class="dpu8C _2kCxD"> <p>93.76% 动作控制偏好，准确响应键盘与鼠标指令；</p> </div> <div class="dpu8C _2kCxD"> <p>98.23% 视觉质量得分，单帧画面更清晰美观；</p> </div> <div class="dpu8C _2kCxD"> <p>89.56% 时间一致性得分，动态流畅，无闪烁跳变。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202215_e5gc8SoSzy.png"></div> </div> <div class="dpu8C _2kCxD"> <p>在控制性能上，Matrix-Game可实现：“运动”“攻击”等动作高达 90%+ 准确率；细粒度视角控制下依然保持高精度响应。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202215_hjouC89Ycb.png"></div> </div> <div class="dpu8C _2kCxD"> <p>在 8 大典型 Minecraft 场景中全面领先，展现出卓越的环境适应性与泛化能力，可广泛应用于复杂动态的虚拟世界交互任务。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202215_weKCnSq97U.png"></div> </div> <div class="dpu8C _2kCxD"> <p>Matrix-Game用事实证明，它不仅能“看得清”，更能“动得准、控得稳”，是当前工业界最强的交互式世界生成基座模型之一。</p> </div> <div class="dpu8C _2kCxD"> <p>04 昆仑万维引领交互式世界生成新纪元</p> </div> <div class="dpu8C _2kCxD"> <p>Matrix-Game作为空间智能领域交互式世界生成的重要里程碑，将潜在为多个领域带来革命性影响：</p> </div> <div class="dpu8C _2kCxD"> <p>虚拟游戏世界快速搭建：借助模型的可控生成能力，可低成本、高效率地创建多样化、结构合理的游戏地图与交互环境，显著提升关卡设计与任务构建的自由度。</p> </div> <div class="dpu8C _2kCxD"> <p>影视与元宇宙内容生产：支持高保真、物理一致的动态场景合成，为沉浸式体验开发与创意内容生成提供通用世界建模基础。</p> </div> <div class="dpu8C _2kCxD"> <p>具身智能体训练与数据生成：尽管当前模型未直接用于具身智能，Matrix-Game 具备生成大规模交互视频的能力，具备扩展至具身智能体训练与评估的潜力，可为智能体创建多样复杂的虚拟环境，辅助其任务执行与推理能力的提升。</p> </div> <div class="dpu8C _2kCxD"> <p>Matrix-Game让世界不再只是被观看，而是被探索、被操控、被创造。昆仑万维正站在空间智能时代的新起点，邀请每一位探索者一起，用指尖绘制属于自己的无限虚拟世界。</p> </div> <div class="dpu8C _2kCxD"> <p>未来，昆仑万维将持续投入前沿技术与基础模型研发，并且坚定开源SOTA级别模型回归社区。我们相信，Matrix系列世界模型将对公司AI短剧生产和编辑以及AI游戏生产等业务进一步赋能，为用户和开发者带来新的平台和工具。</p> </div>
BlenderMCP 通过模型上下文协议 (MCP) 将 Blender 连接到 Claude AI，使 Claude 能够直接与 Blender 交互并控制 Blender。这种集成支持快速辅助 3D 建模、场景创建和操作。 Hyper3D 的免费试用密钥允许您每天生成有限数量的模型。如果达到每日限制，您可以等待第二天重置，或从 hyper3d.ai 和 fal.ai 获取您自己的密钥。
AI RPG platform for text-based games
