MODICA，一种由线粒体短开放阅读框编码的肽，通过抑制电压依赖性阴离子通道（VDAC）寡聚化、减少细胞凋亡和纤维化，保护心脏功能免受多柔比星毒性的影响，突显了一种新的心脏保护治疗靶点。
这项多中心研究强调了2D斑点追踪超声心动图在MIS-C中早期检测和预后评估左心室功能障碍的实用性，为心血管风险和管理提供了信息。
一项为期20年的前瞻性研究表明，经历过跟踪和获得保护令的女性患心血管事件的风险增加，强调暴力是心血管疾病预防中的关键因素。
高水平的脂蛋白(a)显著预测外周动脉疾病和颈动脉狭窄的发生，以及进展为主要肢体事件，强调其作为非冠状动脉粥样硬化性血管并发症的预后生物标志物的价值。
最新研究发现，PIEZO1 过表达是 2 型遗传性出血性毛细血管扩张症中动静脉畸形的关键驱动因素，揭示了靶向治疗的新途径。
最初设计用于特定心脏诊断的人工智能增强心电图模型，揭示了更广泛的心血管风险检测和预测能力，挑战了其作为特定条件工具的使用，并支持其作为全面心血管生物标志物的角色。
MITRACURE 国际注册研究显示，二尖瓣手术患者通常在疾病进展晚期出现严重症状，修复率较低且住院死亡率显著，强调了早期干预和改进管理策略的必要性。
BHF PROTECT-TAVI随机试验揭示，脑栓塞保护（CEP）装置不能防止经导管主动脉瓣植入（TAVI）后的认知下降，挑战了其神经保护益处的假设。
与标准护理相比，基于生物标志物的ABC-AF风险评分指导的治疗并未改善房颤患者的卒中或死亡结局，这强调了在临床实施前对精准医疗工具进行前瞻性验证的必要性。
这项多中心试验显示，序贯使用COX-2抑制剂帕瑞昔布和伊美昔布显著降低了重症急性胰腺炎（SAP）的发生率，缩短了器官功能障碍持续时间，减少了局部并发症，并降低了30天死亡率，且安全性良好。
一项全面的瑞典研究表明，显微镜下结肠炎（MC）患者发展为抑郁症和焦虑症等精神障碍的风险显著增加，强调了综合临床管理的重要性。
心脏磁共振成像（MRI）T1映射和细胞外体积分数（ECV）提供了心肌纤维化的无创标志物，在心力衰竭各亚型和非缺血性扩张型心肌病中对不良心血管结局显示出一致的预后价值。
了解器官钙化的原因，区分无害与危险类型，并学习如何根据专家建议解读您的健康报告。
探索微妙的肝脏症状如何预示严重疾病，从肝炎到肝癌的发展过程，以及有效习惯保护肝脏健康的方法。
PANDA II 研究表明，流感疫苗接种显著降低了急性心力衰竭患者的死亡率和再住院率，支持将其作为全球心力衰竭管理的标准组成部分。
根据最近的科学研究，仅仅将就寝时间提前一小时就可以帮助体重管理、降低抑郁风险并保护心脏。
一支多学科的中国团队开发了一种基于AI的MRI-病理学基础模型，能够准确、无创地诊断和分级前列腺癌，显著改善临床决策并减少不必要的活检。
了解每天仅需10分钟的靠墙坐如何显著降低血压并带来令人惊讶的好处，从心脏健康到关节护理和体重管理。
间歇性禁食因其代谢和减肥益处而受到欢迎，但新的研究表明，缩短进食窗口可能增加心血管风险，提示需要谨慎并采取个性化方法。
微塑料，直径小于5毫米的塑料颗粒，已悄无声息地通过饮用水、空气和食物渗透到我们的身体中。它们在器官中积累，加速细胞老化，并增加炎症。了解隐藏来源并采取实用措施减少暴露。
<p>zoomoutai.pro 与众不同，因为它不仅仅是把图片放大。它会智能地猜测并补充缺失的部分，让图片看起来更清晰、更真实，而不是模糊或拉伸变形。它在浏览器里就能使用，不需要安装任何软件。很多工具只会把图片放大，但这个工具还能修复细节，让图片更好看。</p> <p>Zoom Out AI 是一款免费工具，可将任何图像转换为缩小视频，直至看到地球。非常适合演示、创意项目和娱乐！无需下载或注册。</p> <ul class="flex flex-col justify-center gap-y-8"> <li class="flex"> <div> </div> </li> </ul>
<p>4D-LRM（Large Space-Time Reconstruction Model）是Adobe研究公司、密歇根大学等机构的研究人员共同推出的新型4D重建模型。模型能基于稀疏的输入视图和任意时间点，快速、高质量地重建出任意新视图和时间组合的动态场景。模型基于Transformer的架构，预测每个像素的4D高斯原语，实现空间和时间的统一表示，具有高效性和强大的泛化能力。4D-LRM在多种相机设置下均展现出良好的性能，尤其在交替的规范视图和帧插值设置下，模型能有效地插值时间生成高质量的重建结果。</p> <h2 style="font-size: 20px;">4D-LRM的项目地址</h2> <ul> <li>项目官网： <a href="https://4dlrm.github.io/" target="_blank" rel="noopener">https://4dlrm.github.io/</a> </li> <li>GitHub仓库： <a href="https://github.com/Mars-tin/4D-LRM" target="_blank" rel="noopener">https://github.com/Mars-tin/4D-LRM</a> </li> <li>HuggingFace模型库： <a href="https://huggingface.co/papers/2506.18890" target="_blank" rel="noopener">https://huggingface.co/papers/2506.18890</a> </li> <li>arXiv技术论文： <a href="https://arxiv.org/pdf/2506.18890" target="_blank" rel="noopener">https://arxiv.org/pdf/2506.18890</a> </li> </ul>
<p>Dive3D是北京大学和小红书公司合作推出的文本到3D生成框架。框架基于分数的匹配（Score Implicit Matching，SIM）损失替代传统的KL散度目标，有效避免模式坍塌问题，显著提升3D生成内容的多样性。Dive3D在文本对齐、人类偏好和视觉保真度方面表现出色，在GPTEval3D基准测试中取得优异的定量结果，证明了在生成高质量、多样化3D资产方面的强大能力。</p> <h2 style="font-size: 20px;">Dive3D的项目地址</h2> <ul> <li>项目官网：https://ai4scientificimaging.org/dive3d/</li> <li>GitHub仓库：https://github.com/ai4imaging/dive3d</li> <li>arXiv技术论文：https://arxiv.org/pdf/2506.13594</li> </ul>
<p>TripoSG 是 VAST-AI-Research 团队推出的基于大规模修正流（Rectified Flow, RF）模型的高保真 3D 形状合成技术， 通过大规模修正流变换器架构、混合监督训练策略以及高质量数据集，实现了从单张输入图像到高保真 3D 网格模型的生成。TripoSG 在多个基准测试中表现出色，生成的 3D 模型具有更高的细节和更好的输入条件对齐。</p> <h2 style="font-size: 20px;">TripoSG的主要功能</h2> <ul> <li>3D 内容自动化生成：TripoSG 能直接从单张输入图像生成细节惊艳的 3D 网格模型，适用于自动化生成高质量的 3D 内容。</li> <li>高分辨率三维重建：TripoSG 的 VAE 架构能处理更高分辨率的输入，适用于高分辨率的三维重建任务。</li> <li>高保真生成：生成的网格具有锐利的几何特征、精细的表面细节和复杂的结构。</li> <li>语义一致性：生成的形状准确反映了输入图像的语义和外观。</li> <li>强泛化能力：能处理多种输入风格，包括照片级真实图像、卡通和草图。</li> </ul> <h2 style="font-size: 20px;">TripoSG的地址</h2> <ul> <li>项目官网：<a class="external" href="https://yg256li.github.io/TripoSG-Page/?utm_source=medsci" target="_blank" rel="noopener">https://yg256li.github.io/TripoSG-Page/</a></li> <li>Github仓库：<a class="external" href="https://github.com/VAST-AI-Research/TripoSG" target="_blank" rel="noopener nofollow">https://github.com/VAST-AI-Research/TripoSG</a></li> <li>HuggingFace模型库：<a class="external" href="https://huggingface.co/VAST-AI/TripoSG" target="_blank" rel="noopener nofollow">https://huggingface.co/VAST-AI/TripoSG</a></li> <li>arXiv技术论文：<a class="external" href="https://arxiv.org/pdf/2502.06608" target="_blank" rel="noopener nofollow">https://arxiv.org/pdf/2502.06608</a></li> </ul>
<p>3DTown 是哥伦比亚大学联合Cybever AI等机构推出的从单张俯视图生成3D城镇场景框架。框架基于区域化生成和空间感知的3D修复技术，将输入图像分解为重叠区域，基于预训练的3D对象生成器分别生成每个区域的3D内容，基于掩码修正流修复过程填补缺失的几何结构，同时保持结构连续性。3DTown 支持生成具有高几何质量和纹理保真度的连贯3D场景，在多种风格的场景生成中表现出色，优于现有的先进方法。</p> <p><img src="https://img.medsci.cn/aisite/img//xThGTn1tiP8cPY6Nv7QjZZva42ut32yhjpoUpq11.png"></p> <h2 style="font-size: 20px;">3DTown的主要功能</h2> <ul> <li>生成多样化的3D场景：支持不同风格和布局的场景生成，如“雪镇”、“沙漠小镇”等。</li> <li>保持几何和纹理一致性：生成的3D场景在几何结构和纹理上与输入图像高度一致。</li> <li>高效处理复杂场景：能有效处理复杂场景，避免几何失真和布局幻觉。</li> </ul> <h2 style="font-size: 20px;">3DTown的技术原理</h2> <ul> <li>区域化生成：将输入图像分解为重叠区域，每个区域独立生成3D内容。用预训练的3D对象生成器对每个区域进行生成，提高局部对齐和分辨率。基于区域融合，将生成的区域逐步合并为连贯的全局3D场景。</li> <li>空间感知3D修复：用单目深度估计和地标检测初始化粗略的3D结构，作为空间先验。基于掩码修正流（Masked Rectified Flow）技术，填补缺失的几何结构，同时保持已知内容的连续性。基于两阶段的掩码修正流管道，生成稀疏结构和结构化潜在表示，确保全局一致性。</li> <li>结构化潜在表示：基于结构化潜在表示来构建3D场景，包括位置索引和潜在特征向量。用稀疏结构生成器和结构化潜在生成器，逐步生成3D场景的潜在表示。</li> <li>模块化设计：基于模块化设计，将复杂的3D场景生成问题分解为多个子问题，每个子问题独立解决后再进行整合。</li> </ul> <h2 style="font-size: 20px;">3DTown的项目地址</h2> <ul> <li>项目官网：<a class="external" href="https://eric-ai-lab.github.io/3dtown.github.io/?utm_source=medsci" target="_blank" rel="noopener">https://eric-ai-lab.github.io/3dtown.github.io/</a></li> <li>arXiv技术论文：<a class="external" href="https://arxiv.org/pdf/2505.15765" target="_blank" rel="noopener nofollow">https://arxiv.org/pdf/2505.15765</a></li> </ul>
<p>HRAvatar是清华大学联合IDEA团队推出的单目视频重建技术，支持从普通单目视频中生成高质量、可重光照的3D头像。HRAvatar用可学习的形变基和线性蒙皮技术，基于精准的表情编码器减少追踪误差，提升重建质量。HRAvatar将头像外观分解为反照率、粗糙度和菲涅尔反射等属性，结合物理渲染模型，实现真实的重光照效果。HRAvatar在多个指标上优于现有方法，支持实时渲染（约155 FPS），为数字人、虚拟主播、AR/VR等领域提供新的技术方案。</p> <p><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/img//aamsMy0jDzR0ZGkWzvS6GnI2Ip9zVD6oFlYQGJjG.png"></p> <h2 style="font-size: 20px;">HRAvatar的技术原理</h2> <ul> <li>精确表情追踪：用端到端的表情编码器，联合优化提取更准确的表情参数，减少预追踪参数误差对重建的影响。表情编码器与3D头像重建联合训练，用高斯重建损失进行监督，提高重建准确性。</li> <li>几何变形模型：基于可学习的线性形变基（Linear Blendshapes），对每个高斯点引入形状基、表情基和姿态基，实现从标准空间到姿态空间的灵活变形。用线性蒙皮（Linear Blend Skinning），将高斯点变换到姿态空间，适应个体的姿态变形。</li> <li>外观建模：将头像外观分解为反照率、粗糙度、菲涅尔反射率等材质属性。用BRDF物理渲染模型进行着色，结合简化的SplitSum近似技术，实现高质量、可重光照的实时渲染。引入反照率伪先验，更好地解耦材质信息，避免将局部光照误混入反照率。</li> <li>法线估计与材质先验：用每个高斯点的最短轴作为其法线，基于深度导数获得的法线图监督渲染的法线图，确保几何一致性。用现有模型提取伪真实反照率，监督渲染反照率，限制粗糙度和基础反射率在预定义范围内，获得更真实的材质。</li> </ul> <h2 style="font-size: 20px;">HRAvatar的项目地址</h2> <ul> <li>项目官网：<a class="external" href="https://eastbeanzhang.github.io/HRAvatar/?utm_source=medsci" target="_blank" rel="noopener">https://eastbeanzhang.github.io/HRAvatar/</a></li> <li>GitHub仓库：<a class="external" href="https://github.com/Pixel-Talk/HRAvatar" target="_blank" rel="noopener nofollow">https://github.com/Pixel-Talk/HRAvatar</a></li> <li>arXiv技术论文：<a class="external" href="https://arxiv.org/pdf/2503.08224" target="_blank" rel="noopener nofollow">https://arxiv.org/pdf/2503.08224</a></li> </ul>
<p>WorldMem 是南洋理工大学、北京大学和上海 AI Lab 推出的创新 AI 世界生成模型。模型基于引入记忆机制，解决传统世界生成模型在长时序下缺乏一致性的关键问题。在WorldMem中，智能体在多样化场景中自由探索，生成的世界在视角和位置变化后能保持几何一致性。WorldMem 支持时间一致性建模，模拟动态变化（如物体对环境的影响）。模型在 Minecraft 数据集上进行大规模训练，在真实场景中验证有效性。WorldMem 为构建真实、持久、交互式的虚拟世界提供新的技术路径。</p> <h2 style="font-size: 20px;">WorldMem的主要功能</h2> <ul> <li>保持一致性：在长时间生成中，让虚拟世界保持一致。</li> <li>模拟动态变化：模拟时间推移带来的变化，比如物体对环境的影响（如灯光融化积雪）。</li> <li>支持交互：用户在虚拟世界中放置物体或进行操作，交互被记录影响后续生成。</li> <li>多样化场景生成：支持在多种虚拟场景（如平原、沙漠、冰原等）中自由探索。</li> <li>适用于真实场景：在真实世界数据集上验证生成一致性的能力。</li> </ul> <h2 style="font-size: 20px;">WorldMem的技术原理</h2> <ul> <li>条件生成模块：基于条件扩散变换器（Conditional Diffusion Transformer）构建，结合 Diffusion Forcing 训练策略，支持自回归式长时生成。用外部动作信号（如移动、视角控制、物体放置等）引导第一人称视角的生成。</li> <li>记忆读写模块：记忆库存储生成过程中的关键历史信息，每个记忆单元包含图像帧及其对应的状态（如视角位姿和时间戳）。记忆检索用贪心匹配算法，基于视野重叠和时间差异计算相似度，高效筛选出与当前场景最相关的记忆单元。</li> <li>记忆融合模块：将当前帧与记忆帧的状态嵌入（位姿 + 时间）结合，基于注意力计算提取与当前场景最相关的记忆信息，生成融合特征引导当前帧的生成。用 Plücker 坐标表示位姿，基于 MLP 映射时间戳，引入相对嵌入机制，提升模型的空间理解和细节保持能力。</li> </ul> <h2 style="font-size: 20px;">WorldMem的项目地址</h2> <ul> <li>项目官网：<a class="external" href="https://xizaoqu.github.io/worldmem/?utm_source=medsci" target="_blank" rel="noopener">https://xizaoqu.github.io/worldmem/</a></li> <li>GitHub仓库：<a class="external" href="https://github.com/xizaoqu/WorldMem?utm_source=medsci" target="_blank" rel="noopener">https://github.com/xizaoqu/WorldMem</a></li> <li>arXiv技术论文：<a class="external" href="https://arxiv.org/pdf/2504.12369" target="_blank" rel="noopener nofollow">https://arxiv.org/pdf/2504.12369</a></li> <li>在线体验Demo：<a class="external" href="https://huggingface.co/spaces/yslan/worldmem?utm_source=medsci" target="_blank" rel="noopener">https://huggingface.co/spaces/yslan/worldmem</a></li> </ul>
<h2 style="font-size: 20px;">Step1X-3D是什么</h2> <p>Step1X-3D 是StepFun联合LightIllusions推出的高保真、可控的 3D 资产生成框架。基于严格的数据整理流程，从超过 500 万个 3D 资产中筛选出 200 万个高质量数据，创建标准化的几何和纹理属性数据集。Step1X-3D 支持多模态条件输入，如文本和语义标签，基于低秩自适应（LoRA）微调实现灵活的几何控制。Step1X-3D 推动了 3D 生成技术的发展。</p> <p><a class="js" href="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747253028_nwRbyjwM0g.png" data-fancybox="fancybox" data-caption="Step1X-3D"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://ai-bot.cn/wp-content/uploads/2025/05/Step1X-3D-website2.png"></a></p> <h2 style="font-size: 20px;">Step1X-3D的主要功能</h2> <ul> <li>高保真度和可控的3D资产生成：生成具有高保真度几何形状和多样化纹理贴图的3D资产，保持表面几何与纹理映射之间的卓越对齐。</li> <li>支持多种条件输入：支持多种条件输入，如多视图、边界框和骨骼等，实现更灵活的3D资产生成。</li> <li>开源性：提供技术报告、推理代码和模型权重、训练代码的开源。</li> </ul> <h2 style="font-size: 20px;">Step1X-3D的技术原理</h2> <ul> <li>数据整理：基于多维度过滤条件，精准筛选出高质量的3D资产，运用绕数技术，提升网格到SDF转换的成功率，确保几何监督的准确性。</li> <li>几何生成：借助基于感知器的潜在编码和锐边采样策略，生成高保真度的TSDF表示，基于整流流变换器进行高效扩散模型训练，保障几何生成的稳定性和高效性。</li> <li>纹理生成：用预训练的多视图图像生成模型为基础，结合几何引导，生成多视图一致的纹理，引入纹理空间同步模块，实现潜在空间对齐，确保纹理与几何的精确对齐，运用纹理修复技术处理UV映射中的伪影，实现无缝纹理合成。</li> <li>可控性：基于LoRA微调技术，实现灵活的几何控制，支持对称性、几何细节级别等控制，兼容多模态条件输入，增强生成的可控性和多样性。</li> </ul> <h2 style="font-size: 20px;">Step1X-3D的项目地址</h2> <ul> <li>GitHub仓库：<a class="external" href="https://github.com/stepfun-ai/Step1X-3D" target="_blank" rel="noopener nofollow">https://github.com/stepfun-ai/Step1X-3D</a></li> <li>HuggingFace模型库：<a class="external" href="https://huggingface.co/stepfun-ai/Step1X-3D" target="_blank" rel="noopener nofollow">https://huggingface.co/stepfun-ai/Step1X-3D</a></li> <li>arXiv技术论文：<a class="external" href="https://arxiv.org/pdf/2505.07747" target="_blank" rel="noopener nofollow">https://arxiv.org/pdf/2505.07747</a></li> <li>在线体验Demo：<a class="external" href="https://huggingface.co/spaces/stepfun-ai/Step1X-3D" target="_blank" rel="noopener nofollow">https://huggingface.co/spaces/stepfun-ai/Step1X-3D</a></li> </ul> <h2 style="font-size: 20px;">Step1X-3D的应用场景</h2> <ul> <li>游戏开发：生成高保真3D模型，快速制作原型，支持个性化内容，提升视觉效果和玩家体验。</li> <li>影视制作：用在虚拟场景、角色和特效的生成，加速制作流程，提高视觉质量。</li> <li>虚拟现实（VR）和增强现实（AR）：创建沉浸式3D环境和交互式内容，增强用户体验。</li> <li>建筑设计：生成虚拟建筑和室内设计模型，辅助城市规划，提升设计展示效果。</li> <li>教育和培训：构建虚拟实验室、历史文化遗产模型和技能培训环境，提供直观互动的学习体验。</li> </ul>
<div class="dpu8C _2kCxD"> <p>昆仑万维正式开源（17B+）Matrix-Game大模型，即Matrix-Zero世界模型中的可交互视频生成大模型。Matrix-Game是Matrix系列在交互式世界生成方向的正式落地，也是工业界首个开源的10B+空间智能大模型，它是一个面向游戏世界建模的交互式世界基础模型，专为开放式环境中的高质量生成与精确控制而设计。</p> </div> <div class="dpu8C _2kCxD"> <p>空间智能作为AI时代的重要前沿技术，正在重塑我们与虚拟世界的交互方式。通过融合视频生成、三维建模与交互控制等核心技术，空间智能不仅支持更加自然、直观、沉浸的体验，也在具身智能、影视制作、游戏开发等领域展现出巨大潜力。</p> </div> <div class="dpu8C _2kCxD"> <p>昆仑万维长期关注空间智能的新进展，经过不懈的技术研发，今天正式开源Matrix-Game，不仅刷新了交互式世界生成的技术上限，也为构建通用虚拟世界基座树立了全新标杆。</p> </div> <div class="dpu8C _2kCxD"> <p>Matrix-Game聚焦于视频生成与用户交互的深度融合，让用户可以通过简单直观的指令，自由探索、操控、甚至创造出细节丰富、物理规则合理的虚拟世界。</p> </div> <div class="dpu8C _2kCxD"> <p>Matrix-Game由以下三大核心部分构成：</p> </div> <div class="dpu8C _2kCxD"> <p>1. Matrix-Game-MC数据集：自主构建的大规模交互世界数据集，包含两类数据：一是大规模无标签的Minecraft游戏视频，二是带有键盘与鼠标控制信号的 Minecraft 与 Unreal 可控视频数据，具备精细的动作注释。该数据集支持对复杂环境动态与交互模式的高效建模与学习。</p> </div> <div class="dpu8C _2kCxD"> <p>2. Matrix-Game主模型：基于先进扩散模型技术开发的图像到世界生成框架，能够根据用户输入（键盘指令、鼠标移动等）生成连贯、可控的互动视频，兼顾视觉质量、时序一致性与物理合理性。</p> </div> <div class="dpu8C _2kCxD"> <p>3. GameWorld Score评测体系：提出统一的游戏交互世界评估标准，从视频的视觉质量、时序质量、动作可控性与物理规则理解四个维度，全面量化模型性能，填补了该领域缺乏系统性评测基准的空白。</p> </div> <div class="dpu8C _2kCxD"> <p>通过两阶段训练策略（无标签数据预训练 + 标注数据可控训练），参数规模达 17B 的 Matrix-Game 世界基座模型在空间理解、用户指令响应以及物理交互建模等方面取得了显著提升。具备以下模型优势：</p> </div> <div class="dpu8C _2kCxD"> <p>细粒度用户交互控制：支持前进、跳跃、攻击、视角移动等细节操作，根据用户输入响应，操作体验准确自然。</p> </div> <div class="dpu8C _2kCxD"> <p>高保真视觉与物理一致性：生成结果在保持视觉连贯的同时，遵循自然物理规律，如重力、碰撞等，显著提升沉浸感。</p> </div> <div class="dpu8C _2kCxD"> <p>多场景泛化能力：具备对多种 Minecraft 游戏场景的泛化能力，涵盖不同地形、天气和生物群系，并具备向非 Minecraft 游戏环境泛化的潜力。</p> </div> <div class="dpu8C _2kCxD"> <p>系统化评估体系：提出统一的 GameWorld Score 标准，为交互世界模型的客观评估与持续优化提供有力支撑。</p> </div> <div class="dpu8C _2kCxD"> <p>与知名创业公司 Decart 开源方案 Oasis 和微软开源模型 MineWorld 对比，Matrix-Game 在 Minecraft 世界生成任务的各项指标上实现了全面超越，尤其在交互可控性和物理一致性理解方面表现尤为出色。此外，得益于 Unreal 数据的融入，Matrix-Game 在泛化到更广泛的通用游戏场景方面展现出明显优势。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202214_fsQRmFiRue.png"></div> </div> <div class="dpu8C _2kCxD"> <p>来源：Matrix-Game技术报告</p> </div> <div class="dpu8C _2kCxD"> <p>Matrix-Game能够在不同Minecraft场景下（如森林、沙滩、沙漠、冰川、河流、平原等）实现可控生成，包括基础运动、复合运动、视角运动等。例如，在一个沙漠场景中，Matrix-Game 能够根据用户输入的任意控制指令（如键盘的 W/A/S/D 方向键、Space 键用于跳跃、Attack 键用于攻击，以及鼠标用于视角移动），生成对应的游戏世界视频，支持角色的前后左右移动、跳跃、攻击以及视角变换等动态行为。</p> </div> <div class="dpu8C _2kCxD"> <p>在此基础上，Matrix-Game 支持自回归式的长视频生成，不仅能实现动作与视角之间的丝滑衔接，还在时间一致性与环境适应性方面表现出色，为开发沉浸式长时体验、创意内容生成及游戏设计等应用奠定了坚实的模型基础。</p> </div> <div class="dpu8C _2kCxD"> <p>不仅如此，在非Minecraft场景泛化上，Matrix-Game表现得也非常出色。</p> </div> <div class="dpu8C _2kCxD"> <p>接下来，我们来看看Matrix-Game是如何达到这样的效果的。</p> </div> <div class="dpu8C _2kCxD"> <p>01 数据构建：大规模高质量Matrix-Game-MC数据集</p> </div> <div class="dpu8C _2kCxD"> <p>为构建能够理解物理规则并具备交互生成能力的世界基础模型，Matrix-Game 自主构建了大规模 Matrix-Game-MC 数据集，涵盖从无标签预训练数据到精细标注的可控视频的完整流程，兼顾数据规模与质量。</p> </div> <div class="dpu8C _2kCxD"> <p>无标签预训练数据集采用三阶段过滤机制从6000小时的MineDojo数据中过滤出近千小时高质量数据: (1) 画质与美学过滤；(2) 非游戏内容剔除；(3) 动态与视角稳定性过滤。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202214_gJU3Hr3t48.png"></div> </div> <div class="dpu8C _2kCxD"> <p>有标签数据采用两种策略混合生成数千小时的可控监督数据：</p> </div> <div class="dpu8C _2kCxD"> <p>探索代理（Exploration Agent）：借助 VPT agent 在 MineRL 环境中进行自动探索，生成大规模、高质量的 Minecraft 视频数据，数据中包含精确的键盘与鼠标控制信号，支持可控性学习。</p> </div> <div class="dpu8C _2kCxD"> <p>程序化模拟（Unreal Procedural Simulation）：基于 Unreal Engine 手动构建结构清晰、标签精确的模拟交互场景，提供位置信息、动作标签（离散与连续）、以及环境反馈信号（如方块是否成功破坏），生成高精度、无噪声的可控标注数据，助力高保真动作-响应建模。</p> </div> <div class="dpu8C _2kCxD"> <p>02 模型架构：Matrix-Game从图像出发构建可控交互世界</p> </div> <div class="dpu8C _2kCxD"> <p>Matrix-Game是以图像为输入的交互式世界生成基础模型，整体架构围绕以下几个核心设计：</p> </div> <div class="dpu8C _2kCxD"> <p>图像到世界建模（Image-to-World Modeling）</p> </div> <div class="dpu8C _2kCxD"> <p>强调空间智能能力：不依赖语言提示，仅基于视觉信号建模空间几何、物体运动及其物理交互；</p> </div> <div class="dpu8C _2kCxD"> <p>输入形式：以单张参考图像作为生成交互式视频的起点；</p> </div> <div class="dpu8C _2kCxD"> <p>交互可控生成：融合用户动作输入（如键盘、鼠标），通过类似 Flux 与 HunyuanVideo 的多模态扩散模型直接生成虚拟游戏世界的视频内容。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202214_L8eKAJovBW.png"></div> </div> <div class="dpu8C _2kCxD"> <p>自回归式视频生成（Autoregressive Diffusion Generation）</p> </div> <div class="dpu8C _2kCxD"> <p>支持自回归方式扩展生成长度，可持续生成高一致性长视频内容；</p> </div> <div class="dpu8C _2kCxD"> <p>每次以前一视频片段的最后 k=5帧作为运动上下文，逐段递进生成，确保时间上的连贯性；</p> </div> <div class="dpu8C _2kCxD"> <p>为缓解时序漂移和误差累积，训练中以一定概率针对参考图像与运动上下文引入随机扰动、随机删除，以及Classifier-free guidance策略。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202214_RPZLulGwpv.png"></div> </div> <div class="dpu8C _2kCxD"> <p>可控交互设计（Injecting Actions for Controllability）</p> </div> <div class="dpu8C _2kCxD"> <p>键盘动作（如上下左右、跳跃、攻击）以离散token表达，视角移动动作（如鼠标pitch角度）则以连续token表达；</p> </div> <div class="dpu8C _2kCxD"> <p>采用GameFactory的控制模块，并融入多模态Diffusion Transformer架构；</p> </div> <div class="dpu8C _2kCxD"> <p>使用 Classifier-free guidance策略提升对控制信号的鲁棒响应能力。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202214_Amo91azDXy.png"></div> </div> <div class="dpu8C _2kCxD"> <p>03 评测体系与模型性能：提出统一基准 GameWorld Score，重塑交互式世界生成标杆</p> </div> <div class="dpu8C _2kCxD"> <p>为了系统性评估和比较交互式世界生成模型的性能，Matrix-Game提出了一套专为 Minecraft 世界建模设计的统一评测框架 —— GameWorld Score。该评测体系弥补了现有基准在交互性、物理一致性等维度的缺失，首次实现了对感知质量 + 控制能力 + 物理合理性的全方位衡量。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202215_dA71JaP77O.png"></div> </div> <div class="dpu8C _2kCxD"> <p>GameWorld Score 包含四大核心评估维度：</p> </div> <div class="dpu8C _2kCxD"> <p>视觉质量（Visual Quality）：评估每一帧图像的清晰度、结构一致性与真实感。依据人类视觉系统（HVS）标准衡量每一帧图像生成效果。</p> </div> <div class="dpu8C _2kCxD"> <p>时序质量（Temporal Quality）：衡量模型生成视频的动态连贯性，包括运动连续性、节奏平滑性与时间稳定性。</p> </div> <div class="dpu8C _2kCxD"> <p>交互可控性（Action Controllability）：评估生成结果是否准确响应用户输入的控制信号，涵盖离散控制（如前进、跳跃）和连续控制（如视角转换）。</p> </div> <div class="dpu8C _2kCxD"> <p>物理规则理解（Physical Rule Understanding）：测试生成视频是否遵循物理常识与空间一致性。</p> </div> <div class="dpu8C _2kCxD"> <p>在GameWorld Score评测系统中，Matrix-Game在视觉质量、时间一致性、动作可控性与物理规则理解四大维度上均取得领先成绩，全面超越现有开源基线模型 Oasis 与 MineWorld。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202215_xcyuicaou9.png"></div> </div> <div class="dpu8C _2kCxD"> <p>在双盲人评实验中，用户更倾向于选择 Matrix-Game生成的视频：</p> </div> <div class="dpu8C _2kCxD"> <p>96.3% 总体偏好率，生成效果更真实、连贯、可信；</p> </div> <div class="dpu8C _2kCxD"> <p>93.76% 动作控制偏好，准确响应键盘与鼠标指令；</p> </div> <div class="dpu8C _2kCxD"> <p>98.23% 视觉质量得分，单帧画面更清晰美观；</p> </div> <div class="dpu8C _2kCxD"> <p>89.56% 时间一致性得分，动态流畅，无闪烁跳变。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202215_e5gc8SoSzy.png"></div> </div> <div class="dpu8C _2kCxD"> <p>在控制性能上，Matrix-Game可实现：“运动”“攻击”等动作高达 90%+ 准确率；细粒度视角控制下依然保持高精度响应。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202215_hjouC89Ycb.png"></div> </div> <div class="dpu8C _2kCxD"> <p>在 8 大典型 Minecraft 场景中全面领先，展现出卓越的环境适应性与泛化能力，可广泛应用于复杂动态的虚拟世界交互任务。</p> </div> <div class="_3hMwG _2kCxD"> <div class="_1NCGf"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/14/1747202215_weKCnSq97U.png"></div> </div> <div class="dpu8C _2kCxD"> <p>Matrix-Game用事实证明，它不仅能“看得清”，更能“动得准、控得稳”，是当前工业界最强的交互式世界生成基座模型之一。</p> </div> <div class="dpu8C _2kCxD"> <p>04 昆仑万维引领交互式世界生成新纪元</p> </div> <div class="dpu8C _2kCxD"> <p>Matrix-Game作为空间智能领域交互式世界生成的重要里程碑，将潜在为多个领域带来革命性影响：</p> </div> <div class="dpu8C _2kCxD"> <p>虚拟游戏世界快速搭建：借助模型的可控生成能力，可低成本、高效率地创建多样化、结构合理的游戏地图与交互环境，显著提升关卡设计与任务构建的自由度。</p> </div> <div class="dpu8C _2kCxD"> <p>影视与元宇宙内容生产：支持高保真、物理一致的动态场景合成，为沉浸式体验开发与创意内容生成提供通用世界建模基础。</p> </div> <div class="dpu8C _2kCxD"> <p>具身智能体训练与数据生成：尽管当前模型未直接用于具身智能，Matrix-Game 具备生成大规模交互视频的能力，具备扩展至具身智能体训练与评估的潜力，可为智能体创建多样复杂的虚拟环境，辅助其任务执行与推理能力的提升。</p> </div> <div class="dpu8C _2kCxD"> <p>Matrix-Game让世界不再只是被观看，而是被探索、被操控、被创造。昆仑万维正站在空间智能时代的新起点，邀请每一位探索者一起，用指尖绘制属于自己的无限虚拟世界。</p> </div> <div class="dpu8C _2kCxD"> <p>未来，昆仑万维将持续投入前沿技术与基础模型研发，并且坚定开源SOTA级别模型回归社区。我们相信，Matrix系列世界模型将对公司AI短剧生产和编辑以及AI游戏生产等业务进一步赋能，为用户和开发者带来新的平台和工具。</p> </div>
BlenderMCP 通过模型上下文协议 (MCP) 将 Blender 连接到 Claude AI，使 Claude 能够直接与 Blender 交互并控制 Blender。这种集成支持快速辅助 3D 建模、场景创建和操作。 Hyper3D 的免费试用密钥允许您每天生成有限数量的模型。如果达到每日限制，您可以等待第二天重置，或从 hyper3d.ai 和 fal.ai 获取您自己的密钥。
