Meta发布了AssetGet 2.0版本，Meta表示，2.0显著提升了细节和保真度，其中包括几何一致性和极其精细的细节。“AssetGen 2.0为行业树立了全新标准，并利用生成式AI突破了可能性的界限。”
从技术原理来看，AssetGen 1.0需要根据提示生成目标素材的多个2D图像视图，然后将这些图像输入到另一个生成素材的神经网络中。相比之下，AssetGen 2.0是一个单阶段3D扩散模型，它直接从文本提示生成素材，并直接在大量3D素材语料库上进行训练。
目前，Meta已经在内部使用AssetGet 2.0来创建3D世界，据悉新模型会在今年晚些时候在Meta Horizon桌面编辑器上线。
Meta表示，“我们希望AssetGen 2.0能够帮助实现3D体验创作的民主化，使其像2D内容创作一样容易，并为在Meta的Horizon和Avatar平台上工作的艺术家、设计师和开发人员开辟新的创作可能性。”
相关推荐
VACE
<p>VACE（Video Creation and Editing）是阿里巴巴通义实验室推出的一站式视频生成与编辑框架。基于整合多种视频任务（如参考视频生成、视频到视频编辑、遮罩编辑等）到一个统一模型中，实现高效的内容创作和编辑功能。VACE的核心在于Video Condition Unit（VCU），将文本、图像、视频和遮罩等多种模态输入整合为统一的条件单元，支持多种任务的灵活组合。开源的 Wan2.1-VACE-1.3B 支持 480P 分辨率，Wan2.1-VACE-14B 支持 480P 和 720P 分辨率。实验表明，VACE在多种任务上达到与特定任务模型相当的性能，提供更广泛的应用可能性，为视频内容创作开辟新的路径。</p> <p><img src="https://img.medsci.cn/aisite/img//7DqGfNwEZGYmN556BQ6GNFIoi4Sj62kRN7BE9ZNo.png"></p> <h2 style="font-size: 20px;">VACE的主要功能</h2> <ul> <li>文本到视频生成：根据文本提示生成视频。</li> <li>参考到视频生成：结合文本和参考图像生成视频。</li> <li>视频扩展：基于现有视频片段生成新的开头或结尾。</li> <li>视频到视频编辑：对输入视频进行整体风格转换（如色彩化、风格化）。</li> <li>遮罩视频编辑：在指定区域进行编辑，如修复（Inpainting）、扩展（Outpainting）。</li> <li>主体移除与重建：移除视频中的特定主体并填充背景。</li> <li>任务组合与创新：将多种任务组合，例如参考生成+主体替换、姿态控制+视频扩展等。基于姿态、深度、光流等条件控制视频生成。</li> </ul> <h2 style="font-size: 20px;">VACE的技术原理</h2> <ul> <li>Video Condition Unit（VCU）：VCU是VACE的核心输入接口，用在整合多种模态的输入（如文本、图像、视频、遮罩）。基于统一的格式将输入传递给模型，支持多种任务的灵活组合。</li> <li>Context Adapter结构：基于Context Adapter，将不同任务的概念（如编辑区域、参考内容）注入模型。将时间和空间维度的形式化表示，适应不同的任务需求。</li> <li>扩散模型：基于扩散模型（如Diffusion Transformer）构建，用逐步去噪的方式生成高质量的视频内容。</li> <li>多模态输入处理：支持文本、图像、视频和遮罩等多种输入模态，基于特定的编码器映射到统一的特征空间。例如，视频VAE（Variational Autoencoder）处理视频输入，分割和掩码操作处理局部编辑任务。</li> <li>训练与优化策略：基于逐步训练策略，先从基础任务（如修复、扩展）开始，逐步扩展到复杂任务（如组合任务）。支持全模型微调和上下文适配器微调，后者能更快收敛支持插件式功能。</li> </ul> <h2 style="font-size: 20px;">VACE的项目地址</h2> <ul> <li>项目官网： <a href="https://ali-vilab.github.io/VACE-Page/?utm_source=medsci" target="_blank" rel="noopener">https://ali-vilab.github.io/VACE-Page/</a> </li> <li>GitHub仓库： <a href="https://github.com/ali-vilab/VACE?utm_source=medsci" target="_blank" rel="noopener">https://github.com/ali-vilab/VACE</a> </li> <li>HuggingFace模型库： <a href="https://huggingface.co/collections/ali-vilab/vace?utm_source=medsci" target="_blank" rel="noopener">https://huggingface.co/collections/ali-vilab/vace</a> </li> </ul> <h2 style="font-size: 20px;">VACE的应用场景</h2> <ul> <li>创意视频生成：快速根据文本或图片生成广告、动画等创意视频内容。</li> <li>视频修复与增强：修复老视频、填补画面缺失部分或提升视频风格。</li> <li>高效视频编辑：实现主体替换、动画添加等复杂编辑任务。</li> <li>视频扩展：为短视频生成新片段，延长视频内容。</li> <li>互动视频创作：根据用户输入（如姿态、草图）生成个性化视频。</li> </ul>
OpenCreator.io
输入想法直接生成视频