关键词 "扩散模型" 的搜索结果， 共 24 条, 只显示前 480 条
ACE-Step，这是一个用于音乐生成的全新开源基础模型，它克服了现有方法的关键局限性，并通过整体架构设计实现了最佳性能。当前的方法在生成速度、音乐连贯性和可控性之间面临着固有的权衡。例如，基于 LLM 的模型（例如 Yue、SongGen）在歌词对齐方面表现出色，但推理速度慢且存在结构性伪影。另一方面，扩散模型（例如 DiffRhythm）虽然能够实现更快的合成速度，但通常缺乏长距离的结构连贯性
Meta发布AssetGen 2.0 AI模型，可高效生成3D资产 Meta发布了AssetGet 2.0版本，Meta表示，2.0显著提升了细节和保真度，其中包括几何一致性和极其精细的细节。“AssetGen 2.0为行业树立了全新标准，并利用生成式AI突破了可能性的界限。” 从技术原理来看，AssetGen 1.0需要根据提示生成目标素材的多个2D图像视图，然后
昆仑万维正式开源（17B+）Matrix-Game大模型，即Matrix-Zero世界模型中的可交互视频生成大模型。Matrix-Game是Matrix系列在交互式世界生成方向的正式落地，也是工业界首个开源的10B+空间智能大模型，它是一个面向游戏世界建模的交互式世界基础模型，专为开放式环境中的高质量生成与精确控制而设计。 空间智能作为AI时代的重要前沿技术，正在重塑我们与虚拟世界的
Nexus-Gen：图像理解、生成和编辑的统一模型，开源届的GPT-4o平替 待办事项 发布训练和推理代码。 发布模型检查点。 发布技术报告。 发布训练数据集。 什么是Nexus-Gen Nexus-Gen 是一个统一模型，它将 LLM 的语言推理能力与扩散模型的图像合成能力协同起来。为了对齐 LLM 和扩散模型的嵌入
Step1X-3D是什么 Step1X-3D 是StepFun联合LightIllusions推出的高保真、可控的 3D 资产生成框架。基于严格的数据整理流程，从超过 500 万个 3D 资产中筛选出 200 万个高质量数据，创建标准化的几何和纹理属性数据集。Step1X-3D 支持多模态条件输入，如文本和语义标签，基于低秩自适应（LoRA）微调实现灵活的几何控制。Step1X-3D 推动了 3
DreamFit是什么 DreamFit是字节跳动团队联合清华大学深圳国际研究生院、中山大学深圳校区推出的虚拟试衣框架，专门用在轻量级服装为中心的人类图像生成。框架能显著减少模型复杂度和训练成本，基于优化文本提示和特征融合，提高生成图像的质量和一致性。DreamFit能泛化到各种服装、风格和提示指令，生成高质量的人物图像。DreamFit支持与社区控制插件的无缝集成，降低使用门槛。 Dre
秒画趣拍是商汤科技推出的AI创意写真小程序，基于商汤科技的”日日新·秒画”文生图大模型，为用户提供了一种新颖的摄影体验。用户可通过上传一张照片，使用小程序提供的丰富多样的模板，生成具有不同风格和主题的高质量写真和自拍合照。秒画趣拍的模板包括校园毕业照、创意合照、名画风写真、旅拍照片、新国风、二次元等。 秒画趣拍的功能特色 AI创意生成：用户上传一张照片后，小程序能够快速生成具有不同风格
IFAdapter是一种新型的文本到图像生成模型，由腾讯和新加坡国立大学共同推出。提升生成含有多个实例的图像时的位置和特征准确性。传统模型在处理多实例图像时常常面临定位和特征准确性的挑战，IFAdapter通过引入两个关键组件外观标记（Appearance Tokens）和实例语义图（Instance Semantic Map）解决问题。外观标记用于捕获描述中的详细特征信息，实例语义图则将特征与特
VACE（Video Creation and Editing）是阿里巴巴通义实验室推出的一站式视频生成与编辑框架。基于整合多种视频任务（如参考视频生成、视频到视频编辑、遮罩编辑等）到一个统一模型中，实现高效的内容创作和编辑功能。VACE的核心在于Video Condition Unit（VCU），将文本、图像、视频和遮罩等多种模态输入整合为统一的条件单元，支持多种任务的灵活组合。开源的 Wan2
FaceShot是同济大学、上海 AI Lab和南京理工大学推出的新型无需训练的肖像动画生成框架。用外观引导的地标匹配模块和基于坐标的地标重定位模块，为各种角色生成精确且鲁棒的地标序列，基于潜在扩散模型的语义对应关系，跨越广泛的角色类型生成面部动作序列。将地标序列输入预训练的地标驱动动画模型生成动画视频。FaceShot突破对现实肖像地标的限制，适用于任何风格化的角色和驱动视频，或作为插件与任何地
DICE-Talk是复旦大学联合腾讯优图实验室推出的新颖情感化动态肖像生成框架，支持生成具有生动情感表达且保持身份一致性的动态肖像视频。DICE-Talk引入情感关联增强模块，基于情感库捕获不同情感之间的关系，提升情感生成的准确性和多样性。框架设计情感判别目标，基于情感分类确保生成过程中的情感一致性。在MEAD和HDTF数据集上的实验表明，DICE-Talk在情感准确性、对口型和视觉质量方面均优于
Sketch2Anim 是爱丁堡大学联合Snap Research、东北大学推出的自动化框架，能将2D草图故事板直接转换为高质量的3D动画。基于条件运动合成技术，用3D关键姿势、关节轨迹和动作词精确控制动画的生成。框架包含两个核心模块，多条件运动生成器和2D、3D神经映射器。Sketch2Anim能生成自然流畅的3D动画，支持交互式编辑，极大地提高动画制作的效率和灵活性。 Sketch2Anim
Scenethesis 是 NVIDIA 推出的创新框架，用在从文本生成交互式 3D 场景。框架结合大型语言模型（LLM）和视觉感知技术，基于多阶段流程实现高效生成，用 LLM 进行粗略布局规划，基于视觉模块细化布局生成图像指导，用优化模块调整物体姿态确保物理合理性，基于判断模块验证场景的空间连贯性。Scenethesis 能生成多样化的室内外场景，具有高度的真实感和物理合理性，广泛应用在虚拟内容
SuperEdit是字节跳动智能创作团队和佛罗里达中央大学计算机视觉研究中心联合推出的指令引导图像编辑方法，基于优化监督信号提高图像编辑的精度和效果。SuperEdit基于纠正编辑指令，与原始图像和编辑图像对更准确地对齐，引入对比监督信号，进一步优化模型训练。SuperEdit不需要额外的视觉语言模型（VLM）或预训练任务，仅依赖高质量的监督信号，在多个基准测试中实现显著的性能提升。 Super
MMaDA（Multimodal Large Diffusion Language Models）是普林斯顿大学、清华大学、北京大学和字节跳动推出的多模态扩散模型，支持跨文本推理、多模态理解和文本到图像生成等多个领域实现卓越性能。模型用统一的扩散架构，具备模态不可知的设计，消除对特定模态组件的需求，引入混合长链推理（CoT）微调策略，统一跨模态的CoT格式，推出UniGRPO，针对扩散基础模型的统
RelightVid是上海 AI Lab、复旦大学、上海交通大学、浙江大学、斯坦福大学和香港中文大学推出用在视频重照明的时序一致性扩散模型，支持根据文本提示、背景视频或HDR环境贴图对输入视频进行细粒度和一致的场景编辑，支持全场景重照明和前景保留重照明。模型基于自定义的增强管道生成高质量的视频重照明数据对，结合真实视频和3D渲染数据，在预训练的图像照明编辑扩散框架（IC-Light）基础上，插入可
Gemini Diffusion是谷歌推出的实验性文本扩散模型。与传统自回归模型逐词生成文本不同，基于逐步细化噪声生成输出，能快速迭代纠正错误，让Gemini Diffusion在文本生成任务中表现出色，具备快速响应、生成更连贯文本和迭代细化等能力。Gemini Diffusion性能在外部基准测试中与更大规模模型相当，速度更快。Gemini Diffusion作为实验性演示提供，用户加入等待名单
Vid2World是清华大学联合重庆大学推出的创新框架，支持将全序列、非因果的被动视频扩散模型（VDM）转换为自回归、交互式、动作条件化的世界模型。模型基于视频扩散因果化和因果动作引导两大核心技术，解决传统VDM在因果生成和动作条件化方面的不足。Vid2World在机器人操作和游戏模拟等复杂环境中表现出色，支持生成高保真、动态一致的视频序列，支持基于动作的交互式预测。Vid2World为提升世界模
LLaDA-V是中国人民大学高瓴人工智能学院、蚂蚁集团推出的多模态大语言模型（MLLM），基于纯扩散模型架构，专注于视觉指令微调。模型在LLaDA的基础上，引入视觉编码器和MLP连接器，将视觉特征映射到语言嵌入空间，实现有效的多模态对齐。LLaDA-V在多模态理解方面达到最新水平，超越现有的混合自回归-扩散和纯扩散模型。 LLaDA-V的主要功能 图像描述生成：根据输入的图像生成详细的描述
Jodi是中国科学院计算技术研究所和中国科学院大学推出的扩散模型框架，基于联合建模图像域和多个标签域，将视觉生成与理解统一起来。Jodi基于线性扩散Transformer和角色切换机制，执行联合生成（同时生成图像和多个标签）、可控生成（基于标签组合生成图像）及图像感知（从图像预测多个标签）三种任务。Jodi用包含20万张高质量图像和7个视觉域标签的Joint-1.6M数据集进行训练。Jodi在生成
Playmate是广州趣丸科技团队推出的人脸动画生成框架。框架基于3D隐式空间引导扩散模型，用双阶段训练框架，根据音频和指令精准控制人物的表情和头部姿态，生成高质量的动态肖像视频。Playmate基于运动解耦模块和情感控制模块，实现对生成视频的精细控制，显著提升视频质量和情感表达的灵活性。Playmate在音频驱动肖像动画领域取得重大进展，提供对情感和姿态的精细控制，能生成多种风格的动态肖像，具有
LLIA（Low-Latency Interactive Avatars）是美团公司推出的基于扩散模型的实时音频驱动肖像视频生成框架。框架基于音频输入驱动虚拟形象的生成，支持实现低延迟、高保真度的实时交互。LLIA用可变长度视频生成技术，减少初始视频生成的延迟，结合一致性模型训练策略和模型量化技术，显著提升推理速度。LLIA支持用类别标签控制虚拟形象的状态（如说话、倾听、空闲）及面部表情的精细控制
Seaweed APT2是字节跳动推出的创新的AI视频生成模型，通过自回归对抗后训练（AAPT）技术，将双向扩散模型转化为单向自回归生成器，实现高效、高质量的视频生成。模型能在单次网络前向评估（1NFE）中生成包含多帧视频的潜空间帧，显著降低了计算复杂性，通过输入回收机制和键值缓存（KV Cache）技术，支持长时间视频生成，解决了传统模型在长视频生成中常见的动作漂移和物体变形问题。能在单块GPU
文本到图像的扩散模型的最新进展已取得显著成功，但它们往往难以完全捕捉用户的意图。现有的使用文本输入结合边界框或区域蒙版的方法无法提供精确的空间引导，常常导致对象方向错位或意外。为了解决这些限制，我们提出了涂鸦引导扩散(ScribbleDiff)，这是一种无需训练的方法，它利用用户提供的简单涂鸦作为视觉提示来引导图像生成。然而，将涂鸦纳入扩散模型存在挑战，因为涂鸦具有稀疏和单薄的特性，很难确保准确的
只显示前20页数据，更多请搜索
Showing 1 to 24 of 26 results
