Playmate是广州趣丸科技团队推出的人脸动画生成框架。框架基于3D隐式空间引导扩散模型，用双阶段训练框架，根据音频和指令精准控制人物的表情和头部姿态，生成高质量的动态肖像视频。Playmate基于运动解耦模块和情感控制模块，实现对生成视频的精细控制，显著提升视频质量和情感表达的灵活性。Playmate在音频驱动肖像动画领域取得重大进展，提供对情感和姿态的精细控制，能生成多种风格的动态肖像，具有广泛的应用前景。
<p>FaceShot是同济大学、上海 AI Lab和南京理工大学推出的新型无需训练的肖像动画生成框架。用外观引导的地标匹配模块和基于坐标的地标重定位模块，为各种角色生成精确且鲁棒的地标序列，基于潜在扩散模型的语义对应关系，跨越广泛的角色类型生成面部动作序列。将地标序列输入预训练的地标驱动动画模型生成动画视频。FaceShot突破对现实肖像地标的限制，适用于任何风格化的角色和驱动视频，或作为插件与任何地标驱动的动画模型兼容，显著提升整体性能。</p> <h2 style="font-size: 20px;">FaceShot的主要功能</h2> <ul> <li>角色动画生成：为各种类型的角色生成流畅且自然的面部动画，保持角色的原始特征。</li> <li>跨领域动画：支持从人类视频驱动非人类角色（如玩具、动物等）的动画，扩展肖像动画的应用范围。</li> <li>无需训练：无需针对每个角色或驱动视频进行额外的训练或微调，直接生成高质量的动画。</li> <li>兼容性：作为插件与任何地标驱动的动画模型无缝集成。</li> </ul> <h2 style="font-size: 20px;">FaceShot的技术原理</h2> <ul> <li>外观引导的地标匹配模块：基于潜在扩散模型的语义对应关系，结合外观先验知识，为任意角色生成精确的面部地标。用DDIM逆过程从参考图像和目标图像中提取扩散特征，基于图像提示减少不同领域之间的外观差异。用余弦距离进行地标匹配，确保地标在语义上的一致性，引入外观画廊进一步优化匹配效果。</li> <li>基于坐标的地标重定位模块：基于坐标系变换捕捉驱动视频中的细微面部动作，生成与之对齐的地标序列。模块分为全局运动和局部运动两个阶段，全局运动负责计算面部的整体平移和旋转，局部运动则分别对眼睛、嘴巴、鼻子、眉毛和面部边界等部分进行相对运动和点运动的重定位。基于简单的坐标变换公式，模块能精确捕捉面部的全局和局部运动，生成稳定的地标序列。</li> <li>地标驱动的动画模型：模块将生成的地标序列输入预训练的动画模型（如MOFA-Video），生成最终的动画视频。将地标序列作为额外条件输入到动画模型的U-Net中，确保模型能精确跟踪地标序列中的运动。基于这种方式，动画模型能用地标序列生成与驱动视频一致的动画效果，保持角色的视觉身份，实现高质量的肖像动画生成。</li> </ul> <h2 style="font-size: 20px;">FaceShot的项目地址</h2> <ul> <li>项目官网：<a class="external" href="https://faceshot2024.github.io/faceshot/?utm_source=medsci" target="_blank" rel="noopener">https://faceshot2024.github.io/faceshot/</a></li> <li>GitHub仓库：<a class="external" href="https://github.com/open-mmlab/FaceShot" target="_blank" rel="noopener">https://github.com/open-mmlab/FaceShot</a></li> <li>arXiv技术论文：<a class="external" href="https://arxiv.org/pdf/2503.00740" target="_blank" rel="noopener nofollow">https://arxiv.org/pdf/2503.00740</a></li> </ul>
Discover hidden information in your photos using AI.
