Fun and magical animal image generator.

Fun and magical animal image generator.
<p>RelightVid是上海 AI Lab、复旦大学、上海交通大学、浙江大学、斯坦福大学和香港中文大学推出用在视频重照明的时序一致性扩散模型,支持根据文本提示、背景视频或HDR环境贴图对输入视频进行细粒度和一致的场景编辑,支持全场景重照明和前景保留重照明。模型基于自定义的增强管道生成高质量的视频重照明数据对,结合真实视频和3D渲染数据,在预训练的图像照明编辑扩散框架(IC-Light)基础上,插入可训练的时序层增强视频重照明的效果。RelightVid在保持时序一致性和照明细节方面具有显著优势,为视频编辑和生成领域提供新的可能性。</p> <p><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/img//X1b4rDz6eyn0tdswmynroNyCeYnnXtuJ0HL6GX1Y.png"></p> <h2 style="font-size: 20px;">RelightVid的主要功能</h2> <ul> <li>文本条件重照明:根据用户输入的文本描述,对视频进行重照明,例如“阳光透过树叶,形成斑驳光影”或“柔和的晨光,金色时刻”。</li> <li>背景视频条件重照明:用背景视频作为光照条件,动态调整前景对象的光照,让前景与背景光照一致。</li> <li>HDR环境贴图条件重照明:用HDR环境贴图精确控制光照,实现高质量的重照明效果。</li> <li>全场景重照明:对前景和背景进行重照明,让整个场景与光照条件匹配。</li> <li>前景保留重照明:对前景进行重照明,同时保留背景,适用需要突出前景对象的场景。</li> </ul> <h2 style="font-size: 20px;">RelightVid的技术原理</h2> <ul> <li>扩散模型扩展:RelightVid基于预训练的图像重照明扩散模型(如IC-Light),扩展架构支持视频输入,引入时序层捕捉帧间的时间依赖性,确保重照明的时序一致性。</li> <li>多模态条件联合训练:模型能同时用背景视频、文本提示和HDR环境贴图作为条件,基于编码器将条件嵌入到模型中,基于交叉注意力机制实现协同编辑。</li> <li>光照不变集成(Illumination-Invariant Ensemble, IIE):用亮度增强输入视频并平均预测噪声,提高模型在不同光照条件下的鲁棒性,防止反照率变化。</li> <li>数据增强管道(LightAtlas):基于真实视频和3D渲染数据生成高质量的重照明数据对,为模型提供丰富的光照先验知识,增强对复杂光照场景的适应能力。</li> </ul> <div class="markdown-heading" dir="auto"> <h2 class="heading-element" dir="auto" tabindex="-1">亮点</h2> <a id="user-content--highlights" class="anchor" href="https://github.com/Aleafy/RelightVid#-highlights" aria-label="永久链接:💡 亮点"></a></div> <ul dir="auto"> <li>🔥 我们提出了RelightVid,这是一个灵活的框架,用于实现逼真且时间一致的视频重新照明,与现有基线相比具有出色的性能。</li> <li>🔥 我们构建了LightAtlas ,这是一个具有真实世界和 3D 渲染照明对的大规模视频数据集,以提供丰富的照明先验。</li> <li>🔥 通过结合时间层,该框架可确保强大的帧间一致性,同时在整个视频中保持高质量的重新照明。</li> <li>🔥 RelightVid支持文本提示、背景视频和 HDR 地图等多种输入,可在各种视频场景中进行灵活且自适应的灯光操控。</li> </ul> <div class="markdown-heading" dir="auto"> <h2 class="heading-element" dir="auto" tabindex="-1">💾 安装</h2> <a id="user-content--installation" class="anchor" href="https://github.com/Aleafy/RelightVid#-installation" aria-label="永久链接:💾 安装"></a></div> <div class="highlight highlight-source-shell notranslate position-relative overflow-auto" dir="auto"> <pre>git clone https://github.com/Aleafy/RelightVid.git cd RelightVid conda create -n relitv python=3.10 conda activate relitv pip install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/cu118 pip install -r requirements.txt</pre> <div class="zeroclipboard-container"> </div> </div> <div class="markdown-heading" dir="auto"> <h2 class="heading-element" dir="auto" tabindex="-1">📦模型准备</h2> <a id="user-content--model-preparation" class="anchor" href="https://github.com/Aleafy/RelightVid#-model-preparation" aria-label="永久链接:📦模型准备"></a></div> <p>为了重现结果,请下载以下模型,并按照以下目录结构组织它们:</p> <ul dir="auto"> <li><a href="https://huggingface.co/lllyasviel/ic-light/tree/main" rel="nofollow">IC-Light</a></li> <li><a href="https://huggingface.co/stablediffusionapi/realistic-vision-v51/tree/main" rel="nofollow">RealisticVision-v51</a></li> <li><a href="https://huggingface.co/aleafy/relightvid_models/tree/main" rel="nofollow">重光视频</a></li> </ul> <h2 style="font-size: 20px;">RelightVid的项目地址</h2> <ul> <li>项目官网:<a class="external" href="https://aleafy.github.io/relightvid/?utm_source=medsci" target="_blank" rel="noopener">https://aleafy.github.io/relightvid/</a></li> <li>GitHub仓库:<a class="external" href="https://github.com/Aleafy/RelightVid" target="_blank" rel="noopener nofollow">https://github.com/Aleafy/RelightVid</a></li> <li>arXiv技术论文:<a class="external" href="https://arxiv.org/pdf/2501.16330" target="_blank" rel="noopener nofollow">https://arxiv.org/pdf/2501.16330</a></li> <li>在线体验Demo:<a class="external" href="https://huggingface.co/spaces/aleafy/RelightVid" target="_blank" rel="noopener nofollow">https://huggingface.co/spaces/aleafy/RelightVid</a></li> </ul>
<p><a href="https://miaohua.sensetime.com/?utm_source=medsci" target="_blank" rel="noopener">秒画趣拍</a>是商汤科技推出的AI创意写真小程序,基于商汤科技的”日日新·秒画”文生图大模型,为用户提供了一种新颖的摄影体验。用户可通过上传一张照片,使用小程序提供的丰富多样的模板,生成具有不同风格和主题的高质量写真和自拍合照。秒画趣拍的模板包括校园毕业照、创意合照、名画风写真、旅拍照片、新国风、二次元等。</p> <p><img src="https://img.medsci.cn/aisite/img//CqhfDKXHNy5q1lYtuO9sFQ60Zdv6BGhNCJFZG4lX.png"></p> <h2 style="font-size: 20px;">秒画趣拍的功能特色</h2> <ul> <li>AI创意生成:用户上传一张照片后,小程序能够快速生成具有不同风格和主题的高质量写真。</li> <li>丰富模板库:提供多样化的模板选择,包括校园毕业照、创意合照、名画风写真、旅拍照片、新国风、二次元等多种风格,满足不同用户的需求。</li> <li>个性化定制:用户可根据自己的喜好选择不同风格的模板,进行个性化创作。</li> <li>人物一致性:采用多特征渐进式融合训练机制,确保生成的照片能够保留人物的关键信息,同时引入对抗式训练策略和端到端扩散模型ID信息一致性算法,保持人物的一致性和辨识度。</li> </ul> <h2 style="font-size: 20px;">如何使用秒画趣拍</h2> <ul> <li>访问小程序:微信中搜索「秒画趣拍」小程序,注册登录账号。</li> <li>选择模板:可以浏览小程序内提供的多种模板。选择一个您喜欢的模板,例如校园毕业照、创意合照等。</li> <li>上传照片:根据所选模板的要求,上传想要生成写真的照片。</li> <li>调整设置:在上传照片后,可以根据需要调整一些设置,比如照片的位置、大小或其他个性化选项。</li> <li>生成写真:调整完毕后,点击生成按钮,小程序将用AI技术处理您的照片,并应用所选模板生成写真。</li> <li>保存与分享:可将生成的写真保存到手机相册,或通过小程序分享到微信朋友圈、小红书、微博等社交平台。</li> </ul> <h2 style="font-size: 20px;">秒画趣拍的应用场景</h2> <ul> <li>个人写真:用户可以上传自己的照片,生成具有艺术感或特定风格的个人写真,用于个人收藏或社交媒体分享。</li> <li>节日庆祝:在节日或特殊日子,如生日、圣诞节、情人节等,可用小程序生成节日主题的写真,增添节日气氛。</li> <li>社交活动:参加聚会或活动时,用户可以现场拍摄合照,通过小程序快速生成创意合照,作为纪念或分享给朋友。</li> <li>校园生活:学生可用小程序生成校园风格的毕业照或日常写真,记录校园生活的美好时刻。</li> <li>旅行记录:旅行时,用户可以上传旅行中的照片,通过小程序生成具有当地特色或风景的旅拍照片。</li> </ul>