关键词 "Arxiv" 的搜索结果， 共 24 条, 只显示前 480 条
苹果 FastVLM 的模型让你的 iPhone 瞬间拥有了“火眼金睛”，不仅能看懂图片里的各种复杂信息，还能像个段子手一样跟你“贫嘴”!而且最厉害的是，它速度快到飞起，苹果官方宣称，首次给你“贫嘴”的速度比之前的一些模型快了足足85倍!这简直是要逆天啊! 视觉语言模型的 “成长烦恼” 现在的视觉语
Nexus-Gen：图像理解、生成和编辑的统一模型，开源届的GPT-4o平替 待办事项 发布训练和推理代码。 发布模型检查点。 发布技术报告。 发布训练数据集。 什么是Nexus-Gen Nexus-Gen 是一个统一模型，它将 LLM 的语言推理能力与扩散模型的图像合成能力协同起来。为了对齐 LLM 和扩散模型的嵌入
Step1X-3D是什么 Step1X-3D 是StepFun联合LightIllusions推出的高保真、可控的 3D 资产生成框架。基于严格的数据整理流程，从超过 500 万个 3D 资产中筛选出 200 万个高质量数据，创建标准化的几何和纹理属性数据集。Step1X-3D 支持多模态条件输入，如文本和语义标签，基于低秩自适应（LoRA）微调实现灵活的几何控制。Step1X-3D 推动了 3
DreamFit是什么 DreamFit是字节跳动团队联合清华大学深圳国际研究生院、中山大学深圳校区推出的虚拟试衣框架，专门用在轻量级服装为中心的人类图像生成。框架能显著减少模型复杂度和训练成本，基于优化文本提示和特征融合，提高生成图像的质量和一致性。DreamFit能泛化到各种服装、风格和提示指令，生成高质量的人物图像。DreamFit支持与社区控制插件的无缝集成，降低使用门槛。 Dre
TinyVLA是一种面向机器人操控的视觉-语言-动作（VLA）模型，由华东师范大学和上海大学团队推出。针对现有VLA模型的不足，如推理速度慢和需要大量数据预训练，提出解决方案。TinyVLA基于轻量级的多模态模型和扩散策略解码器，显著提高推理速度，减少对大规模数据集的依赖。模型在模拟和真实机器人平台上经过广泛测试，证明在速度、数据效率以及多任务学习和泛化能力方面优于现有的先进模型OpenVLA。T
IFAdapter是一种新型的文本到图像生成模型，由腾讯和新加坡国立大学共同推出。提升生成含有多个实例的图像时的位置和特征准确性。传统模型在处理多实例图像时常常面临定位和特征准确性的挑战，IFAdapter通过引入两个关键组件外观标记（Appearance Tokens）和实例语义图（Instance Semantic Map）解决问题。外观标记用于捕获描述中的详细特征信息，实例语义图则将特征与特
FaceShot是同济大学、上海 AI Lab和南京理工大学推出的新型无需训练的肖像动画生成框架。用外观引导的地标匹配模块和基于坐标的地标重定位模块，为各种角色生成精确且鲁棒的地标序列，基于潜在扩散模型的语义对应关系，跨越广泛的角色类型生成面部动作序列。将地标序列输入预训练的地标驱动动画模型生成动画视频。FaceShot突破对现实肖像地标的限制，适用于任何风格化的角色和驱动视频，或作为插件与任何地
AlphaEvolve是谷歌DeepMind推出的通用科学Agent，基于结合大型语言模型（LLMs）的创造力和自动评估器来设计和优化高级算法。用Gemini Flash和Gemini Pro两种模型，基于进化框架不断改进最有潜力的算法。AlphaEvolve在数据中心调度、硬件设计、AI训练和复杂数学问题解决等领域取得显著成果，优化矩阵乘法算法，提升数据中心效率，在多个开放数学问题上取得突破。A
WorldMem 是南洋理工大学、北京大学和上海 AI Lab 推出的创新 AI 世界生成模型。模型基于引入记忆机制，解决传统世界生成模型在长时序下缺乏一致性的关键问题。在WorldMem中，智能体在多样化场景中自由探索，生成的世界在视角和位置变化后能保持几何一致性。WorldMem 支持时间一致性建模，模拟动态变化（如物体对环境的影响）。模型在 Minecraft 数据集上进行大规模训练，在真实
Being-M0 基于业界首个百万级动作数据集 MotionLib，用创新的 MotionBook 编码技术，将动作序列转化为二维图像进行高效表示和生成。Being-M0 验证了大数据+大模型在动作生成领域的技术可行性，显著提升动作生成的多样性和语义对齐精度，实现从人体动作到多款人形机器人的高效迁移，为通用动作智能奠定基础。 Being-M0的主要功能 文本驱动动作生成：根据输入的自然语言
MSQA（Multi-modal Situated Question Answering）是大规模多模态情境推理数据集，提升具身AI代理在3D场景中的理解与推理能力。数据集包含251K个问答对，覆盖9个问题类别，基于3D场景图和视觉-语言模型在真实世界3D场景中收集。MSQA用文本、图像和点云的交错多模态输入，减少单模态输入的歧义。引入MSNN（Multi-modal Next-step Navi
ViLAMP（VIdeo-LAnguage Model with Mixed Precision）是蚂蚁集团和中国人民大学联合推出的视觉语言模型，专门用在高效处理长视频内容。基于混合精度策略，对视频中的关键帧保持高精度分析，显著降低计算成本提高处理效率。ViLAMP在多个视频理解基准测试中表现出色，在长视频理解任务中，展现出显著优势。ViLAMP能在单张A100 GPU上处理长达1万帧（约3小时）
DICE-Talk是复旦大学联合腾讯优图实验室推出的新颖情感化动态肖像生成框架，支持生成具有生动情感表达且保持身份一致性的动态肖像视频。DICE-Talk引入情感关联增强模块，基于情感库捕获不同情感之间的关系，提升情感生成的准确性和多样性。框架设计情感判别目标，基于情感分类确保生成过程中的情感一致性。在MEAD和HDTF数据集上的实验表明，DICE-Talk在情感准确性、对口型和视觉质量方面均优于
Sketch2Anim 是爱丁堡大学联合Snap Research、东北大学推出的自动化框架，能将2D草图故事板直接转换为高质量的3D动画。基于条件运动合成技术，用3D关键姿势、关节轨迹和动作词精确控制动画的生成。框架包含两个核心模块，多条件运动生成器和2D、3D神经映射器。Sketch2Anim能生成自然流畅的3D动画，支持交互式编辑，极大地提高动画制作的效率和灵活性。 Sketch2Anim
Scenethesis 是 NVIDIA 推出的创新框架，用在从文本生成交互式 3D 场景。框架结合大型语言模型（LLM）和视觉感知技术，基于多阶段流程实现高效生成，用 LLM 进行粗略布局规划，基于视觉模块细化布局生成图像指导，用优化模块调整物体姿态确保物理合理性，基于判断模块验证场景的空间连贯性。Scenethesis 能生成多样化的室内外场景，具有高度的真实感和物理合理性，广泛应用在虚拟内容
SuperEdit是字节跳动智能创作团队和佛罗里达中央大学计算机视觉研究中心联合推出的指令引导图像编辑方法，基于优化监督信号提高图像编辑的精度和效果。SuperEdit基于纠正编辑指令，与原始图像和编辑图像对更准确地对齐，引入对比监督信号，进一步优化模型训练。SuperEdit不需要额外的视觉语言模型（VLM）或预训练任务，仅依赖高质量的监督信号，在多个基准测试中实现显著的性能提升。 Super
KuaiMod 是快手推出的基于多模态大模型的短视频质量判别框架，能高效识别和过滤有害及低质量内容。框架借鉴普通法（Common Law）体系，基于案例驱动的方式动态更新审核策略，快速适应短视频平台上内容的快速变化。KuaiMod 结合视觉语言模型（VLM）和链式推理（Chain-of-Thought,中 CoT）技术，基于用户反馈进行强化学习，实现精准的内容判别。KuaiMod 离线测试准确率高
WebThinker是中国人民大学、北京智源人工智能研究院和华为泊松实验室等机构提出的深度研究智能体。WebThinker赋能大型推理模型（LRMs）在推理过程中自主进行网络搜索、网页导航和报告撰写。WebThinker基于深度网页探索器和自主思考、搜索、写作策略，让LRMs能动态获取信息，实时生成高质量研究报告。WebThinker基于强化学习的训练策略进一步优化工具使用效率。WebThinke
卡内基梅隆大学的研究团队开发出一款名为 LegoGPT 的 AI 模型，能够根据文字指令生成可实际搭建的乐高设计。 比如输入文本「基本款沙发」，一眨眼的功夫，乐高沙发就拼好了。 团队训练了一种自回归大型语言模型，通过预测下一个 token 的方式，判断下一块该放置什么积木。团队还为模型增加了有效性校验和带有物理感知的回滚机制，确保生成的设计不会出现积木重叠或悬空等问题，也就是说最终结果始终可行
AnimeGamer 是基于多模态大型语言模型（MLLM）构建的，可以生成动态动画镜头和角色状态更新，为用户提供无尽的动漫生活体验。它允许用户通过开放式语言指令与动漫角色互动，创建独特的冒险故事。该产品的主要优点包括：动态生成与角色交互的动画，能够在不同动漫之间创建交互，丰富的游戏状态预测等。 快速入门 🔮 环境设置 要设置推理环境，您
MMaDA（Multimodal Large Diffusion Language Models）是普林斯顿大学、清华大学、北京大学和字节跳动推出的多模态扩散模型，支持跨文本推理、多模态理解和文本到图像生成等多个领域实现卓越性能。模型用统一的扩散架构，具备模态不可知的设计，消除对特定模态组件的需求，引入混合长链推理（CoT）微调策略，统一跨模态的CoT格式，推出UniGRPO，针对扩散基础模型的统
DreamGen是英伟达推出的创新的机器人学习技术，基于AI视频世界模型生成合成数据，让机器人能在梦境中学习新技能。DreamGen仅需少量现实视频数据，能生成大规模逼真的训练数据，实现机器人在新环境中的行为泛化和环境泛化。DreamGen的四步流程包括微调视频世界模型、生成虚拟数据、提取虚拟动作以及训练下游策略。DreamGen让机器人在没有真实世界数据支持的情况下，凭文本指令完成复杂任务，显著
BAGEL是字节跳动开源的多模态基础模型，拥有140亿参数，其中70亿为活跃参数。采用混合变换器专家架构（MoT），通过两个独立编码器分别捕捉图像的像素级和语义级特征。BAGEL遵循“下一个标记组预测”范式进行训练，使用海量多模态标记数据进行预训练，包括语言、图像、视频和网络数据。在性能方面，BAGEL在多模态理解基准测试中超越了Qwen2.5-VL和InternVL-2.5等顶级开源视觉语言模型
mPLUG-Owl3是阿里巴巴推出的通用多模态AI模型，专为理解和处理多图及长视频设计。在保持准确性的同时，显著提升了推理效率，能在4秒内分析完2小时电影。模型采用创新的Hyper Attention模块，优化视觉与语言信息的融合，支持多图场景和长视频理解。mPLUG-Owl3在多个基准测试中达到行业领先水平，其论文、代码和资源已开源，供研究和应用。 mPLUG-Owl3的主要功能 多
只显示前20页数据，更多请搜索
Showing 25 to 48 of 71 results
