Jodi

Jodi

中国科学院 扩散模型
访问网站

Jodi是中国科学院计算技术研究所和中国科学院大学推出的扩散模型框架，基于联合建模图像域和多个标签域，将视觉生成与理解统一起来。Jodi基于线性扩散Transformer和角色切换机制，执行联合生成（同时生成图像和多个标签）、可控生成（基于标签组合生成图像）及图像感知（从图像预测多个标签）三种任务。Jodi用包含20万张高质量图像和7个视觉域标签的Joint-1.6M数据集进行训练。Jodi在生成和理解任务中均表现出色，展现强大的可扩展性和跨领域一致性。

Jodi的主要功能

  • 联合生成：同时生成图像和多个标签，例如深度图、法线图、边缘图等，生成的图像和标签在语义和空间上保持一致。
  • 可控生成：根据给定的标签组合生成图像，用户指定某些标签作为条件输入，控制生成图像的特定属性或特征。
  • 图像感知：从给定的图像中同时预测多个标签，实现对图像的多维度理解和分析，例如同时进行深度估计、边缘检测、语义分割等任务。

Jodi的项目地址

相关推荐

RoboOS

RoboOS

<p>RoboOS 2.0 是智谱开源的跨本体大小脑协同框架，专为具身智能设计。框架支持多机器人协作，基于集成MCP协议和无服务器架构实现轻量化部署，降低开发门槛。框架包含基于云计算的大脑模块，负责高级认知与多智能体协同；分布式小脑模块群，专司机器人专项技能执行；及实时共享内存机制，强化环境态势感知能力。RoboOS 2.0 提供标准化接口，消除硬件适配差异，用技能商店实现机器人技能模块的智能匹配与一键适配，助力机器人从“单机智能”迈向“群体智能”。</p> <h2 style="font-size: 20px;">RoboOS 2.0的主要功能</h2> <ul> <li>多机器人协作：支持多智能体任务的动态分配与并行执行，适用复杂场景，提升任务执行效率。</li> <li>大小脑协同：大脑模块负责高级认知与多智能体协同，小脑模块专司机器人专项技能执行，实现高效分工。</li> <li>轻量化部署：集成MCP协议和无服务器架构，降低开发门槛，支持快速部署，简化开发流程。</li> <li>标准化接口：提供标准化接口，消除不同厂商和硬件之间的适配差异，支持一键适配全球开发者创建的机器人技能模块。</li> <li>实时感知与建模：新增多本体时空记忆场景图共享机制，支持动态环境下的实时感知与建模，增强环境适应能力。</li> <li>任务监控与反馈：引入多粒度任务监控模块，实现任务闭环反馈，提升任务执行的稳定性和成功率，确保任务可靠完成。</li> </ul> <h2 style="font-size: 20px;">RoboOS 2.0的项目地址</h2> <ul> <li>项目官网：https://github.com/FlagOpen/RoboOS</li> <li>GitHub仓库：https://github.com/FlagOpen/RoboOS</li> <li>arXiv技术论文：https://arxiv.org/pdf/2505.03673</li> </ul>
RoboBrain

RoboBrain

<p>RoboBrain 2.0 是强大的开源具身大脑模型，能统一感知、推理和规划，支持复杂任务的执行。RoboBrain 2.0 包含 7B（轻量级）和 32B（全规模）两个版本，基于异构架构，融合视觉编码器和语言模型，支持多图像、长视频和高分辨率视觉输入，及复杂任务指令和场景图。模型在空间理解、时间建模和长链推理方面表现出色，适用机器人操作、导航和多智能体协作等任务，助力具身智能从实验室走向真实场景。</p> <h2 style="font-size: 20px;">RoboBrain 2.0的主要功能</h2> <ul> <li>空间理解：根据复杂指令进行精确点定位、边界框预测和空间关系推理，支持三维空间内的复杂任务。</li> <li>时间建模：具备长期规划、闭环交互和多智能体协作能力，应对动态环境中的连续决策任务。</li> <li>复杂推理：支持多步推理、因果逻辑分析，能生成推理过程的详细解释，提升决策透明性。</li> <li>多模态输入处理：支持高分辨率图像、多视图输入、视频帧、语言指令和场景图等多种输入形式。</li> <li>实时场景适应：快速适应新场景，实时更新环境信息，支持动态任务执行。</li> </ul> <h2 style="font-size: 20px;">RoboBrain 2.0的项目地址</h2> <ul> <li>项目官网： <a href="https://superrobobrain.github.io/" target="_blank" rel="noopener">https://superrobobrain.github.io/</a> </li> <li>GitHub仓库： <a href="https://github.com/FlagOpen/RoboBrain2.0" target="_blank" rel="noopener">https://github.com/FlagOpen/RoboBrain2.0</a> </li> <li>HuggingFace模型库： <a href="https://huggingface.co/collections/BAAI/robobrain20-6841eeb1df55c207a4ea0036" target="_blank" rel="noopener">https://huggingface.co/collections/BAAI/robobrain20-6841eeb1df55c207a4ea0036</a> </li> <li>arXiv技术论文： <a href="https://arxiv.org/pdf/2507.02029" target="_blank" rel="noopener">https://arxiv.org/pdf/2507.02029</a> </li> </ul>
UniWorld

UniWorld

<p>北大团队通过对GPT-4o-Image的深入实验，突破性发现其在视觉特征提取环节中，相较于传统变分自编码器（VAE），更依赖语义编码器进行处理。这一关键洞察为统一模型架构设计开辟了全新路径。</p> <p>基于上述研究成果，团队推出UniWorld-V1统一生成框架。该框架创新性融合高分辨率对比语义编码器与多模态大模型，仅需2.7M训练样本，即可实现图像理解、生成、编辑、感知等多任务处理。</p> <p>实验数据显示，在多个权威基准测试中，UniWorld-V1的性能表现与使用2665M样本训练的BAGEL模型、专业图像编辑模型Step1X-Edit旗鼓相当。</p> <p><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/06/23/1750696353_ZiWI8VrmME.png"></p> <p>通过示例与 GPT-4o-Image 进行了定性对比（见图6）。结果显示，UniWorld-V1 在各类感知任务上表现不俗，甚至在许多方面超越了 GPT-4o-Image。尤其在 Canny 边缘检测、法线图生成、HED、分割和草图生成等任务中，UniWorld-V1 的指令理解与执行能力更强。这表明其一体化架构能够提供广泛且准确的图像感知功能，是首个具备如此多样且高保真视觉分析能力的开源统一模型。</p>
EmbodiedGen

EmbodiedGen

<p>EmbodiedGen 是用于具身智能（Embodied AI）应用的生成式 3D 世界引擎和工具包。能快速生成高质量、低成本且物理属性合理的 3D 资产和交互环境，帮助研究人员和开发者构建具身智能体的测试环境。EmbodiedGen 包含多个模块，如从图像或文本生成 3D 模型、纹理生成、关节物体生成、场景和布局生成等，支持从简单物体到复杂场景的创建。生成的 3D 资产可以直接用于机器人仿真和 URDF 格式，为具身智能研究提供了强大的工具支持。</p> <h2 style="font-size: 20px;">EmbodiedGen的主要功能</h2> <ul> <li> <div class="paragraph">图像到 3D 转换：能从输入图像生成具有物理合理性的 3D 资产。</div> </li> <li> <div class="paragraph">文本到 3D 生成：根据文本描述生成各种几何形状和风格的 3D 资产。</div> </li> <li> <div class="paragraph">纹理生成功能：为 3D 网格生成视觉丰富的纹理。</div> </li> <li> <div class="paragraph">复杂场景构建：支持从简单物体到复杂场景的创建，能生成具有真实世界比例且符合统一机器人描述格式（URDF）的高质量 3D 资产。</div> </li> <li> <div class="paragraph">智能布局生成：提供智能布局生成能力，支持训练与评估中的下游任务。</div> </li> <li> <div class="paragraph">物理属性支持：生成的 3D 资产具备密封的几何结构和物理上合理的属性，可以直接应用于机器人仿真和描述格式中。</div> </li> </ul> <h2 style="font-size: 20px;">EmbodiedGen的项目地址</h2> <ul> <li>项目官网：https://horizonrobotics.github.io/robot_lab/embodied_gen/index.html</li> <li>Github仓库：https://github.com/HorizonRobotics/EmbodiedGen</li> <li>arXiv技术论文：https://arxiv.org/pdf/2506.10600</li> </ul>
V-JEPA 2

V-JEPA 2

<p>Meta 又有新的动作，推出基于视频训练的世界模型 V-JEPA 2（全称 Video Joint Embedding Predictive Architecture 2）。其能够实现最先进的环境理解与预测能力，并在新环境中完成零样本规划与机器人控制。</p> <p>Meta 表示，他们在追求高级机器智能（AMI）的目标过程中，关键在于开发出能像人类一样认知世界、规划陌生任务执行方案，并高效适应不断变化环境的 AI 系统。</p> <p>这次，Meta 首席 AI 科学家 Yann LeCun 亲自出镜，介绍世界模型与其他 AI 模型的不同。</p> <p>他说，世界模型是一种现实的抽象数字孪生，AI 可以参考它来理解世界并预测其行为的后果。与理解语言不同，世界模型使机器能够理解物理世界，并能够规划行动路线以完成任务，而无需进行数百万次的试验，因为世界模型提供了对世界运行方式的基本理解。能够使用世界模型进行推理和规划的 AI 将产生广泛影响。例如，它可以用于帮助视障人士的辅助技术、在混合现实中为复杂任务提供指导、使教育更加个性化，甚至可以理解代码对程序状态和外部世界的影响。</p> <p>此外，世界模型对于自动驾驶汽车和机器人等自主系统至关重要，它将开启机器人技术的新纪元，使现实世界中的 AI 智能体能够在不需要大量机器人训练数据的情况下帮助完成家务和体力任务。</p> <p>V-JEPA 2 拥有 12 亿参数，基于联合嵌入预测架构（JEPA）构建。在此之前，Meta 已经证明，JEPA 架构在处理图像和 3D 点云等模态方面出色的表现。</p> <p>此次发布的 V-JEPA 2 是在去年首个基于视频训练模型 V-JEPA 的基础上，进一步提升了动作预测和世界建模能力，使机器人能够通过与陌生物体及环境交互来完成任务。</p>
SmolVLA

SmolVLA

<p>SmolVLA 是 Hugging Face 开源的轻量级视觉-语言-行动（VLA）模型，专为经济高效的机器人设计。拥有4.5亿参数，模型小巧，可在CPU上运行，单个消费级GPU即可训练，能在MacBook上部署。SmolVLA 完全基于开源数据集训练，数据集标签为“lerobot”。</p> <h2 style="font-size: 20px;">SmolVLA的主要功能</h2> <ul> <li> <div class="paragraph">多模态输入处理：SmolVLA 能处理多种输入，包括多幅图像、语言指令以及机器人的状态信息。通过视觉编码器提取图像特征，将语言指令标记化后输入解码器，将传感运动状态通过线性层投影到一个标记上，与语言模型的标记维度对齐。</div> </li> <li> <div class="paragraph">动作序列生成：模型包含一个动作专家模块，是一个轻量级的 Transformer，能基于视觉-语言模型（VLM）的输出，生成未来机器人的动作序列块。采用流匹配技术进行训练，通过引导噪声样本回归真实数据分布来学习动作生成，实现高精度的实时控制。</div> </li> <li> <div class="paragraph">高效推理与异步执行：SmolVLA 引入了异步推理堆栈，将动作执行与感知和预测分离，实现更快、更灵敏的控制，使机器人可以在快速变化的环境中更快速地响应，提高了响应速度和任务吞吐量。</div> </li> </ul> <h2 style="font-size: 20px;">SmolVLA的项目地址</h2> <ul> <li>HuggingFace模型库： <a href="https://huggingface.co/lerobot/smolvla_base" target="_blank" rel="noopener">https://huggingface.co/lerobot/smolvla_base</a> </li> <li>arXiv技术论文： <a href="https://arxiv.org/pdf/2506.01844" target="_blank" rel="noopener">https://arxiv.org/pdf/2506.01844</a> </li> </ul>
VRAG-RL

VRAG-RL

<p>VRAG-RL是阿里巴巴通义大模型团队推出的视觉感知驱动的多模态RAG推理框架，专注于提升视觉语言模型（VLMs）在处理视觉丰富信息时的检索、推理和理解能力。基于定义视觉感知动作空间，让模型能从粗粒度到细粒度逐步获取信息，更有效地激活模型的推理能力。VRAG-RL引入综合奖励机制，结合检索效率和基于模型的结果奖励，优化模型的检索和生成能力。在多个基准测试中，VRAG-RL显著优于现有方法，展现在视觉丰富信息理解领域的强大潜力。</p> <h2 style="font-size: 20px;">VRAG-RL的项目地址</h2> <ul> <li>GitHub仓库： <a href="https://github.com/Alibaba-NLP/VRAG" target="_blank" rel="noopener">https://github.com/Alibaba-NLP/VRAG</a> </li> <li>HuggingFace模型库： <a href="https://huggingface.co/collections/autumncc/vrag-rl" target="_blank" rel="noopener">https://huggingface.co/collections/autumncc/vrag-rl</a> </li> <li>arXiv技术论文： <a href="https://arxiv.org/pdf/2505.22019" target="_blank" rel="noopener">https://arxiv.org/pdf/2505.22019</a> </li> </ul>
TrackVLA

TrackVLA

<p>银河通用发布全球首个产品级端到端具身 FSD 大模型 ——TrackVLA，一款具备纯视觉环境感知、语言指令驱动、可自主推理、具备零样本（Zero-Shot）泛化能力的具身大模型。</p> <p>TrackVLA 是银河通用推出的产品级导航大模型，纯视觉环境感知、自然语言指令驱动、端到端输出语言和机器人动作，是一个由仿真合成动作数据训练的“视觉-语言-动作”（Vision-Language-Action, VLA）大模型。它让机器人拥有“听 → 看 → 懂 → 走”的闭环运动能力：一双眼睛看世界、一个智能“大脑”做推理，无需提前建图、不依赖遥操控制，真正实现语言驱动、泛化感知、自主推理、智能交互与运动。</p> <p>TrackVLA 八大核心能力：</p> <p>1. 听得懂你说话，还能换人跟</p> <p>你只需说一句：“跟着妈妈”，它就能立即识别“妈妈”对应的目标位置。如果改口说“换成跟孩子”，它也能瞬间切换对象，并通过语音回复确认。甚至，Ta 还能跟踪你的宠物。这背后，是模型具备的自然语言理解与目标识别能力的协同工作。</p> <p>2. 不怕人多也不跟错人</p> <p>在人流密集的购物中心中，面对复杂的场景、多变的环境中多个相似穿着的人，它能准确识别原始目标并长时自主跟随。通过空间理解和视觉记忆机制，避免“认错人”。</p> <p>3. 丢了目标能找回来</p> <p>如果目标走出视野，它不会原地“发呆”，而是通过实时的空间智能和大模型推理能力根据目标运动轨迹“分析出”目标的大致位置，并规划轨迹重新找回目标。</p> <p>4. 从没见过的地方也能走</p> <p>TrackVLA 不依赖建图，靠纯视觉输入理解环境。可在不依赖额外采集训练数据的情况下，直接部署在陌生商场、电梯、游乐区等环境，实现长时稳定自主跟随。</p> <p>5. 灵活避障，适应复杂场景</p> <p>在儿童游乐区、狭窄通道等复杂场景中，它能实时识别障碍物（包括儿童、玩具、地面水渍等），分析可通行区域，并可正确认知自身本体能力，自主推理出自身构型支持的合理路线。</p> <p>6. 环境光线变化？不怕</p> <p>从室外阳光到室内昏暗、从电梯镜面反射到超市货架夹缝，TrackVLA 展现出极强鲁棒性，无需专门调参或切换模式。</p> <p>7. 远程可视守护，一目了然</p> <p>通过 App，你可以实时看到机器人眼中的第一视角，掌握家人动态。系统还能主动提醒风险行为（如小朋友奔跑、老人跌倒），提供“移动守护”。</p> <p>8. 技能涌现！</p> <p>TrackVLA 不仅能稳定跟随人类，还可以泛化至任意移动目标。比如视频最后展示了让机器狗跟随一只路上偶遇的动物狗狗，其目标形态、运动方式、遮挡情况都非常不确定。TrackVLA 也表现了同样稳定的跟随能力，而这一能力是训练时从而教过的！</p>
Ming-Lite-Omni

Ming-Lite-Omni

<p>Ming-Lite-Omni是蚂蚁集团开源的统一多模态大模型。模型基于MoE架构，融合文本、图像、音频和视频等多种模态的感知能力，具备强大的理解和生成能力。模型在多个模态基准测试中表现出色，在图像识别、视频理解、语音问答等任务上均取得优异成绩。模型支持全模态输入输出，能实现自然流畅的多模态交互，为用户提供一体化的智能体验。Ming-Lite-Omni具备高度的可扩展性，可广泛用在OCR识别、知识问答、视频分析等多个领域，具有广阔的应用前景。</p> <h2 style="font-size: 20px;">Ming-lite-omni的主要功能</h2> <ul> <li>多模态交互：支持文本、图像、音频、视频等多种输入输出，实现自然流畅的交互体验。</li> <li>理解与生成：具备强大的理解和生成能力，支持处理问答、文本生成、图像识别、视频分析等任务。</li> <li>高效处理：基于MoE架构，优化计算效率，支持大规模数据处理和实时交互。</li> </ul> <h2 style="font-size: 20px;">Ming-lite-omni的项目地址</h2> <ul> <li>HuggingFace模型库：<a class="external" href="https://huggingface.co/inclusionAI/Ming-Lite-Omni" target="_blank" rel="noopener nofollow">https://huggingface.co/inclusionAI/Ming-Lite-Omni</a></li> </ul>
LLaDA-V

LLaDA-V

<p>LLaDA-V是中国人民大学高瓴人工智能学院、蚂蚁集团推出的多模态大语言模型（MLLM），基于纯扩散模型架构，专注于视觉指令微调。模型在LLaDA的基础上，引入视觉编码器和MLP连接器，将视觉特征映射到语言嵌入空间，实现有效的多模态对齐。LLaDA-V在多模态理解方面达到最新水平，超越现有的混合自回归-扩散和纯扩散模型。</p> <h2 style="font-size: 20px;">LLaDA-V的主要功能</h2> <ul> <li>图像描述生成：根据输入的图像生成详细的描述文本。</li> <li>视觉问答：回答与图像内容相关的问题。</li> <li>多轮多模态对话：在给定图像的上下文中进行多轮对话，理解生成与图像和对话历史相关的回答。</li> <li>复杂推理任务：在涉及图像和文本的复合任务中进行推理，例如解决与图像相关的数学问题或逻辑问题。</li> </ul> <h2 style="font-size: 20px;">LLaDA-V的项目地址</h2> <ul> <li>GitHub仓库：<a class="external" href="https://github.com/ML-GSAI/LLaDA-V" target="_blank" rel="noopener nofollow">https://github.com/ML-GSAI/LLaDA-V</a></li> <li>arXiv技术论文：<a class="external" href="https://arxiv.org/pdf/2505.16933" target="_blank" rel="noopener nofollow">https://arxiv.org/pdf/2505.16933</a></li> </ul>
Vid2World

Vid2World

<p>Vid2World是清华大学联合重庆大学推出的创新框架，支持将全序列、非因果的被动视频扩散模型（VDM）转换为自回归、交互式、动作条件化的世界模型。模型基于视频扩散因果化和因果动作引导两大核心技术，解决传统VDM在因果生成和动作条件化方面的不足。Vid2World在机器人操作和游戏模拟等复杂环境中表现出色，支持生成高保真、动态一致的视频序列，支持基于动作的交互式预测。Vid2World为提升世界模型的实用性和预测精度开辟新途径，具有广泛的应用前景。</p> <h2 style="font-size: 20px;">Vid2World的主要功能</h2> <ul> <li>高保真视频生成：生成与真实视频在视觉保真度和动态一致性上高度相似的预测。</li> <li>动作条件化：根据输入的动作序列生成相应的视频帧，支持细粒度的动作控制。</li> <li>自回归生成：用自回归的方式逐帧生成视频，每一步的生成仅依赖于过去的帧和动作。</li> <li>因果推理：模型能进行因果推演，预测仅依赖于过去的信息，不会受到未来信息的影响。</li> <li>支持下游任务：支持辅助机器人操作、游戏模拟等交互式任务。</li> </ul> <h2 style="font-size: 20px;">Vid2World的项目地址</h2> <ul> <li>项目官网：<a class="external" href="https://knightnemo.github.io/vid2world/?utm_source=medsci" target="_blank" rel="noopener">https://knightnemo.github.io/vid2world/</a></li> <li>HuggingFace模型库：<a class="external" href="https://huggingface.co/papers/2505.14357" target="_blank" rel="noopener nofollow">https://huggingface.co/papers/2505.14357</a></li> <li>arXiv技术论文：<a class="external" href="https://arxiv.org/pdf/2505.14357" target="_blank" rel="noopener nofollow">https://arxiv.org/pdf/2505.14357</a></li> </ul>
mPLUG-Owl3

mPLUG-Owl3

<p>mPLUG-Owl3是阿里巴巴推出的通用多模态AI模型，专为理解和处理多图及长视频设计。在保持准确性的同时，显著提升了推理效率，能在4秒内分析完2小时电影。模型采用创新的Hyper Attention模块，优化视觉与语言信息的融合，支持多图场景和长视频理解。mPLUG-Owl3在多个基准测试中达到行业领先水平，其论文、代码和资源已开源，供研究和应用。</p> <p><img src="https://img.medsci.cn/aisite/img//iEhSXzLXn2kG7Pt2fThzKUdzKKAKqil8Jo7zneze.png"></p> <h2 style="font-size: 20px;">mPLUG-Owl3的主要功能</h2> <ul> <li>多图和长视频理解：能快速处理和理解多张图片和长时间视频内容。</li> <li>高推理效率：在极短时间内完成对大量视觉信息的分析，如4秒内处理2小时电影。</li> <li>保持准确性：在提升效率的同时，不牺牲对内容理解的准确性。</li> <li>多模态信息融合：通过Hyper Attention模块，有效整合视觉和语言信息。</li> <li>跨模态对齐：模型训练包括跨模态对齐，提升对图文信息的理解和交互能力。</li> </ul> <h2 style="font-size: 20px;">mPLUG-Owl3的技术原理</h2> <ul> <li>多模态融合：模型通过将视觉信息（图片）和语言信息（文本）融合，以理解多图和视频内容。通过自注意力（self-attention）和跨模态注意力（cross-attention）机制实现的。</li> <li>Hyper Attention模块：一个创新的模块，用于高效整合视觉和语言特征。通过共享LayerNorm、模态专属的Key-Value映射和自适应门控设计，优化了信息的并行处理和融合。</li> <li>视觉编码器：使用如SigLIP-400M这样的视觉编码器来提取图像特征，并通过线性层映射到与语言模型相同的维度，以便进行有效的特征融合。</li> <li>语言模型：例如Qwen2，用于处理和理解文本信息，并通过融合视觉特征来增强语言表示。</li> <li>位置编码：引入多模态交错的旋转位置编码（MI-Rope），保留图文的位置信息，确保模型能理解图像和文本在序列中的相对位置。</li> </ul> <h2 style="font-size: 20px;">mPLUG-Owl3的项目地址</h2> <ul> <li>GitHub仓库：<a class="external" href="https://github.com/X-PLUG/mPLUG-Owl/" target="_blank" rel="noopener nofollow">https://github.com/X-PLUG/mPLUG-Owl/</a></li> <li>HuggingFace链接：<a class="external" href="https://huggingface.co/spaces/mPLUG/mPLUG-Owl3" target="_blank" rel="noopener nofollow">https://huggingface.co/spaces/mPLUG/mPLUG-Owl3</a></li> <li>arXiv技术论文：<a class="external" href="https://arxiv.org/pdf/2408.04840" target="_blank" rel="noopener nofollow">https://arxiv.org/pdf/2408.04840</a></li> <li>官网： <a href="https://www.modelscope.cn/studios/iic/mPLUG-Owl" target="_blank" rel="noopener">https://www.modelscope.cn/studios/iic/mPLUG-Owl</a>  </li> </ul>