关键词 "动作" 的搜索结果, 共 19 条, 只显示前 480 条
银河通用发布全球首个产品级端到端具身 FSD 大模型 ——TrackVLA,一款具备纯视觉环境感知、语言指令驱动、可自主推理、具备零样本(Zero-Shot)泛化能力的具身大模型。 TrackVLA 是银河通用推出的产品级导航大模型,纯视觉环境感知、自然语言指令驱动、端到端输出语言和机器人动作,是一个由仿真合成动作数据训练的“视觉-语言-动作”(Vision-Language-Action, V
VRAG-RL是阿里巴巴通义大模型团队推出的视觉感知驱动的多模态RAG推理框架,专注于提升视觉语言模型(VLMs)在处理视觉丰富信息时的检索、推理和理解能力。基于定义视觉感知动作空间,让模型能从粗粒度到细粒度逐步获取信息,更有效地激活模型的推理能力。VRAG-RL引入综合奖励机制,结合检索效率和基于模型的结果奖励,优化模型的检索和生成能力。在多个基准测试中,VRAG-RL显著优于现有方法,展现在视
SmolVLA 是 Hugging Face 开源的轻量级视觉-语言-行动(VLA)模型,专为经济高效的机器人设计。拥有4.5亿参数,模型小巧,可在CPU上运行,单个消费级GPU即可训练,能在MacBook上部署。SmolVLA 完全基于开源数据集训练,数据集标签为“lerobot”。 SmolVLA的主要功能 多模态输入处理:SmolVLA 能处理多种输入,包括多幅图像、语言指令以及
Seedance 1.0 支持文字与图片输入,可生成多镜头无缝切换的 1080p 高品质视频,且主体运动稳定性与画面自然度较高。 相较 Seed 此前发布的视频生成模型,Seedance 1.0 核心亮点如下: • 原生多镜头叙事能力:支持 2-3 个镜头切换的 10 秒视频生成,可进行远中近景画面切换,叙事能力大幅提升; 在第三方评测榜单 Artificial Analysis 上,See
Meta 又有新的动作,推出基于视频训练的世界模型 V-JEPA 2(全称 Video Joint Embedding Predictive Architecture 2)。其能够实现最先进的环境理解与预测能力,并在新环境中完成零样本规划与机器人控制。 Meta 表示,他们在追求高级机器智能(AMI)的目标过程中,关键在于开发出能像人类一样认知世界、规划陌生任务执行方案,并高效适应不断变化环境的
MNN轻量级高性能推理引擎 通用性 - 支持TensorFlow、Caffe、ONNX等主流模型格式,支持CNN、RNN、GAN等常用网络。 高性能 - 极致优化算子性能,全面支持CPU、GPU、NPU,充分发挥设备算力。 易用性 - 转换、可视化、调试工具齐全,能方便地部署到移动设备和各种嵌入式设备中。 什么是 TaoAvatar?它是阿里最新研究
LLIA(Low-Latency Interactive Avatars)是美团公司推出的基于扩散模型的实时音频驱动肖像视频生成框架。框架基于音频输入驱动虚拟形象的生成,支持实现低延迟、高保真度的实时交互。LLIA用可变长度视频生成技术,减少初始视频生成的延迟,结合一致性模型训练策略和模型量化技术,显著提升推理速度。LLIA支持用类别标签控制虚拟形象的状态(如说话、倾听、空闲)及面部表情的精细控制
MAGREF(Masked Guidance for Any‑Reference Video Generation)是字节跳动推出的多主体视频生成框架。MAGREF仅需一张参考图像和文本提示,能生成高质量、主体一致的视频,支持单人、多人及人物与物体、背景的复杂交互场景。基于区域感知动态掩码和像素级通道拼接机制,MAGREF能精准复刻身份特征,保持视频中人物、物体和背景的协调性与一致性,适用内容创作
Seaweed APT2是字节跳动推出的创新的AI视频生成模型,通过自回归对抗后训练(AAPT)技术,将双向扩散模型转化为单向自回归生成器,实现高效、高质量的视频生成。模型能在单次网络前向评估(1NFE)中生成包含多帧视频的潜空间帧,显著降低了计算复杂性,通过输入回收机制和键值缓存(KV Cache)技术,支持长时间视频生成,解决了传统模型在长视频生成中常见的动作漂移和物体变形问题。能在单块GPU
VFX8 是一站式 AI 制片工场,基于人工智能技术赋能影视制作全流程。用户只需输入一个创意想法,VFX8 能提供从前期策划、分镜头脚本生成、角色设计到视频生成的全流程服务。具备智能分镜制作功能,能批量生成电影级分镜头脚本,确保角色形象的一致性;支持全风格的影视角色设计,满足不同风格需求。VFX8 配备长篇剧集视觉资产管理系统,帮助创作者高效管理剧集的视觉元素,确保风格统一。 VFX8的主要功能
DreamVVT 是字节跳动和清华大学(深圳)联合推出的视频虚拟试穿(Video Virtual Try-On, VVT)技术,基于扩散 Transformer(DiTs)框架,通过两阶段方法实现高保真且时间连贯的虚拟试穿效果。第一阶段从输入视频中采样关键帧,结合视觉语言模型(VLM)生成语义一致的试穿图像;第二阶段利用骨骼图和运动信息,结合预训练视频生成模型,确保视频的动态连贯性。DreamVV
Seed GR-3 是字节跳动 Seed 团队推出的通用机器人模型,具备高泛化能力、长程任务处理能力和柔性物体操作能力。Seed GR-3融合视觉 – 语言 – 动作信息的“大脑”、三合一数据训练法(机器人数据、VR 人类轨迹数据、公开图文数据)及定制的灵活“身体”ByteMini,实现对新物体、新环境和复杂指令的理解与执行。GR-3 在长序列任务、双臂协同操作和柔性物体操作中表现出色,是迈向通用
HuMo 是一个统一的、以人为本的视频生成框架,旨在通过多模态输入(包括文本、图像和音频)生成高质量、细粒度且可控的真人视频。它支持强大的文本提示跟随功能、一致的主体保留以及同步的音频驱动动作。来自文本图像的 VideoGen - 使用文本提示结合参考图像自定义角色外观、服装、化妆、道具和场景。VideoGen from Text-Audio - 仅通过文本和音频输入即可生成音频同步的视频
项目主页:https://unigen-x.github.io/unifolm-world-model-action.github.io/开源代码网址:https://github.com/unitreerobotics/unifolm-world-model-action
WonderPlay:WonderPlay 是由斯坦福大学和犹他大学共同推出的一款创新型框架,它能将一张静态图片和用户自定义的动作,转化为一个动态的 3D 场景。该框架的核心在于其独特的物理模拟与视频生成闭环技术。它首先利用物理求解器模拟粗略的 3D 动态,然后驱动视频生成器合成更逼真的视频,最后用生成的视频来更新 3D 场景。这种“模拟与生成”的循环,确保了最终效果既符合物理规律,又具备极高的视
Eliza 是由 ai16z 开源的一款多代理模拟框架,旨在帮助开发者创建、部署和管理自主 AI 智能体。该框架基于 TypeScript 开发,提供了一个灵活且可扩展的平台,让 AI 代理能够在多个社交平台上与人类进行互动,同时保持一致的个性和知识。核心功能多代理架构:Eliza 能够同时部署和管理多个拥有独特个性的 AI 代理,并支持在不同场景下的多代理交互。多平台集成:框架支持与 Disco
lynx 是由字节跳动研发的高保真个性化视频生成模型,仅需输入一张人像照片,即可生成身份高度一致的动态视频。该模型基于扩散 transformer(dit)架构构建,并创新性地引入了 id-adapter 和 ref-adapter 两个轻量级适配模块,分别用于精准控制人物身份和精细保留面部细节。lynx 配备专用人脸编码器提取面部特征,结合 x-nemo 技术增强表情表现力,通过 lbm 算法模
Percify 是强大的 AI 数字人生成平台,专注于创建逼真的虚拟形象(avatar)视频内容。用户上传一张人脸图片和音频,通过简单的文字描述,能生成具有自然表情、精准口型同步和高质量语音的无限时长视频。平台能满足从初学者到专业创作者的需求,支持高清视频导出和语音克隆等功能。Percify 适用艺术家、品牌、游戏开发者等,帮助用户快速生成高质量的虚拟形象和视频内容,提升创作效率。Percify的
TesserAct 是创新的 4D 具身世界模型,能预测 3D 场景随时间的动态演变,响应具身代理的动作。通过训练 RGB-DN(RGB、深度和法线)视频数据来学习,超越了传统的 2D 模型,能将详细的形状、配置和时间变化纳入预测中。TesserAct 的核心优势在于其时空一致性,支持新视角合成,显著提升了策略学习的性能。TesserAct的主要功能4D 场景生成:TesserAct 能生成包含
只显示前20页数据,更多请搜索
Showing 25 to 43 of 43 results