搜索结果

xiaomi mimo

在本研究中，我们推出了 MiMo-7B 系列模型，这一系列模型从零开始训练，专为推理任务而生。我们基于 MiMo-7B-Base 进行的强化学习实验表明，我们的模型拥有非凡的推理潜力，甚至超越了规模更大的 32B 模型。此外，我们还对冷启动的 SFT 模型进行了强化学习训练，最终形成了 MiMo-7B-RL，它在数学和代码推理任务上均表现出色，性能堪比 OpenAI o1-mini。 我们开源了 MiMo-7B 系列，包括基础模型、SFT 模型、基于基础模型训练的强化学习模型以及基于 SFT 模型训练的强化学习模型的检查点。我们相信，这份报告以及这些模型将为开发强大的推理 LLM 提供宝贵的见解，造福更广泛的社区。 亮点 预训练：为推理而生的基础模型 我们优化了数据预处理流程，增强了文本提取工具包，并应用多维数据过滤来提高预训练数据中的推理模式密度。我们还采用多种策略来生成海量多样化的合成推理数据。 我们采用三阶段数据混合策略进行预训练。总体而言，MiMo-7B-Base 在约 25 万亿个 token 上进行了预训练。 我们将多标记预测作为额外的训练目标，以增强模型性能并加速推理。 训练后食谱：先驱推理模型 我们精选了 13 万道数学和代码题作为强化学习训练数据，可供基于规则的验证器进行验证。每道题都经过仔细的清理和难度评估，以确保质量。我们仅采用基于规则的准确率奖励机制，以避免潜在的奖励黑客攻击。 为了缓解高难度代码问题的稀疏奖励问题，我们引入了测试难度驱动的代码奖励机制。通过为不同难度级别的测试用例分配细粒度的分数，我们能够利用密集的奖励信号更有效地优化策略。 我们针对简单问题实施数据重采样策略，以提高推出采样效率并稳定策略更新，特别是在 RL 训练的后期阶段。 强化学习基础设施 我们开发了无缝部署引擎 (Seamless Rollout Engine)，以加速强化学习 (RL) 的训练和验证。