xiaomi mimo

MiMo-7B 代码推理 SFT 推理模式

在本研究中，我们推出了 MiMo-7B 系列模型，这一系列模型从零开始训练，专为推理任务而生。我们基于 MiMo-7B-Base 进行的强化学习实验表明，我们的模型拥有非凡的推理潜力，甚至超越了规模更大的 32B 模型。此外，我们还对冷启动的 SFT 模型进行了强化学习训练，最终形成了 MiMo-7B-RL，它在数学和代码推理任务上均表现出色，性能堪比 OpenAI o1-mini。我们开源了 MiMo-7B 系列，包括基础模型、SFT 模型、基于基础模型训练的强化学习模型以及基于 SFT 模型训练的强化学习模型的检查点。我们相信，这份报告以及这些模型将为开发强大的推理 LLM 提供宝贵的见解，造福更广泛的社区。亮点预训练：为推理而生的基础模型我们优化了数据预处理流程，增强了文本提取工具包，并应用多维数据过滤来提高预训练数据中的推理模式密度。我们还采用多种策略来生成海量多样化的合成推理数据。我们采用三阶段数据混合策略进行预训练。总体而言，MiMo-7B-Base 在约 25 万亿个 token 上进行了预训练。我们将多标记预测作为额外的训练目标，以增强模型性能并加速推理。训练后食谱：先驱推理模型我们精选了 13 万道数学和代码题作为强化学习训练数据，可供基于规则的验证器进行验证。每道题都经过仔细的清理和难度评估，以确保质量。我们仅采用基于规则的准确率奖励机制，以避免潜在的奖励黑客攻击。为了缓解高难度代码问题的稀疏奖励问题，我们引入了测试难度驱动的代码奖励机制。通过为不同难度级别的测试用例分配细粒度的分数，我们能够利用密集的奖励信号更有效地优化策略。我们针对简单问题实施数据重采样策略，以提高推出采样效率并稳定策略更新，特别是在 RL 训练的后期阶段。强化学习基础设施我们开发了无缝部署引擎 (Seamless Rollout Engine)，以加速强化学习 (RL) 的训练和验证。

相关推荐

microsoft phi

phi-4是一个最先进的开放模型，它基于合成数据集、来自筛选过的公共领域网站的数据以及获取的学术书籍和问答数据集构建而成。该方法的目标是确保小型模型能够使用专注于高质量和高级推理的数据进行训练。该模型 phi-4经过了严格的增强和校准过程，结合了监督微调和直接偏好优化，以确保精确的指令遵循和强大的安全措施。 14B 参数，密集解码器专用 Transformer 模型我们的模型旨在加速语言模型的研究，并将其作为生成式人工智能功能的基石。它适用于通用人工智能系统和应用（主要针对英语），这些系统和应用需要： 1. 内存/计算受限的环境。2 . 延迟受限的场景。3 . 推理和逻辑。训练数据集我们的训练数据是用于 Phi-3 的数据的扩展，包括来自以下各种来源的数据：对公开的文档进行严格的质量筛选，选择高质量的教育数据和代码。新创建的合成“类似教科书”的数据，用于教授数学、编码、常识推理、世界常识（科学、日常活动、心理理论等）。获得学术书籍和问答数据集。高质量的聊天格式监督数据涵盖各种主题，以反映人类在遵循指示、真实性、诚实和乐于助人等不同方面的偏好。多语言数据约占我们整体数据的 8%。我们注重能够提升模型推理能力的数据质量，并筛选公开的文档，确保其包含的知识水平符合要求。基准数据集我们phi-4使用OpenAI 的 SimpleEval和我们自己的内部基准进行了评估，以了解该模型的功能，更具体地说： MMLU：用于多任务语言理解的流行聚合数据集。数学：具有挑战性的竞赛数学问题。 GPQA：复杂的、研究生水平的科学问题。 DROP：复杂的理解和推理。 MGSM：多语言小学数学。 HumanEval：功能代码生成。 SimpleQA：事实回应。

DeepSeek-Prover

我们在 Lean 4 中引入了 DeepSeek-Prover-V2，这是一个专为形式化定理证明而设计的开源大型语言模型，其初始化数据通过 DeepSeek-V3 驱动的递归定理证明流程收集。冷启动训练过程首先促使 DeepSeek-V3 将复杂问题分解为一系列子目标。已解决子目标的证明被合成为一个思路链，并结合 DeepSeek-V3 的逐步推理，为强化学习创建初始冷启动。这一过程使我们能够将非形式化和形式化的数学推理整合到一个统一的模型中。通过递归证明搜索合成冷启动推理数据为了构建冷启动数据集，我们开发了一个简单而有效的递归定理证明流程，并利用 DeepSeek-V3 作为子目标分解和形式化的统一工具。我们促使 DeepSeek-V3 将定理分解为高级证明草图，同时在 Lean 4 中将这些证明步骤形式化，从而生成一系列子目标。我们使用规模较小的 7B 模型来处理每个子目标的证明搜索，从而减轻相关的计算负担。一旦解决了一个挑战性问题的分解步骤，我们就会将完整的分步形式化证明与 DeepSeek-V3 中的相应思路配对，以创建冷启动推理数据。利用合成冷启动数据进行强化学习我们以端到端的方式整理出一组尚未被 7B 证明器模型解决的挑战性问题子集，但所有分解后的子目标都已成功解决。通过组合所有子目标的证明，我们为原始问题构建了一个完整的形式化证明。然后，我们将该证明附加到 DeepSeek-V3 的思路链中，该思路链概述了相应的引理分解，从而将非形式化推理与后续形式化过程紧密结合。在合成冷启动数据上对证明器模型进行微调后，我们执行强化学习阶段，以进一步增强其连接非形式化推理和形式化证明构造的能力。遵循推理模型的标准训练目标，我们使用二元正确或错误反馈作为奖励监督的主要形式。最终模型 DeepSeek-Prover-V2-671B 在神经定理证明方面达到了最佳性能，在 MiniF2F 测试中达到了 $88.9$% 的通过率，并在 PutnamBench 的 658 个问题中解决了 49 个。DeepSeek-Prover-V2 为 miniF2F 数据集生成的证明可以ZIP 压缩包形式下载。 3. ProverBench：AIME 和教科书问题的形式化我们推出了 ProverBench，这是一个包含 325 个问题的基准数据集。其中 15 个问题取自近期 AIME 竞赛（AIME 24 和 25）中的数论和代数问题，形式化后呈现出真实的高中竞赛水平挑战。其余 310 个问题则取自精选的教科书示例和教学教程，构成了一个丰富多样且以教学法为基础的形式化数学问题集合。该基准旨在对高中竞赛问题和本科数学进行更全面的评估。 4. 模型和数据集下载我们发布了两种模型大小的 DeepSeek-Prover-V2：7B 和 671B 参数。DeepSeek-Prover-V2-671B 在 DeepSeek-V3-Base 基础上进行训练。DeepSeek-Prover-V2-7B 则基于 DeepSeek-Prover-V1.5-Base 构建，并扩展了上下文长度，最高可达 32K 个 token。

QwQ

QwQ 是 Qwen 系列的推理模型。与传统的指令调优模型相比，QwQ 具备思考和推理能力，在下游任务，尤其是难题中能够取得显著的性能提升。QwQ-32B 是中型推理模型，其性能足以匹敌 DeepSeek-R1、o1-mini 等最先进的推理模型。 QwQ基于Qwen2.5开发，其代码已集成到最新的Hugging界面中transformers，建议您使用最新版本的transformers。 QwQ-32B 经过一系列基准测试，旨在评估其数学推理、编码能力和通用问题解决能力。 QwQ-32B 已在 Hugging Face 和 ModelScope 开源，采用了 Apache 2.0 开源协议。大家可通过 Qwen Chat 直接进行体验！

MAI-DS-R1

MAI-DS-R1 是 DeepSeek-R1 推理模型，经过微软 AI 团队的后期训练，提高了其对受阻主题的响应能力和风险状况，同时保持了其推理能力和竞争性能。基于 DeepSeek-R1，这是一种基于 Transformer 的自回归语言模型，利用多头自注意力和混合专家 (MoE) 进行可扩展和高效的推理。 MAI-DS-R1 是一个 DeepSeek-R1 推理模型，经过微软 AI 团队的后期训练，旨在填补先前版本模型中的信息空白，并提升其风险状况，同时保持 R1 推理能力。该模型使用来自Tulu 3 SFT 数据集的 11 万个安全和不合规示例进行训练，此外还使用了内部开发的约 35 万个多语言示例数据集，该数据集涵盖了各种存在偏差的主题。 MAI-DS-R1 成功解锁了原始 R1 模型中大多数先前被阻止的查询，同时在相关安全基准测试中超越了近期发布的 R1-1776 模型（由 Perplexity 进行后训练）。这些结果的实现同时保留了原始 DeepSeek-R1 的通用推理能力。

BitNet b1.58 2B4T

BitNet 是微软研究院开发的第一个开源、原生 1 位大型语言模型 (LLM)，参数规模达 20 亿。该模型在 4 万亿个标记的语料库上进行训练，表明原生 1 位 LLM 可以实现与类似大小的领先开放权重、全精度模型相当的性能，同时在计算效率（内存、能量、延迟）方面具有显著优势。 github地址：https://github.com/microsoft/BitNet

xinghuo

星火大模型是科大讯飞推出的AI大模型，支持对话、写作、编程等功能，还能提供语音交互方式。它具备跨语言、跨领域的知识理解和推理能力。

SenseChat

商量SenseChat是商汤科技基于自研的大型人工智能模型体系“日日新”(SenseNova)所开发的AI聊天助手,商量SenseChat是AI聊天问答助手，擅长总结财经资讯、解读政策、分析财报，也可以辅助文案创作、生成图片、编写代码，或畅聊你感兴趣的话题。

baichuan

百川智能核心团队由来自搜狗、百度、华为、微软、字节、腾讯等知名科技公司的AI顶尖人才组成。百川智能成立不到100天，便发布了Baichuan-7B、Baichuan-13B两款开源可免费商用的中文大模型。2025年1月24日，百川智能发布全场景深度思考模型Baichuan-M1-preview，该模型同时具备语言、视觉和搜索三大领域推理能力，现已在百小应中正式上线。