搜索结果

关键词 "token limit checker" 的搜索结果, 共 12 条, 只显示前 480

DeepWiki

DeepWiki

DeepWiki :基于 GitHub Repo 源代码生成最新版可对话式文档,由 Devin驱动。 开源项目免费使用,无需注册。 私有项目中使用需在 http://devin.ai 注册账号。 直接访问 https://deepwiki.com,或将 GitHub 链接中的 github 替换为 deepwiki。 即:GitHub 仓库链接中的 github 替换为 deepwiki,即可直接访问对应的 DeepWiki 页面。如:https://deepwiki.com/<user>/<repo> Devin AI 是由 Cognition Labs开发的自主人工智能助手工具,标榜为 “AI 软件开发者”。曾号称全球首个全自动 AI 程序员,因执行成本高导致订阅价格也极高,后来就淡出人们视野了。目前更主流的开发形式是 IDE + MCP(如 Cursor、VSCode、Windsurf 等),半自动化的工具链调用让控制更精准,结果也变得更加可靠。 Devin 这次带来的 DeepWiki 确实是阅读 GitHub 项目的好帮手,在正式开始介绍 DeepWiki 前,我们先来了解一下目前阅读开源项目的痛点: GitHub 主流开源项目介绍以英文 README.md 为主,支持多语言介绍的并不多,对于非母语的人来说,存在一定阅读障碍。 很多仓库可能连比较像样的 README 介绍都没,更别提专门的文档网站或 Blog 了。于开发者而言是灾难性的,需要自行查看源代码或在 issues 中搜寻一些描述。 如果仓库文件超多,上百个文件,或大几十万行代码,想要通过阅读源码来建立项目宏观认知会变得特别难。 阅读一个仓库的源代码或许不难,但面对 GitHub 这种世界级的开发者聚集地,每天都会诞生大量开源项目,纯靠人力阅读总结会被累死(面对海量代码,人会变得麻木)。 在项目文档中不会有功能与源码之间的映射关系说明,但这又是借鉴参考项目时的一个重点需求。 在源码阅读方面,其实 GitHub 本身就做了许多改进,如树状目录,函数依赖图谱等。 随着 GitHub Copilot 的升级,也被集成进 GitHub,通过交互式对话来进一步辅助源码阅读。点击具体代码行号或顶部固定按钮唤醒 AI 对话,可提问项目相关的任何问题。 但以上这些 GitHub 提供的能力远远不够,并不能帮助我们快速建立项目宏观层面的认知(系统架构图、依赖图等)。 DeepWiki 简介 关于 DeepWiki 的详细信息是由以下推文揭露的,我对其进行了梳理。 Cognition Labs 打造了 DeepWiki,一个免费、可对话的 GitHub 仓库百科全书,致力于让每一个开发者都能轻松访问最新、结构化的项目文档。DeepWiki 由 Devin 技术驱动,专为开源项目免费开放,无需注册即可使用。只需将任何 GitHub 仓库链接中的 github 替换为 deepwiki,即可直接访问对应的 DeepWiki 页面。如:https://deepwiki.com/<user>/<repo> 据 Cognition Labs 成员介绍,DeepWiki 在构建过程中,让大语言模型(LLM)全面扫描了完整的代码库。到目前为止,它已经索引了超过 30,000 个热门 GitHub 仓库,处理了超过 40 亿行代码,处理总量超过 1000 亿 tokens,仅索引过程的计算开销就超过了 30 万美元。索引一个仓库的平均成本大约为 12 美元,但团队还是决定让所有开源项目免费使用,无需任何注册门槛。 从系统设计来看,模型在局部理解代码(如函数、模块)方面表现非常出色,但真正的挑战在于理解整个代码库的全局结构。DeepWiki 针对这一难题,采用了分层方法:先将代码库划分为一套套高层次系统(high-level systems),再为每一个系统生成对应的 Wiki 页面,帮助用户在整体上把握项目架构。 它还利用了一个非常有趣的信号——提交历史(commit history)。通过分析哪些文件经常被一起修改,可以构建出文件之间的关联图(graph),从而揭示项目内部许多潜在且重要的结构模式。这一方法进一步增强了 DeepWiki 对代码库内部逻辑关系的理解与呈现。 如果找不到你需要的仓库,团队也很乐意帮你索引任何公开 GitHub 仓库。对于私有仓库,只需注册 Devin 账号即可使用相同功能。此外,DeepWiki 支持分享 Wiki 页面和智能解答链接,方便团队成员始终保持信息同步。

xiaomi mimo

xiaomi mimo

在本研究中,我们推出了 MiMo-7B 系列模型,这一系列模型从零开始训练,专为推理任务而生。我们基于 MiMo-7B-Base 进行的强化学习实验表明,我们的模型拥有非凡的推理潜力,甚至超越了规模更大的 32B 模型。此外,我们还对冷启动的 SFT 模型进行了强化学习训练,最终形成了 MiMo-7B-RL,它在数学和代码推理任务上均表现出色,性能堪比 OpenAI o1-mini。 我们开源了 MiMo-7B 系列,包括基础模型、SFT 模型、基于基础模型训练的强化学习模型以及基于 SFT 模型训练的强化学习模型的检查点。我们相信,这份报告以及这些模型将为开发强大的推理 LLM 提供宝贵的见解,造福更广泛的社区。 亮点 预训练:为推理而生的基础模型 我们优化了数据预处理流程,增强了文本提取工具包,并应用多维数据过滤来提高预训练数据中的推理模式密度。我们还采用多种策略来生成海量多样化的合成推理数据。 我们采用三阶段数据混合策略进行预训练。总体而言,MiMo-7B-Base 在约 25 万亿个 token 上进行了预训练。 我们将多标记预测作为额外的训练目标,以增强模型性能并加速推理。 训练后食谱:先驱推理模型 我们精选了 13 万道数学和代码题作为强化学习训练数据,可供基于规则的验证器进行验证。每道题都经过仔细的清理和难度评估,以确保质量。我们仅采用基于规则的准确率奖励机制,以避免潜在的奖励黑客攻击。 为了缓解高难度代码问题的稀疏奖励问题,我们引入了测试难度驱动的代码奖励机制。通过为不同难度级别的测试用例分配细粒度的分数,我们能够利用密集的奖励信号更有效地优化策略。 我们针对简单问题实施数据重采样策略,以提高推出采样效率并稳定策略更新,特别是在 RL 训练的后期阶段。 强化学习基础设施 我们开发了无缝部署引擎 (Seamless Rollout Engine),以加速强化学习 (RL) 的训练和验证。

DeepSeek-Prover

DeepSeek-Prover

我们在 Lean 4 中引入了 DeepSeek-Prover-V2,这是一个专为形式化定理证明而设计的开源大型语言模型,其初始化数据通过 DeepSeek-V3 驱动的递归定理证明流程收集。冷启动训练过程首先促使 DeepSeek-V3 将复杂问题分解为一系列子目标。已解决子目标的证明被合成为一个思路链,并结合 DeepSeek-V3 的逐步推理,为强化学习创建初始冷启动。这一过程使我们能够将非形式化和形式化的数学推理整合到一个统一的模型中。 通过递归证明搜索合成冷启动推理数据 为了构建冷启动数据集,我们开发了一个简单而有效的递归定理证明流程,并利用 DeepSeek-V3 作为子目标分解和形式化的统一工具。我们促使 DeepSeek-V3 将定理分解为高级证明草图,同时在 Lean 4 中将这些证明步骤形式化,从而生成一系列子目标。 我们使用规模较小的 7B 模型来处理每个子目标的证明搜索,从而减轻相关的计算负担。一旦解决了一个挑战性问题的分解步骤,我们就会将完整的分步形式化证明与 DeepSeek-V3 中的相应思路配对,以创建冷启动推理数据。 利用合成冷启动数据进行强化学习 我们以端到端的方式整理出一组尚未被 7B 证明器模型解决的挑战性问题子集,但所有分解后的子目标都已成功解决。通过组合所有子目标的证明,我们为原始问题构建了一个完整的形式化证明。然后,我们将该证明附加到 DeepSeek-V3 的思路链中,该思路链概述了相应的引理分解,从而将非形式化推理与后续形式化过程紧密结合。 在合成冷启动数据上对证明器模型进行微调后,我们执行强化学习阶段,以进一步增强其连接非形式化推理和形式化证明构造的能力。遵循推理模型的标准训练目标,我们使用二元正确或错误反馈作为奖励监督的主要形式。 最终模型 DeepSeek-Prover-V2-671B 在神经定理证明方面达到了最佳性能,在 MiniF2F 测试中达到了 $88.9$% 的通过率,并在 PutnamBench 的 658 个问题中解决了 49 个。DeepSeek-Prover-V2 为 miniF2F 数据集生成的证明可以ZIP 压缩包形式下载。 3. ProverBench:AIME 和教科书问题的形式化 我们推出了 ProverBench,这是一个包含 325 个问题的基准数据集。其中 15 个问题取自近期 AIME 竞赛(AIME 24 和 25)中的数论和代数问题,形式化后呈现出真实的高中竞赛水平挑战。其余 310 个问题则取自精选的教科书示例和教学教程,构成了一个丰富多样且以教学法为基础的形式化数学问题集合。该基准旨在对高中竞赛问题和本科数学进行更全面的评估。 4. 模型和数据集下载 我们发布了两种模型大小的 DeepSeek-Prover-V2:7B 和 671B 参数。DeepSeek-Prover-V2-671B 在 DeepSeek-V3-Base 基础上进行训练。DeepSeek-Prover-V2-7B 则基于 DeepSeek-Prover-V1.5-Base 构建,并扩展了上下文长度,最高可达 32K 个 token。

只显示前20页数据,更多请搜索