搜索结果

关键词 "OpenAI token counter" 的搜索结果, 共 24 条, 只显示前 480

Langchain4j

Langchain4j

LangChain for Java:利用 LLM 的强大功能增强你的 Java 应用程序 LangChain4j 的目标是简化 LLM 与 Java 应用程序的集成。 方法如下: 统一的 API: LLM 提供商(例如 OpenAI 或 Google Vertex AI)和嵌入(向量)存储(例如 Pinecone 或 Milvus)使用专有 API。LangChain4j 提供统一的 API,避免了为每种 API 学习和实现特定 API 的麻烦。为了尝试不同的 LLM 或嵌入存储,您可以轻松地在它们之间切换,而无需重写代码。LangChain4j 目前支持15 多个流行的 LLM 提供商 和15 多个嵌入存储。 全面的工具箱: 自 2023 年初以来,社区一直在构建大量基于 LLM 的应用程序,识别常见的抽象、模式和技术。LangChain4j 已将这些工具提炼为实用代码。我们的工具箱涵盖各种工具,从低级提示模板、聊天内存管理和函数调用,到高级模式(例如 Agents 和 RAG)。对于每种抽象,我们都提供了一个接口以及基于常见技术的多种即用型实现。无论您是构建聊天机器人,还是开发具有从数据提取到检索的完整流程的 RAG,LangChain4j 都能提供丰富的选择。 大量示例: 这些示例展示了如何开始创建各种 LLM 驱动的应用程序,提供灵感并使您能够快速开始构建。 LangChain4j 于 2023 年初在 ChatGPT 热潮中启动开发。我们注意到,众多 Python 和 JavaScript LLM 库和框架缺乏 Java 版本,因此我们必须解决这个问题!虽然我们的名字里有“LangChain”,但该项目融合了 LangChain、Haystack、LlamaIndex 以及更广泛社区的理念和概念,并融入了我们自己的创新元素。

DeepWiki

DeepWiki

DeepWiki :基于 GitHub Repo 源代码生成最新版可对话式文档,由 Devin驱动。 开源项目免费使用,无需注册。 私有项目中使用需在 http://devin.ai 注册账号。 直接访问 https://deepwiki.com,或将 GitHub 链接中的 github 替换为 deepwiki。 即:GitHub 仓库链接中的 github 替换为 deepwiki,即可直接访问对应的 DeepWiki 页面。如:https://deepwiki.com/<user>/<repo> Devin AI 是由 Cognition Labs开发的自主人工智能助手工具,标榜为 “AI 软件开发者”。曾号称全球首个全自动 AI 程序员,因执行成本高导致订阅价格也极高,后来就淡出人们视野了。目前更主流的开发形式是 IDE + MCP(如 Cursor、VSCode、Windsurf 等),半自动化的工具链调用让控制更精准,结果也变得更加可靠。 Devin 这次带来的 DeepWiki 确实是阅读 GitHub 项目的好帮手,在正式开始介绍 DeepWiki 前,我们先来了解一下目前阅读开源项目的痛点: GitHub 主流开源项目介绍以英文 README.md 为主,支持多语言介绍的并不多,对于非母语的人来说,存在一定阅读障碍。 很多仓库可能连比较像样的 README 介绍都没,更别提专门的文档网站或 Blog 了。于开发者而言是灾难性的,需要自行查看源代码或在 issues 中搜寻一些描述。 如果仓库文件超多,上百个文件,或大几十万行代码,想要通过阅读源码来建立项目宏观认知会变得特别难。 阅读一个仓库的源代码或许不难,但面对 GitHub 这种世界级的开发者聚集地,每天都会诞生大量开源项目,纯靠人力阅读总结会被累死(面对海量代码,人会变得麻木)。 在项目文档中不会有功能与源码之间的映射关系说明,但这又是借鉴参考项目时的一个重点需求。 在源码阅读方面,其实 GitHub 本身就做了许多改进,如树状目录,函数依赖图谱等。 随着 GitHub Copilot 的升级,也被集成进 GitHub,通过交互式对话来进一步辅助源码阅读。点击具体代码行号或顶部固定按钮唤醒 AI 对话,可提问项目相关的任何问题。 但以上这些 GitHub 提供的能力远远不够,并不能帮助我们快速建立项目宏观层面的认知(系统架构图、依赖图等)。 DeepWiki 简介 关于 DeepWiki 的详细信息是由以下推文揭露的,我对其进行了梳理。 Cognition Labs 打造了 DeepWiki,一个免费、可对话的 GitHub 仓库百科全书,致力于让每一个开发者都能轻松访问最新、结构化的项目文档。DeepWiki 由 Devin 技术驱动,专为开源项目免费开放,无需注册即可使用。只需将任何 GitHub 仓库链接中的 github 替换为 deepwiki,即可直接访问对应的 DeepWiki 页面。如:https://deepwiki.com/<user>/<repo> 据 Cognition Labs 成员介绍,DeepWiki 在构建过程中,让大语言模型(LLM)全面扫描了完整的代码库。到目前为止,它已经索引了超过 30,000 个热门 GitHub 仓库,处理了超过 40 亿行代码,处理总量超过 1000 亿 tokens,仅索引过程的计算开销就超过了 30 万美元。索引一个仓库的平均成本大约为 12 美元,但团队还是决定让所有开源项目免费使用,无需任何注册门槛。 从系统设计来看,模型在局部理解代码(如函数、模块)方面表现非常出色,但真正的挑战在于理解整个代码库的全局结构。DeepWiki 针对这一难题,采用了分层方法:先将代码库划分为一套套高层次系统(high-level systems),再为每一个系统生成对应的 Wiki 页面,帮助用户在整体上把握项目架构。 它还利用了一个非常有趣的信号——提交历史(commit history)。通过分析哪些文件经常被一起修改,可以构建出文件之间的关联图(graph),从而揭示项目内部许多潜在且重要的结构模式。这一方法进一步增强了 DeepWiki 对代码库内部逻辑关系的理解与呈现。 如果找不到你需要的仓库,团队也很乐意帮你索引任何公开 GitHub 仓库。对于私有仓库,只需注册 Devin 账号即可使用相同功能。此外,DeepWiki 支持分享 Wiki 页面和智能解答链接,方便团队成员始终保持信息同步。

xiaomi mimo

xiaomi mimo

在本研究中,我们推出了 MiMo-7B 系列模型,这一系列模型从零开始训练,专为推理任务而生。我们基于 MiMo-7B-Base 进行的强化学习实验表明,我们的模型拥有非凡的推理潜力,甚至超越了规模更大的 32B 模型。此外,我们还对冷启动的 SFT 模型进行了强化学习训练,最终形成了 MiMo-7B-RL,它在数学和代码推理任务上均表现出色,性能堪比 OpenAI o1-mini。 我们开源了 MiMo-7B 系列,包括基础模型、SFT 模型、基于基础模型训练的强化学习模型以及基于 SFT 模型训练的强化学习模型的检查点。我们相信,这份报告以及这些模型将为开发强大的推理 LLM 提供宝贵的见解,造福更广泛的社区。 亮点 预训练:为推理而生的基础模型 我们优化了数据预处理流程,增强了文本提取工具包,并应用多维数据过滤来提高预训练数据中的推理模式密度。我们还采用多种策略来生成海量多样化的合成推理数据。 我们采用三阶段数据混合策略进行预训练。总体而言,MiMo-7B-Base 在约 25 万亿个 token 上进行了预训练。 我们将多标记预测作为额外的训练目标,以增强模型性能并加速推理。 训练后食谱:先驱推理模型 我们精选了 13 万道数学和代码题作为强化学习训练数据,可供基于规则的验证器进行验证。每道题都经过仔细的清理和难度评估,以确保质量。我们仅采用基于规则的准确率奖励机制,以避免潜在的奖励黑客攻击。 为了缓解高难度代码问题的稀疏奖励问题,我们引入了测试难度驱动的代码奖励机制。通过为不同难度级别的测试用例分配细粒度的分数,我们能够利用密集的奖励信号更有效地优化策略。 我们针对简单问题实施数据重采样策略,以提高推出采样效率并稳定策略更新,特别是在 RL 训练的后期阶段。 强化学习基础设施 我们开发了无缝部署引擎 (Seamless Rollout Engine),以加速强化学习 (RL) 的训练和验证。

只显示前20页数据,更多请搜索