RustGPT 是用 Rust 编写的 Transformer 架构语言模型。RustGPT从零开始构建，不依赖任何外部机器学习框架，仅用 ndarray 进行矩阵运算。项目包括事实文本补全的预训练、用于会话 AI 的指令微调及交互式聊天模式测试。RustGPT模块化架构确保关注点的清晰分离，便于理解和扩展。RustGPT 适合对 Rust 和机器学习感兴趣的开发者，是一个优秀的学习项目。
RustGPT的主要功能
- 事实文本补全：RustGPT 能根据输入的文本片段，生成合理的后续内容。
- 指令微调：模型经过指令微调，能理解和生成符合人类指令的文本。
- 交互式聊天模式：RustGPT 支持交互式聊天模式，用户输入问题或提示，模型能生成相应的回答。
- 动态词汇表：模型支持动态构建词汇表，能根据输入数据自动扩展词汇表，适应不同的文本内容。
RustGPT的技术原理
- 基于 Transformer 的架构：RustGPT 使用 Transformer 架构，一种基于注意力机制的神经网络架构，能处理长序列数据、捕捉长距离依赖关系。Transformer 架构包括多头自注意力机制（Multi-Head Self-Attention）和前馈神经网络（Feed-Forward Neural Network）。
项目地址
- GitHub仓库：https://github.com/tekaratzas/RustGPT
