关键词 "蒸馏" 的搜索结果， 共 2 条, 只显示前 480 条
此开源项目旨在完全从0开始，仅用3块钱成本 + 2小时！即可训练出仅为25.8M的超小语言模型MiniMind。 MiniMind系列极其轻量，最小版本体积是 GPT-3 的 1/7000，力求做到最普通的个人GPU也可快速训练。 项目同时开源了大模型的极简结构-包含拓展共享混合专家(MoE)、数据集清洗、预训练(Pretrain)、监督微调(SFT)、LoRA微调， 直接偏好强化学习(DPO
全新的生成模型MeanFlow，最大亮点在于它彻底跳脱了传统训练范式——无须预训练、蒸馏或课程学习，仅通过一次函数评估（1-NFE）即可完成生成。 MeanFlow在ImageNet 256×256上创下3.43 FID分数，实现从零开始训练下的SOTA性能。 图1（上）：在ImageNet 256×256上从零开始的一步生成结果 在ImageNet 256×25
只显示前20页数据，更多请搜索
