tinybrain:从中文语料到训练、后训练与评测,读懂一个小模型工程

发布于
1

阿喵前言

想弄懂一个中文大模型是怎么从语料、分词器一路训练到后训练和评测的,只看架构图,真能串起整个过程吗?tinybrain 把数据处理、训练脚本、推理与评测放进一个能逐段阅读的开源项目,适合想顺着代码研究小模型训练链路的开发者;它目前更像一份可运行的学习工程,还不是拿来即用的聊天模型。

资源介绍

tinybrain 是一个采用 MIT 许可、免费开源的中文模型训练项目,包含自建分词器、预训练语料处理、预训练、SFT、蒸馏、强化学习、评测和本地推理。作者整理了多档中文数据,并围绕古文、诗词等内容做了专门配比。项目链路已在小型演示模型上跑通,但训练中的正式权重尚未发布,因此下载源码不等于获得可直接聊天的成品模型。

截图:预训练模型演示界面

tinybrain 小型预训练模型演示界面与续写提示
tinybrain 聊天网页的演示模型截图;画面说明该预训练存档只会续写,不会回答问题。

特色

  • 数据清洗、去重、分档及训练过程均有代码可读。
  • 覆盖预训练、SFT、蒸馏、强化学习和评测等阶段。
  • 提供命令行推理、聊天网页和小型演示流程,便于逐步理解工程组织。
  • 中文语料与分词器是项目重点,也包含古文和诗词相关数据。

注意

  • 需要 Python 3.11+、PyTorch 2.5+;实际训练还需合适的 GPU、存储与较长运行时间。
  • 数据集、训练代码可供研究,正式训练权重目前未发布;不要把演示模型当作已完成的通用聊天模型。
  • 运行训练会下载并处理较大数据,所需算力和时间取决于数据档位与硬件。

使用教程

  1. 克隆 GitHub 仓库并阅读 README 的环境与许可说明。
  2. 准备 Python、PyTorch 和所需数据;先用数据检查命令查看缺少的输入文件。
  3. 按 README 的快速开始运行小规模预训练与 SFT,数据和输出目录先留足空间。
  4. 用内置 demo 或 serve 查看小模型输出;不要把 2300 万参数演示模型的表现等同于正式权重。
  5. 想继续研究时,再沿 README 的完整流程查看退火、强化学习和评测步骤。

资源获取

GitHub 仓库与训练说明 · tinybrain 中文数据集 · 项目视频介绍

0 / 600
0 讨论
热门最新
总结
暂无总结

正在发生

最新事件奖励滚动播报

LIVE0
正在读取最新事件