mirror of
https://github.com/datawhalechina/llms-from-scratch-cn.git
synced 2026-02-19 17:24:43 +08:00
| .. | ||
| 01_main-chapter-code | ||
| 02_alternative_weight_loading | ||
| 03_bonus_pretraining_on_gutenberg | ||
| 04_learning_rate_schedulers | ||
| 05_bonus_hparam_tuning | ||
| README.md | ||
Chapter 5: 使用未标记数据进行预训练
- 01_main-chapter-code 主要章节代码
- 02_alternative_weight_loading 从其他途径下载GPT模型的代码防止OpenAI某天不开源该模型权重了
- 03_bonus_pretraining_on_gutenberg 在整个Gutenberg项目语料库上进行预训练的代码
- 04_learning_rate_schedulers实现更复杂的训练函数,包括学习率调整和梯度剪裁
- 05_hparam_tuning 可选的超参数调优脚本