mirror of
https://github.com/datawhalechina/llms-from-scratch-cn.git
synced 2026-10-01 22:57:26 +00:00
Chapter 5: 使用未标记数据进行预训练
- 01_main-chapter-code 主要章节代码
- 02_alternative_weight_loading 从其他途径下载GPT模型的代码防止OpenAI某天不开源该模型权重了
- 03_bonus_pretraining_on_gutenberg 在整个Gutenberg项目语料库上进行预训练的代码
- 04_learning_rate_schedulers实现更复杂的训练函数，包括学习率调整和梯度剪裁
- 05_hparam_tuning 可选的超参数调优脚本