kanshan/llms-from-scratch-cn
1
0
Fork 0
mirror of https://github.com/datawhalechina/llms-from-scratch-cn.git synced 2026-02-20 09:44:42 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity
b2dbdb487f
llms-from-scratch-cn/ch05/01_main-chapter-code/README.md
DingYue 274f9ab6e5 the first translate try
2024-04-01 11:32:35 +08:00

578 B
Raw Blame History

Chapter 5: 使用未标记数据进行预训练

  • ch05.ipynb 本章所有代码
  • previous_chapters.py 在前面章节中的包含 MultiHeadAttention的python代码模块，在这里的未标记数据模型预训练过程中我们会用到它
  • train.py 一个独立的python脚本文件，包含我们在ch05.ipynb中实现的GPT模型训练部分代码
  • generate.py 一个独立的python脚本文件，包含我们在ch05.ipynb中实现的GPT模型权重加载和应用代码