kanshan/llms-from-scratch-cn
1
0
Fork 0
mirror of https://github.com/datawhalechina/llms-from-scratch-cn.git synced 2026-02-20 01:34:46 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity
b2dbdb487f
llms-from-scratch-cn/ch05/01_main-chapter-code
History
DingYue c84ff098fb translate the main chapter code
2024-04-02 19:25:24 +08:00
..
images the first translate try 2024-04-01 11:32:35 +08:00
ch05.ipynb translate the main chapter code 2024-04-02 19:25:24 +08:00
gpt_download.py the first translate try 2024-04-01 11:32:35 +08:00
gpt_generate.py the first translate try 2024-04-01 11:32:35 +08:00
gpt_train.py the first translate try 2024-04-01 11:32:35 +08:00
previous_chapters.py the first translate try 2024-04-01 11:32:35 +08:00
README.md the first translate try 2024-04-01 11:32:35 +08:00
tests.py the first translate try 2024-04-01 11:32:35 +08:00

README.md

Chapter 5: 使用未标记数据进行预训练

  • ch05.ipynb 本章所有代码
  • previous_chapters.py 在前面章节中的包含 MultiHeadAttention的python代码模块，在这里的未标记数据模型预训练过程中我们会用到它
  • train.py 一个独立的python脚本文件，包含我们在ch05.ipynb中实现的GPT模型训练部分代码
  • generate.py 一个独立的python脚本文件，包含我们在ch05.ipynb中实现的GPT模型权重加载和应用代码