obscura/llms-from-scratch-cn

mirror of https://github.com/datawhalechina/llms-from-scratch-cn.git synced 2026-10-04 16:17:26 +00:00

Files

T

History

kewei 894b20d3c3 0610

2024-06-10 17:00:23 +08:00

..

0610

2024-06-10 17:00:23 +08:00

ch05.ipynb

0610

2024-06-10 17:00:23 +08:00

gpt_download.py

0610

2024-06-10 17:00:23 +08:00

gpt_generate.py

0610

2024-06-10 17:00:23 +08:00

gpt_train.py

0610

2024-06-10 17:00:23 +08:00

previous_chapters.py

0610

2024-06-10 17:00:23 +08:00

README.md

0610

2024-06-10 17:00:23 +08:00

tests.py

0610

2024-06-10 17:00:23 +08:00

README.md

Chapter 5: 使用未标记数据进行预训练

ch05.ipynb 本章所有代码
previous_chapters.py 在前面章节中的包含 MultiHeadAttention的python代码模块，在这里的未标记数据模型预训练过程中我们会用到它
train.py 一个独立的python脚本文件，包含我们在ch05.ipynb中实现的GPT模型训练部分代码
generate.py 一个独立的python脚本文件，包含我们在ch05.ipynb中实现的GPT模型权重加载和应用代码