mirror of
https://github.com/datawhalechina/llms-from-scratch-cn.git
synced 2026-05-01 11:58:17 +08:00
8 lines
578 B
Markdown
8 lines
578 B
Markdown
# Chapter 5: 使用未标记数据进行预训练
|
||
|
||
- [ch05.ipynb](ch05.ipynb) 本章所有代码
|
||
- [previous_chapters.py](previous_chapters.py) 在前面章节中的包含 `MultiHeadAttention`的python代码模块，在这里的未标记数据模型预训练过程中我们会用到它
|
||
- [train.py](train.py) 一个独立的python脚本文件，包含我们在[ch05.ipynb](ch05.ipynb)中实现的GPT模型训练部分代码
|
||
- [generate.py](generate.py) 一个独立的python脚本文件，包含我们在[ch05.ipynb](ch05.ipynb)中实现的GPT模型权重加载和应用代码
|
||
|