# Chapter 5: 使用未标记数据进行预训练

- [ch05.ipynb](ch05.ipynb) 本章所有代码
- [previous_chapters.py](previous_chapters.py) 在前面章节中的包含 `MultiHeadAttention`的python代码模块，在这里的未标记数据模型预训练过程中我们会用到它
- [train.py](train.py) 一个独立的python脚本文件，包含我们在[ch05.ipynb](ch05.ipynb)中实现的GPT模型训练部分代码
- [generate.py](generate.py) 一个独立的python脚本文件，包含我们在[ch05.ipynb](ch05.ipynb)中实现的GPT模型权重加载和应用代码