mirror of
https://github.com/datawhalechina/llms-from-scratch-cn.git
synced 2026-10-26 18:43:50 +00:00
Ethan-Chen-plus
@@ -0,0 +1,80 @@
|
||||
## 1 理解大型语言模型（Understanding Large Language Models 「LLMs」）
|
||||
|
||||
This chapter covers
|
||||
1. High-level explanations of the fundamental concepts behind large language models (LLMs)
|
||||
2. Insights into the transformer architecture from which ChatGPT-like LLMs are derived
|
||||
3. A plan for building an LLM from scratch
|
||||
|
||||
本章包括
|
||||
1. 大型语言模型 (LLM) 基本概念的深层次解释「其中将会涉及很多大模型相关原理知识的讲解。」
|
||||
2. 深入了解transformer架构，由此衍生出类似 ChatGPT 的 LLM「包括国外的：GPT、 BERT 、T5、LLaMA，国内的：Qwen、Baichuan等，当然我们也需要知道，虽然Transformer架构是如今的主流大模型架构，但也有非Transformer架构的大模型，比如RWKV。」
|
||||
3. 从零开始构建 LLM 的计划「这是本书的重点，本书将从原理层面，一步一步的讲解整个大模型的框架构成，并且从零开始构建一个基于Transformer架构的LLM。」
|
||||
|
||||
「那我们开始吧，在大语言模型中，我们首先从对LLM的概念进行初步的介绍开始。」
|
||||
|
||||
Large language models (LLMs), such as those offered in OpenAI's ChatGPT, are deep neural network models that have been developed over the past few years. They ushered in a new era for Natural Language Processing (NLP). Before the advent of large language models, traditional methods excelled at categorization tasks such as email spam classification and straightforward pattern recognition that could be captured with handcrafted rules or simpler models. However, they typically underperformed in language tasks that demanded complex understanding and generation abilities, such as parsing detailed instructions, conducting contextual analysis, or creating coherent and contextually appropriate original text. For example, previous generations of language models could not write an email from a list of keywords—a task
|
||||
that is trivial for contemporary LLMs.
|
||||
|
||||
大型语言模型（LLM）是最近几年被开发出来的深度神经网络模型，如 OpenAI 所提供的 ChatGPT 模型。它们开创了自然语言处理（NLP）的新时代。在大型语言模型出现之前，传统方法在垃圾邮件分类和简单模式识别等分类任务中表现出色，这是由于这些任务可以用手工规则或更简单的模型来捕捉。然而，在需要复杂理解和生成能力的语言任务中，如解析详细说明、进行上下文分析或创建连贯且与上下文相适应的原始文本时，这些方法通常表现不佳。例如，前几代语言模型无法根据关键字列表编写电子邮件--而这一任务对当代 LLM 来说是微不足道的。
|
||||
|
||||
> 本句的注解和说明如下：
|
||||
1. **大型语言模型（LLM）**：LLM是“Large Language Model”的缩写，指的是一种设计用来处理和生成自然语言的深度学习模型。这些模型通常拥有大量的参数，能够捕捉和学习语言的复杂结构和模式。
|
||||
2. **深度神经网络模型**：深度神经网络是机器学习领域中的一种算法，它通过模拟人脑处理信息的方式来识别数据中的复杂关系。这些网络由多层构成，每一层都能够学习数据的不同层次的特征。
|
||||
3. **OpenAI**：OpenAI 是国际上的一个人工智能研究组织，ChatGPT 是他们开发的一种著名的LLM，能够进行各种语言任务，如文本生成、翻译、问答等。
|
||||
4. **开创了自然语言处理（NLP）的新时代**：意味着LLM的出现标志着NLP领域的一个重要进展，使得机器能够更加精准和自然地处理人类语言。
|
||||
5. **传统方法**：指的是LLM出现之前用于处理语言任务的技术和模型，如基于规则的系统或简单的统计模型。
|
||||
6. **垃圾邮件分类和简单模式识别等分类任务**：这些是一些基本的NLP任务，其中垃圾邮件分类是指识别并过滤掉不想要的电子邮件，简单模式识别可能涉及识别文本中的特定模式或关键词。
|
||||
7. **可以用手工规则或更简单的模型来捕捉**：意味着这些任务的复杂性较低，可以通过预先定义的规则或者结构相对简单的算法来有效完成，而当任务复杂后，手工规则就失效了。
|
||||
8. **需要复杂理解和生成能力的语言任务**：指的是那些不仅需要识别文本中的信息，还需要对信息进行深入理解和进一步生成文本的任务。这包括理解复杂的指令、进行细致的上下文分析，或者创作流畅且符合上下文的文本。
|
||||
9. **前几代语言模型无法根据关键字列表编写电子邮件**：这表明早期的语言模型在生成文本方面有限制，它们不能灵活地使用给定的信息来创建连贯的文本内容。
|
||||
|
||||
|
||||
LLMs have remarkable capabilities to understand, generate, and interpret human language. However, it's important to clarify that when we say language models "understand," we mean that they can process and generate text in ways that appear coherent and contextually relevant, not that they possess human-like consciousness or comprehension.
|
||||
|
||||
大语言模型具有理解、生成和解释人类语言的卓越能力。不过，有必要澄清的是，当我们说语言模型 "理解 "时，我们指的是它们能以看起来连贯且与上下文相关的方式处理和生成文本，而不是说它们拥有类似人类的意识或理解能力。
|
||||
|
||||
> 本句的注解和说明如下：
|
||||
1. **具有理解、生成和解释人类语言的卓越能力**：这表明LLM在执行与语言相关的任务时表现出色，它们能够“理解”语言的含义，生成新的语言表达，以及对语言输入进行解释和回应。
|
||||
2. **"理解"**：这里使用了引号来强调“理解”这个词在技术层面上的含义，它不同于人类对语言的理解。
|
||||
3. **以看起来连贯且与上下文相关的方式处理和生成文本**：本句说明LLM通过分析大量数据和模式识别，能够生成读起来流畅并符合给定上下文的文本。这种能力让机器在处理语言时表现得更加自然和人性化。
|
||||
4. **不是说它们拥有类似人类的意识或理解能力**：这是一个重要的区分，意味着尽管LLM在模拟语言理解和生成方面取得了显著进展，但它们并不具备真正的意识或自我意识。它们的“理解”是基于算法和数据处理，而不是基于情感、经验或主观意识的真正理解，从本书后文的构建中我们了解其本质还是一个基于语言文本的统计回归模型。
|
||||
5. **理解能力**：在人工智能的语境中，通常指的是模型对输入数据的处理能力，以及它根据这些数据做出反应或生成输出的能力。在LLM中，这通常涉及到复杂的算法和大量的参数调整，以模拟对语言的认知处理。
|
||||
6. **上下文相关**：LLM能够根据文本的上下文环境来生成或解释语言，这意味着它们不仅仅是简单地按照规则生成文本，而是能够考虑到文本的语义内容、语境线索以及可能的隐含意义。
|
||||
7. **处理和生成文本**：这涉及到LLM的两个主要功能，即文本的理解（处理）和基于该理解生成新的文本内容。
|
||||
|
||||
|
||||
Enabled by advancements in deep learning, which is a subset of machine learning and artificial intelligence (AI) focused on neural networks, LLMs are trained on vast quantities of text data. This allows LLMs to capture deeper contextual information and subtleties of human language compared to previous approaches. As a result, LLMs have significantly improved performance in a wide range of NLP tasks, including text translation, sentiment analysis, question answering, and many more. Another important distinction between contemporary LLMs and earlier NLP models is that the latter were typically designed for specific tasks; whereas those earlier NLP models excelled in their narrow applications, LLMs demonstrate a broader proficiency across a wide range of NLP tasks. The success behind LLMs can be attributed to the transformer architecture which underpins many LLMs, and the vast amounts of data LLMs are trained on, allowing them to capture a wide variety of linguistic nuances, contexts, and patterns that would be challenging to manually encode.
|
||||
|
||||
深度学习是以神经网络为核心的机器学习和人工智能（AI）的一个子集，在深度学习的推动下，LLM 在大量文本数据的基础上进行训练。与以前的方法相比，这使得 LLM 能够捕捉到更深层次的语境信息和人类语言的微妙之处。因此，LLM 在文本翻译、情感分析、问题解答等各种 NLP 任务中的性能都有显著提高。当代 LLM 与早期 NLP 模型的另一个重要区别是，后者通常是为特定任务而设计的；早期的 NLP 模型在其狭窄的应用领域表现出色，而 LLM 则在广泛的 NLP 任务中表现出更广泛的能力。LLMs 的成功可归功于支撑许多 LLMs 的transformer架构，以及 LLMs 所训练的海量数据，这使得它们能够捕捉各种语言细微差别、语境和模式，而这些都是人工编码所面临的挑战。
|
||||
|
||||
> 本句的注解和说明如下：
|
||||
1. **深度学习**：深度学习是机器学习的一个分支，它使用具有多个层级（也称为深度的原因）的神经网络来学习数据中的复杂模式。这些层次结构使得网络能够从原始数据中提取高级特征，用于各种任务。
|
||||
2. **在深度学习的推动下，LLM 在大量文本数据的基础上进行训练**：这意味着LLM利用深度学习的原理，通过分析和学习大量的文本数据来提高其语言处理能力。
|
||||
3. **捕捉到更深层次的语境信息和人类语言的微妙之处**：LLM通过深度学习能够理解语言的复杂性，包括语法、句法、语义以及语言使用的社会和文化背景。
|
||||
4. **文本翻译、情感分析、问题解答等各种 NLP 任务**：这些是自然语言处理领域的常见应用，LLM在这些任务中展现出比以往模型更优秀的性能。
|
||||
5. **性能都有显著提高**：与早期的NLP模型相比，LLM在理解、生成和处理自然语言方面取得了重大进展。
|
||||
6. **早期 NLP 模型通常是为特定任务而设计的**：这指的是传统的NLP模型往往专注于解决特定的语言问题，如垃圾邮件过滤或语音识别，而不是通用的语言任务。
|
||||
7. **早期的 NLP 模型在其狭窄的应用领域表现出色**：这些模型在它们被设计来解决的具体问题上效果很好，但可能不适用于其他类型的语言处理任务。
|
||||
8. **LLM 则在广泛的 NLP 任务中表现出更广泛的能力**：与特定任务的模型不同，LLM能够处理多种类型的语言任务，显示出更通用的能力。
|
||||
9. **Transformer架构**：这里提到的“Transformer架构”是一种先进的深度学习模型，它在处理序列数据方面特别有效，尤其是在自然语言处理（NLP）领域，它在2017年被提出，并迅速成为处理序列数据，尤其是在自然语言处理（NLP）任务中的主流方法。它在处理序列数据时特别有效，已经成为许多LLM的基础架构。Transformer模型的核心是自注意力机制，它允许模型在处理序列的每个元素时考虑到序列中的所有其他元素，这使得它能够捕捉到序列内部的长距离依赖关系。这部分的内容将会在后续章节中详细说明。
|
||||
10. **LLMs 所训练的海量数据**：为了训练LLM，需要大量的文本数据来提供足够的信息，让模型学习语言的各种用法和模式。
|
||||
11. **捕捉各种语言细微差别、语境和模式**：LLM通过学习大量的语言数据，能够识别和再现语言中的复杂细节，包括词义的微妙变化、语言的使用情境以及不同的语言模式。
|
||||
12. **人工编码所面临的挑战**：指在没有机器学习的帮助下，人类专家很难手工定义和编码语言的所有复杂规则和特性。
|
||||
|
||||
This shift towards implementing models based on the transformer architecture and using large training datasets to train LLMs has fundamentally transformed NLP, providing more capable tools for understanding and interacting with human language.
|
||||
|
||||
这种基于transformer架构实施模型并使用大型训练数据集来训练 LLM 的转变从根本上改变了 NLP，为理解人类语言并与之互动提供了能力更强的工具。
|
||||
|
||||
> 本句的注解和说明如下：
|
||||
1. **使用大型训练数据集来训练LLM**：LLM（大型语言模型）的训练需要大量的文本数据，这些数据集通常包含了广泛的语言使用情况，包括不同的语言风格、领域特定术语、语法结构和语义信息。通过在这些丰富的数据上训练，LLM能够学习到语言的多样性和复杂性。
|
||||
2. **转变**：这里指的是从以往使用的较小规模模型和不同架构，到现在使用基于Transformer的架构和大规模数据集的转变。
|
||||
3. **从根本上改变了NLP**：本句强调了Transformer架构和大规模数据训练对自然语言处理领域带来的深远影响。这种转变不仅仅是技术上的改进，更是对NLP任务理解和处理方式的根本性改变。
|
||||
4. **为理解人类语言并与之互动提供了能力更强的工具**：LLM通过学习大量的文本数据，能够更好地理解和生成人类语言，从而在人机交互、语言翻译、文本摘要、情感分析等NLP任务中表现得更加出色。这些工具的增强能力使得机器与人类的交流更加自然和高效。
|
||||
5. **理解人类语言**：指的是LLM能够识别和解释语言中的语义内容、语法结构、语境含义等，从而对语言有一个深层次的理解。
|
||||
6. **与之互动**：指的是LLM不仅能够理解输入的语言信息，还能够生成回应或执行特定的语言任务，如回答问题、提供建议、撰写文章等。
|
||||
7. **能力更强的工具**：与以往的NLP模型相比，LLM因其规模和架构的优势，在处理语言时更为精准、灵活和高效。
|
||||
|
||||
|
||||
Beginning with this chapter, we set the foundation to accomplish the primary objective of this book: understanding LLMs by implementing a ChatGPT-like LLM based on the transformer architecture step by step in code.
|
||||
|
||||
从本章开始，我们为实现本书的主要目标奠定了基础：通过在代码中逐步实现基于transformer架构的类似 ChatGPT 的 LLM，从而理解 LLM。
|
||||
@@ -0,0 +1,119 @@
|
||||
### 1.1 什么是LLM（What is an LLM?）
|
||||
|
||||
An LLM, a large language model, is a neural network designed to understand, generate, and respond to human-like text. These models are deep neural networks trained on massive amounts of text data, sometimes encompassing large portions of the entire publicly available text on the internet.
|
||||
|
||||
LLM 即大型语言模型，是一种神经网络，旨在理解、生成和响应类人文本。这些模型是在海量文本数据上训练出来的深度神经网络，有时包含互联网上全部公开文本的很大一部分。
|
||||
|
||||
> 本句的注解和说明如下：
|
||||
1. **神经网络**：这是一种模仿人脑神经元网络连接方式的计算模型，能够通过学习数据中的模式来执行各种任务，包括语言处理。
|
||||
2. **旨在理解、生成和响应类人文本**：这表明LLM的主要功能是处理自然语言文本，不仅能够“理解”文本的含义，还能够生成新的文本内容，并对用户输入的文本做出恰当的回应。
|
||||
3. **在海量文本数据上训练出来的**：LLM的训练涉及大量的文本数据，这些数据为模型提供了丰富的语言信息和使用模式，使其能够学习到语言的各种特征。
|
||||
4. **深度神经网络**：这是神经网络的一个类型，包含多个隐藏层，能够学习并表示数据中的复杂关系和模式。
|
||||
5. **包含互联网上全部公开文本的很大一部分**：这说明了训练LLM所使用的数据集规模之大，它们包括互联网上可获取的大量公开文本，如书籍、文章、论坛帖子等。
|
||||
6. **理解**：在LLM的上下文中，理解通常指的是模型能够识别和解释文本中的语义内容和语境信息。
|
||||
7. **生成**：指的是LLM能够自主创建新的文本内容，这些内容在结构和语义上与人类生成的文本类似。
|
||||
8. **响应**：指的是LLM能够根据输入的文本或查询，产生合适的回复或输出，这可能包括回答问题、执行指令或提供信息。
|
||||
|
||||
*「本句描述了LLM的核心特征：它们是基于大量文本数据训练出来的深度神经网络模型，能够执行理解、生成和响应类人文本的任务。这些能力使LLM在自然语言处理领域具有广泛的应用潜力。」*
|
||||
|
||||
|
||||
The "large" in large language model refers to both the model's size in terms of parameters and the immense dataset on which it's trained. Models like this often have tens or even hundreds of billions of parameters, which are the adjustable weights in the network that are optimized during training to predict the next word in a sequence. Next-word prediction is sensible because it harnesses the inherent sequential nature of language to train models on understanding context, structure, and relationships within text. Yet, it is a very simple task and so it is surprising to many researchers that it can produce such capable models. We will discuss and implement the next-word training procedure in later chapters step by step.
|
||||
|
||||
大型语言模型中的 "大型 "指的是该模型的参数规模以及训练该模型的庞大数据集。此类模型通常有数百亿甚至数千亿个参数，这些参数是网络中可调整的权重，在训练过程中进行优化，以预测序列中的下一个单词。下一个单词的预测的这样一种策略是明智的，因为它利用了语言固有的顺序性来训练理解文本中上下文、结构和关系的模型。然而，这只是一项非常简单的任务，因此能产生如此强大的模型令许多研究人员感到惊讶。我们将在后面的章节中逐步讨论和实施“下一个词的训练过程”。
|
||||
|
||||
> 本句的注解和说明如下：
|
||||
1. **大型语言模型中的“大型”**：这里所说的“大型”是指模型的两个主要特征：参数的规模和训练数据的体量，一般来说模型的参数规模达到了1B(也就是10亿参数量)的数量级，才成为大模型，会这样界定的原因在于模型只有达到大规模的时候才会有我们基于Scaling law的涌现现象，而这种大模型的对于文本的理解、处理和迁移能力「包括很多小样本或者零样本的场景」的涌现现象正是大模型作为基础的底座模型的魅力，其实现了多种任务的统一，「虽然有点大力出奇迹的感觉」。
|
||||
2. **参数规模**：在深度学习中，模型的参数是指网络中可学习和调整的权重和偏置。在大型语言模型（LLM）中，这些参数的数量非常庞大，通常达到数十亿甚至数千亿。
|
||||
3. **训练该模型的庞大数据集**：为了训练这些模型，需要大量的文本数据，这些数据构成了模型学习的基础。数据集的规模和多样性对模型的性能有重要影响，例如常用的维基百科和Common Crawl、C4、Github数据集，其训练语料大小达到了TB级别。
|
||||
4. **网络中可调整的权重**：权重是神经网络中用于处理输入数据并生成输出的数值。在训练过程中，通过优化算法（如梯度下降）调整这些权重，以减少预测误差。
|
||||
5. **训练过程中进行优化**：训练过程涉及使用特定的算法来调整模型的参数，目的是最小化预测误差，即模型输出和真实值之间的差异。
|
||||
6. **预测序列中的下一个单词**：这是LLM训练中常用的一种方法，即通过给定一系列单词来预测下一个最可能出现的单词。这种方法利用了语言的序列特性。
|
||||
7. **利用了语言固有的顺序性**：语言是一个序列化的实体，单词的排列顺序对句子的含义至关重要。LLM通过预测下一个单词来学习语言的这种顺序性。
|
||||
8. **训练理解文本中上下文、结构和关系的模型**：通过预测任务，LLM学习到的不仅仅是单个单词的预测，还包括单词在特定上下文中的含义，以及它们如何组合成有意义的句子和段落。
|
||||
9. **非常简单的任务**：指的是从技术上讲，预测下一个单词是一个相对简单的机器学习问题，因为它只涉及到根据给定的上下文信息来预测一个输出。
|
||||
10. **产生如此强大的模型令许多研究人员感到惊讶**：尽管预测下一个单词的任务本身简单，但通过这种方法训练出的LLM展现出了处理复杂语言任务的惊人能力，如文本生成、翻译、问答等。
|
||||
|
||||
*「本句说明了LLM之所以被称为“大型”的原因，强调了模型参数的数量和训练数据的规模，以及这些模型如何通过简单的预测任务学习到复杂的语言处理能力。同时，它也预告了后续我们的内容将深入探讨LLM的训练过程。」*
|
||||
|
||||
|
||||
LLMs utilize an architecture called the transformer (covered in more detail in section 1.4), which allows them to pay selective attention to different parts of the input when making predictions, making them especially adept at handling the nuances and complexities of human language.
|
||||
|
||||
LLM 利用一种称为transformer的结构（详见第 1.4 节），这种结构允许 LLM 在进行预测时选择性地关注输入的不同部分，从而使 LLM 特别擅长处理人类语言的细微差别和复杂性。
|
||||
|
||||
> 本句的注解和说明如下：
|
||||
1. **这种结构允许LLM在进行预测时选择性地关注输入的不同部分**：Transformer模型的一个关键特性是它的自注意力机制（self-attention mechanism），这使得模型能够评估输入序列中不同部分的相关性，并在生成输出时给予它们不同的权重。
|
||||
2. **从而使LLM特别擅长处理人类语言的细微差别和复杂性**：由于自注意力机制，LLM能够捕捉到语言中的长距离依赖关系和上下文线索，这对于理解语言的复杂性和生成自然、连贯的文本至关重要。
|
||||
3. **选择性地关注**：这意味着模型不是同等地处理输入序列中的每个元素，而是能够识别出对当前任务最重要的信息，并给予更多的关注，和人的接受信息的注意力机制很类似，这里的选择性注意力机制就是通过“自注意力机制（self-attention mechanism）”实现的。
|
||||
4. **预测**：在LLM的上下文中，预测通常指的是基于给定的输入序列（如一系列单词）生成下一个最可能的单词或序列。
|
||||
5. **处理人类语言的细微差别**：这涉及到对语言的深层理解，包括词义、语法、语用学以及语言在不同上下文中的变化。
|
||||
6. **复杂性**：人类语言的复杂性不仅体现在其结构上，还体现在其表达的多样性和模糊性上，LLM需要能够处理这些复杂性以生成和理解自然语言。
|
||||
|
||||
*「本句强调了Transformer架构在LLM中的重要性，以及它如何使模型能够灵活地处理语言的复杂性，这是LLM在NLP任务中取得成功的关键因素之一。」*
|
||||
|
||||
|
||||
Since LLMs are capable of generating text, LLMs are also often referred to as a form of generative artificial intelligence (AI), often abbreviated as generative AI or GenAI. As illustrated in Figure 1.1, AI encompasses the broader field of creating machines that can perform tasks requiring human like intelligence, including understanding language, recognizing patterns, and making decisions, and includes subfields like machine learning and deep learning.
|
||||
|
||||
由于 LLM 能够生成文本，因此 LLM 也常被称为生成式人工智能（AI）的一种形式，通常缩写为生成式 AI 或 GenAI。如图 1.1 所示，人工智能涵盖了更广泛的领域，即创造能够执行需要人类智能的任务（包括理解语言、识别模式和做出决策）的机器，并包括机器学习和深度学习等子领域。
|
||||
|
||||
> 本句的注解和说明如下：
|
||||
1. **生成文本**：LLM的这一能力意味着它们不仅可以识别和理解输入的文本，还可以创造出全新的文本内容，这些内容在结构和语义上与人类编写的文本相似。
|
||||
2. **生成式人工智能（AI）**：这是一种AI的类型，生成式它能够创建或生成以前不存在的新信息、图像、音乐或文本。在这里，特别指的是生成文本的AI模型。
|
||||
3. **创造能够执行需要人类智能的任务的机器**：这意味着AI系统被设计来模仿人类的认知能力，执行那些通常需要人类智能才能完成的任务。
|
||||
|
||||
*「本句说明了LLM作为生成式AI的一个实例，其能力不仅限于文本生成，还体现了AI在模拟人类智能行为方面的广泛潜力。同时，它也指出了AI领域包含了多个子领域，如机器学习和深度学习，这些子领域共同推动了AI技术的发展和应用。」*
|
||||
|
||||
|
||||
|
||||
|
||||
Figure 1.1 As this hierarchical depiction of the relationship between the different fields suggests, LLMs represent a specific application of deep learning techniques, leveraging their ability to process and generate human-like text. Deep learning is a specialized branch of machine learning that focuses on using multi-layer neural networks. And machine learning and deep learning are fields aimed at implementing algorithms that enable computers to learn from data and perform tasks that typically require human intelligence.
|
||||
|
||||
图 1.1 正如对不同领域之间关系的分层描述所示，LLM 代表了深度学习技术的一种特定应用，它利用了深度学习技术处理和生成类人文本的能力。深度学习是机器学习的一个专门分支，侧重于使用多层神经网络。机器学习和深度学习都是旨在实现算法的领域，这些算法使计算机能够从数据中学习，并执行通常需要人类智能的任务。
|
||||
|
||||
|
||||
The algorithms used to implement AI are the focus of the field of machine learning. Specifically, machine learning involves the development of algorithms that can learn from and make predictions or decisions based on data without being explicitly programmed. To illustrate this, imagine a spam filter as a practical application of machine learning. Instead of manually writing rules to identify spam emails, a machine learning algorithm is fed examples of emails labeled as spam and legitimate emails. By minimizing the error in its predictions on a training dataset, the model then learns to recognize patterns and characteristics indicative of spam, enabling it to classify new emails as either spam or legitimate.
|
||||
|
||||
用于实现人工智能的算法是机器学习领域的重点。具体来说，机器学习涉及算法的开发，这些算法可以在没有明确编程的情况下根据数据进行学习并做出预测或决策。为了说明这一点，可以把垃圾邮件过滤器想象成机器学习的实际应用。机器学习算法不需要手动编写规则来识别垃圾邮件，而是向其输入被标记为垃圾邮件和合法邮件的示例。通过最大限度地减少对训练数据集的预测误差，该模型就能学会识别垃圾邮件的模式和特征，从而将新邮件归类为垃圾邮件或合法邮件。
|
||||
|
||||
> 本句的注解和说明如下：
|
||||
1. **用于实现人工智能的算法**：这里指的是那些被设计来模拟人类智能行为的计算算法，它们是人工智能（AI）系统的基础，从上世纪开始，相关研究者就开始探索智能的实现，包括连接主义、行为主义 和 逻辑主义。
|
||||
2. **机器学习领域的重点**：机器学习是AI的一个核心子领域，专注于开发能够从数据中学习并做出智能决策的算法。
|
||||
3. **没有明确编程的情况下根据数据进行学习**：机器学习算法与传统的编程不同，它们不是按照一系列固定的指令来执行任务，而是通过分析数据来自动改进其性能。
|
||||
4. **做出预测或决策**：机器学习算法的常见应用包括预测未来事件（如预测）和做出选择（如决策）。
|
||||
5. **不需要手动编写规则**：与传统的编程方法相比，机器学习算法不需要人类专家手动编写详细的规则集。
|
||||
6. **最大限度地减少对训练数据集的预测误差**：机器学习算法的目标是提高其预测的准确性，这通常通过调整算法的参数来实现，以减少预测值和实际值之间的差异。
|
||||
7. **学会识别垃圾邮件的模式和特征**：通过训练，机器学习模型能够发现并理解垃圾邮件中常见的模式和特征。
|
||||
8. **将新邮件归类为垃圾邮件或合法邮件**：这是机器学习算法在垃圾邮件过滤任务中的最终目标，即能够准确地将新的电子邮件分类为垃圾邮件或非垃圾邮件。
|
||||
|
||||
*「本句解释了机器学习算法在AI中的应用，以及它们是如何通过从数据中学习来实现预测和决策的。垃圾邮件过滤器作为一个例子，说明了机器学习算法如何通过分析标记数据来学习识别特定类型的数据模式。」*
|
||||
|
||||
|
||||
As illustrated in Figure 1.1, deep learning is a subset of machine learning that focuses on utilizing neural networks with three or more layers (also called deep neural networks) to model complex patterns and abstractions in data. In contrast to deep learning, traditional machine learning requires manual feature extraction. This means that human experts need to identify and select the most relevant features for the model. While the field of AI is nowadays dominated by machine learning and deep learning, it also includes other approaches, for example, using rule-based systems, genetic algorithms, expert systems, fuzzy logic, or symbolic reasoning.
|
||||
|
||||
如图 1.1 所示，深度学习是机器学习的一个子集，主要利用具有三层或更多层的神经网络（也称为深度神经网络）对数据中的复杂模式和抽象概念进行建模。与深度学习相比，传统的机器学习需要人工提取特征。这意味着人类专家需要为模型识别和选择最相关的特征。虽然如今人工智能领域主要是机器学习和深度学习，但也包括其他方法，例如使用基于规则的系统、遗传算法、专家系统、模糊逻辑或符号推理。
|
||||
|
||||
> 本句的注解和说明如下：
|
||||
1. **深度学习是机器学习的一个子集**：本句说明了深度学习是机器学习领域内的一个特定分支，专注于使用深层神经网络来解决复杂问题。
|
||||
2. **对数据中的复杂模式和抽象概念进行建模**：深度神经网络能够识别和表示数据中的复杂关系和高级特征，这些可能是人类难以直接感知或描述的。
|
||||
3. **与深度学习相比，传统的机器学习需要人工提取特征**：本句对比了深度学习和传统机器学习在特征提取方面的不同。在传统机器学习中，需要人类专家介入来选择和提取对模型有用的特征。
|
||||
4. **人类专家需要为模型识别和选择最相关的特征**：在传统机器学习中，特征提取是一个需要专业知识的过程，专家必须确定哪些特征对于预测或分类任务最有用。
|
||||
5. **基于规则的系统**：使用一系列规则来处理信息和做出决策的系统。
|
||||
6. **遗传算法**：一种受自然选择过程启发的搜索算法，通过模拟遗传和进化机制来优化问题解。
|
||||
7. **专家系统**：一种模拟人类专家决策能力的计算机系统，通常用于特定领域的复杂问题。
|
||||
8. **模糊逻辑**：一种数学框架，用于处理不确定性和模糊性，通过使用模糊集合和模糊规则来模拟人类的模糊思维。
|
||||
9. **符号推理**：一种使用符号表示和操作知识的推理方法，常见于逻辑和计算领域。
|
||||
|
||||
*「本句强调了深度学习在机器学习中的位置，以及它如何通过使用深层神经网络来建模数据中的复杂模式。同时，它也指出了机器学习是一个多样化的领域，包含了多种技术和方法，不仅限于深度学习。」*
|
||||
|
||||
|
||||
Returning to the spam classification example, in traditional machine learning, human experts might manually extract features from email text such as the frequency of certain trigger words ("prize," "win," "free"), the number of exclamation marks, use of all uppercase words, or the presence of suspicious links. This dataset, created based on these expert-defined features, would then be used to train the model. In contrast to traditional machine learning, deep learning does not require manual feature extraction. This means that human experts do not need to identify and select the most relevant features for a deep learning model. (However, in both traditional machine learning and deep learning for spam classification, you still require the collection of labels, such as spam or non-spam, which need to be gathered either by an expert or users.) The upcoming sections will cover some of the problems LLMs can solve today, the challenges that LLMs address, and the general LLM architecture, which we will implement in this book.
|
||||
|
||||
回到垃圾邮件分类的例子，在传统的机器学习中，人类专家可能会手动从电子邮件文本中提取特征，如某些触发词（"奖品"、"中奖"、"免费"）的频率、感叹号的数量、所有大写单词的使用或可疑链接的存在。根据这些专家定义的特征创建的数据集将用于训练模型。与传统的机器学习相比，深度学习不需要人工特征提取。这意味着人类专家不需要为深度学习模型识别和选择最相关的特征。(不过，在传统机器学习和深度学习的垃圾邮件分类中，仍然需要收集标签，如垃圾邮件或非垃圾邮件，这些标签需要由专家或用户收集）。接下来的章节将介绍 LLM 目前可以解决的一些问题、LLM 所要应对的挑战，以及我们将在本书中实现的一般形式的 LLM 架构。
|
||||
|
||||
> 本句的注解和说明如下：
|
||||
1. **传统的机器学习**：指的是机器学习领域中那些不依赖于深度神经网络的早期技术和方法。
|
||||
2. **人类专家可能会手动从电子邮件文本中提取特征**：在传统机器学习中，通常需要领域专家手工选择和提取数据中的特征，这些特征是模型用来进行预测的输入。
|
||||
3. **触发词（"奖品"、"中奖"、"免费"）的频率**：这些是垃圾邮件中常见的关键词，它们的出现频率可以作为判断邮件是否为垃圾邮件的特征之一，是传统垃圾邮件筛选的标准词库，所以大家可以发现，在后续的一些垃圾邮件中，会用替代词等逃过机器的检测。
|
||||
4. **与传统的机器学习相比，深度学习不需要人工特征提取**：深度学习模型能够自动从原始数据中学习特征，这与传统机器学习形成对比，后者需要人类专家介入来提取特征。
|
||||
5. **仍然需要收集标签**：无论是传统机器学习还是深度学习，都需要对数据进行标注，即给定正确的输出标签（如垃圾邮件或非垃圾邮件），以便训练模型。
|
||||
|
||||
*「本句说明了在垃圾邮件分类任务中，传统机器学习与深度学习在特征提取方面的差异，以及深度学习在减少人工干预方面的潜力。同时，它也预告了本书将深入探讨LLM的功能、挑战和架构。」*
|
||||
@@ -0,0 +1,38 @@
|
||||
### 1.2 LLMs的应用（Applications of LLMs）
|
||||
|
||||
Owing to their advanced capabilities to parse and understand unstructured text data, LLMs have a broad range of applications across various domains. Today, LLMs are employed for machine translation, generation of novel texts (see Figure 1.2), sentiment analysis, text summarization, and many other tasks. LLMs have recently been used for content creation, such as writing fiction, articles, and even computer code.
|
||||
|
||||
由于 LLM 具备解析和理解非结构化文本数据的高级能力，因此在各个领域都有广泛的应用。如今，LLM 已被用于机器翻译、生成新文本（见图 1.2）、情感分析、文本摘要以及许多其他任务。最近，LLM 还被用于内容创作，如撰写小说、文章甚至计算机代码。
|
||||
|
||||
> 本句的注解和说明如下：
|
||||
1. **解析和理解非结构化文本数据的高级能力**：非结构化文本数据是指那些没有固定格式或结构的文本，如普通文本文件、电子邮件内容、网页文本等。LLM通过深度学习技术，能够识别和处理这类数据中的复杂语言结构和含义。
|
||||
2. **机器翻译**：指的是将一种语言的文本自动翻译成另一种语言的技术，LLM因其强大的语言理解能力而被用于提高机器翻译的质量和流畅性。
|
||||
3. **生成新文本**：LLM不仅能够理解现有文本，还能够创造全新的文本内容，这在自动文稿撰写、聊天机器人回复生成等方面有广泛应用。
|
||||
4. **情感分析**：这是一种分析文本以确定作者或说话者情感倾向的技术，LLM能够识别和解释文本中的情感色彩。
|
||||
5. **文本摘要**：指的是将长篇文章或文档压缩成短小精悍的摘要，LLM能够提取关键信息并生成摘要。
|
||||
|
||||
*「本句强调了LLM在自然语言处理领域的高级能力，以及它们在多个不同领域的广泛应用潜力，特别是在内容创作方面，LLM已经开始展现出能够生成各种类型文本的能力。」*
|
||||
|
||||
|
||||
|
||||
|
||||
Figure 1.2 LLM interfaces enable natural language communication between users and AI systems. This screenshot shows ChatGPT writing a poem according to a user's specifications. LLMs can also power sophisticated chatbots and virtual assistants, such as OpenAI's ChatGPT or Google's Gemini (formerly called Bard), which can answer user queries and augment traditional search engines such as Google Search or Microsoft Bing.
|
||||
|
||||
图 1.2 LLM 界面实现了用户与人工智能系统之间的自然语言交流。这张截图显示的是 ChatGPT 根据用户的要求写了一首诗。LLM 还能为复杂的聊天机器人和虚拟助手提供动力，例如 OpenAI 的 ChatGPT 或谷歌的 Gemini（原名 Bard），它们可以回答用户的询问，并增强传统搜索引擎的功能，如谷歌搜索或微软必应。
|
||||
|
||||
|
||||
Moreover, LLMs may be used for effective knowledge retrieval from vast volumes of text in specialized areas such as medicine or law. This includes sifting through documents, summarizing lengthy passages, and answering technical questions.
|
||||
|
||||
此外，LLM 还可用于从医学或法律等专业领域的大量文本中进行有效的知识检索。这包括筛选文档、总结冗长段落和回答技术问题。
|
||||
|
||||
> 本句的注解和说明如下：
|
||||
1. **可用于从医学或法律等专业领域的大量文本中进行有效的知识检索**：本句说明LLM不仅适用于通用语言处理，还能够处理专业领域的文本数据。知识检索是指在大量文本中查找和提取所需信息的过程，而这种其实为了更专业回答相关问题，会涉及*RAG*相关技术的使用。而这正是大模型的两个比较火热的应用研究方向之一，另外一个是*Agent*相关技术。
|
||||
|
||||
In short, LLMs are invaluable for automating almost any task that involves parsing and generating text. Their applications are virtually endless, and as we continue to innovate and explore new ways to use these models, it's clear that LLMs have the potential to redefine our relationship with technology, making it more conversational, intuitive, and accessible.
|
||||
|
||||
简而言之，LLM 对于自动化几乎所有涉及解析和生成文本的任务来说都是无价之宝。它们的应用几乎是无穷无尽的，随着我们不断创新和探索使用这些模型的新方法，很明显，LLM 有可能重新定义我们与技术的关系，使其更加会话、直观和易用。
|
||||
|
||||
|
||||
In this book, we will focus on understanding how LLMs work from the ground up, coding an LLM that can generate texts. We will also learn about techniques that allow LLMs to carry out queries, ranging from answering questions to summarizing text, translating text into different languages, and more. In other words, in this book, we will learn how complex LLM assistants such as ChatGPT work by building one step by step.
|
||||
|
||||
在本书中，我们将重点了解 LLM 如何从头开始工作，编码一个可以生成文本的 LLM。我们还将学习让 LLM 执行查询的技术，包括回答问题、总结文本、将文本翻译成不同语言等。换句话说，在本书中，我们将通过一步步构建 ChatGPT 等复杂的 LLM 助手，了解其工作原理。
|
||||
Reference in New Issue
Block a user