From c9545c502f4e5ca1cbfa5f060efb3b1759802619 Mon Sep 17 00:00:00 2001
From: vanking <128895735+vanking20000918@users.noreply.github.com>
Date: Tue, 27 Jan 2026 20:21:58 +0800
Subject: [PATCH] Fix wording in RLHF section of README

---
 README.md | 2 +-
 1 file changed, 1 insertion(+), 1 deletion(-)

diff --git a/README.md b/README.md
index 8ecc4c5..d132c5b 100644
--- a/README.md
+++ b/README.md
@@ -1042,7 +1042,7 @@ $$\mathcal{J}_{PO} = \mathbb{E}_{q \sim P(Q), o \sim \pi(O|q)} \left[ \underbrac
 
 在前面的训练步骤中，模型已经具备了基本的对话能力，但是这样的能力完全基于单词接龙，缺少正反样例的激励。
 模型此时尚未知什么回答是好的，什么是差的。希望它能够更符合人的偏好，降低让人类不满意答案的产生概率。
-这个过程就像是让模型参加新的培训，从优秀员工的作为例子，消极员工作为反例，学习如何更好地回复。
+这个过程就像是让模型参加新的培训，以优秀员工作为正例，消极员工作为反例，学习如何更好地回复。
 
 #### 6.1 Direct Preference Optimization
 直接偏好优化（DPO）算法，损失为：