| 
|
### **2. 有监督微调 (Supervised Fine-Tuning)**:
@@ -786,6 +786,7 @@ SFT阶段就需要把半成品LLM施加一个自定义的聊天模板进行微
称这个过程为指令微调，就如同让已经学富五车的「牛顿」先生适应21世纪智能手机的聊天习惯，学习屏幕左侧是对方消息，右侧是本人消息这个规律。
在训练时，MiniMind的指令和回答长度被截断在512，是为了节省显存空间。就像学习写作时，会先从短的文章开始，当学会写作200字作文后，800字文章也可以手到擒来。
在需要长度拓展时，只需要准备少量的2k/4k/8k长度对话数据进行进一步微调即可（此时最好配合RoPE-NTK的基准差值）。
+
> 在推理时通过调整RoPE线性差值，实现免训练长度外推到2048及以上将会很方便。
```bash
@@ -798,8 +799,8 @@ python train_full_sft.py
> 为模型具体dimension，每次保存时新文件会覆盖旧文件）
-| MiniMind2-Small (512dim) | MiniMind2 (768dim) |
-|---|---|
+| MiniMind2-Small (512dim) | MiniMind2 (768dim) |
+| ------------------------------------- | ------------------------------------- |
| 
| 
|
## Ⅲ 其它训练阶段（可选）
@@ -857,7 +858,6 @@ python train_lora.py
> 训练后的模型权重文件默认每隔`100步`保存为: `lora_xxx_*.pth`（*
> 为模型具体dimension，每次保存时新文件会覆盖旧文件）
-
非常多的人困惑，如何使模型学会自己私有领域的知识？如何准备数据集？如何迁移通用领域模型打造垂域模型？
这里举几个例子，对于通用模型，医学领域知识欠缺，可以尝试在原有模型基础上加入领域知识，以获得更好的性能。
同时，通常不希望学会领域知识的同时损失原有基础模型的其它能力，此时LoRA可以很好的改善这个问题。
@@ -914,7 +914,7 @@ MiniMind2第一时间只能坚定不移的选择做蒸馏派，日后基于0.1B
做蒸馏需要准备的依然是和SFT阶段同样格式的数据即可，数据集来源已如上文介绍。数据格式例如：
-```json lines
+```json
{
"conversations": [
{
@@ -996,27 +996,30 @@ LLM里的强化学习方法可分两类：
- 使用**AI模型**（通常是预训练的语言奖励模型）来提供反馈，而不直接依赖人类的人工标注。
- 这里的“AI”也可以是某些规则奖励，例如数学答案/代码解释器...
-| 类型 | 裁判 | 优点 | 缺点 |
-|-------|----|-----------|------------|
-| RLHF | 人类 | 更贴近真实人类偏好 | 成本高、效率低 |
+
+| 类型 | 裁判 | 优点 | 缺点 |
+| ----- | ---- | ------------------ | -------------------- |
+| RLHF | 人类 | 更贴近真实人类偏好 | 成本高、效率低 |
| RLAIF | 模型 | 自动化、可扩展性强 | 可能偏离人类真实偏好 |
二者本质上是一样的，都是通过**强化学习的方式**，利用某种形式的"**反馈**"来优化模型的行为。
除了**反馈**的来源不同，其他并无任何区别。
-
### 👀 PO算法的统一视角
在介绍实现具体算法之前，我先以个人理解的极简视角，阐述所有Policy Optimization (PO)算法的统一共性。
所有RL算法的本质都只是在优化一个期望：
-$$\mathcal{J}_{PO} = \mathbb{E}_{q \sim P(Q), o \sim \pi(O|q)} \left[ \underbrace{f(r_t)}_{\text{策略项}} \cdot \underbrace{g(A_t)}_{\text{优势项}} - \underbrace{h(\text{KL}_t)}_{\text{正则项}} \right]$$
+$$
+\mathcal{J}_{PO} = \mathbb{E}_{q \sim P(Q), o \sim \pi(O|q)} \left[ \underbrace{f(r_t)}_{\text{策略项}} \cdot \underbrace{g(A_t)}_{\text{优势项}} - \underbrace{h(\text{KL}_t)}_{\text{正则项}} \right]
+$$
训练时，只需**最小化负目标函数**，即: $\mathcal{L_{PO}}=-\mathcal{J_{PO}}$
这个框架只包含三个核心组件：
+
* **策略项** $f(r_t)$: 如何使用概率比 $r_t$? 即告诉模型新旧策略偏差有多大，是否探索到了更好的token
* **优势项** $g(A_t)$: 如何计算优势 $A_t$, 这很重要！大模型算对定积分也不足为奇，小模型回答对加减法优势通常都是正的
* **正则项** $h(\text{KL}_t)$: 如何约束变化幅度 $\text{KL}_t$, 既防止跑偏又防止管的太死
@@ -1024,13 +1027,14 @@ $$\mathcal{J}_{PO} = \mathbb{E}_{q \sim P(Q), o \sim \pi(O|q)} \left[ \underbrac
| 
|
从训练曲线可以看出，PPO存在**reward提升缓慢**的问题。私以为这主要源于**PPO双网络联合优化**方法：Critic需要逐步收敛以准确估计价值函数，而Actor的策略更新依赖Critic提供的优势估计，两者相互依赖形成复杂的优化过程。训练初期Critic估计不准会影响Actor梯度方向，导致整体收敛缓慢。此外，PPO需要同时维护两个网络，显存占用约为单网络方法的1.5-2倍。
@@ -1223,9 +1236,12 @@ python train_ppo.py
**GRPO损失**：
-$$\mathcal{L}_{GRPO} = -\mathbb{E}\left[r_t \cdot A_t - \beta \cdot \text{KL}_t\right]$$
+$$
+\mathcal{L}_{GRPO} = -\mathbb{E}\left[r_t \cdot A_t - \beta \cdot \text{KL}_t\right]
+$$
其中：
+
- **策略项**: $f(r_t) = \min(r_t, \text{clip}(r_t))$ (使用概率比的clip裁剪)
- **优势项**: $g(A_t) = \frac{R - \mu_{group}}{\sigma_{group}}$ (组内归一化，消除Critic网络)
- **正则项**: $h(\text{KL}_t) = \beta \cdot \text{KL}_t$ (token级KL散度约束)
@@ -1239,7 +1255,6 @@ $$\mathcal{L}_{GRPO} = -\mathbb{E}\left[r_t \cdot A_t - \beta \cdot \text{KL}_t\
在MiniMind这种超小模型上，这个问题尤为明显，求解数学问题99.99%的情况下整组回答质量都很差，那么将无法学习。
因此必须为模型指定合理的domain，即必须限制在能力边界内。
-
**训练方式**：
```bash
@@ -1251,8 +1266,8 @@ python train_grpo.py
> 训练后的模型权重文件默认每隔`100步`保存为: `grpo_*.pth`
-| MiniMind2-Small (512dim) | MiniMind2 (768dim) |
-|---|---|
+| MiniMind2-Small (512dim) | MiniMind2 (768dim) |
+| --------------------------------------- | --------------------------------------- |
| 
| 
|
从训练曲线可以看出，GRPO的**reward呈现更加稳定的上升趋势**，达到4左右，说明GRPO本身能更好地利用RLAIF信号。Policy Loss整体下降平稳，相比PPO的双网络优化，GRPO单网络架构训练更稳定且收敛上限更高。
@@ -1267,9 +1282,12 @@ SPO的动机就是回到RL的本质—**1个输入，1个输出，就是1个训
**SPO损失**:
-$$\mathcal{L}_{SPO} = -\mathbb{E}\left[\log \pi_\theta(a_t|s) \cdot A_t - \beta \cdot \text{KL}_t\right]$$
+$$
+\mathcal{L}_{SPO} = -\mathbb{E}\left[\log \pi_\theta(a_t|s) \cdot A_t - \beta \cdot \text{KL}_t\right]
+$$
其中：
+
- **策略项**: $f(r_t) = \log \pi_\theta(a_t|s)$ (直接使用log概率，不计算ratio)
- **优势项**: $g(A_t) = R - B_t^{adaptive}$ (自适应baseline，Beta分布动态跟踪)
- **正则项**: $h(\text{KL}_t) = \beta \cdot \text{KL}_t$ (token级KL + 动态 $\rho$ 调整)
@@ -1277,7 +1295,6 @@ $$\mathcal{L}_{SPO} = -\mathbb{E}\left[\log \pi_\theta(a_t|s) \cdot A_t - \beta
落到实现层面：SPO采用无分组设计，用持久化的KL自适应value tracker替代组内baseline，优势函数在整个batch上全局归一化。这样每个样本独立处理，无需等待同组其他样本，且能为每个样本提供稳定的学习信号。
论文在Qwen3-8B的5个困难数学数据集上，SPO平均比GRPO高出3.4个百分点，其中BRUMO 25数据集+7.3pp、AIME 25数据集+4.4pp。
-
> 注：SPO是实验性前沿算法，MiniMind的实现用于探索学习。由于模型参数量极小，无法完全复现论文的8B模型效果。
**训练方式**：
@@ -1290,7 +1307,6 @@ python train_spo.py
> 训练后的模型权重文件默认每隔`100步`保存为: `spo_*.pth`
-
MiniMind2 (768dim) 训练曲线
@@ -1300,17 +1316,17 @@ python train_spo.py **实验性说明**：当前SPO手搓实现可能在value_tracker配置、reward归一化策略上还存在问题。尚需排查算法本身在小模型上的适应性/或是实现上存在差异。 - ### RL算法小结 我们收束回“**统一框架**”, 重新整理所有不同PO算法只是对三个核心组件的不同实例化的表格： -| 算法 | 策略项 $f(r_t)$ | 优势项 $g(A_t)$ | 正则项 $h(\text{KL}_t)$ | 优化模型 | -|------|----------------|----------------|----------------------|----------| -| **DPO** | $\log r_w - \log r_l$ | 隐式（偏好对比） | 隐含在 $\beta$ 中 | 2 | -| **PPO** | $\min(r, \text{clip}(r))$ | $R - V(s)$ | $\beta \cdot \mathbb{E}[\text{KL}]$ | 4 | -| **GRPO** | $\min(r, \text{clip}(r))$ | $\frac{R - \mu}{\sigma}$ | $\beta \cdot \text{KL}_t$ | 2 | -| **SPO** | $\log \pi_\theta$ | $R - B_t^{adaptive}$ | $\beta \cdot \text{KL}_t$ | 2 | + +| 算法 | 策略项$f(r_t)$ | 优势项$g(A_t)$ | 正则项$h(\text{KL}_t)$ | 优化模型 | +| -------- | ------------------------- | ------------------------ | ----------------------------------- | -------- | +| **DPO** | $\log r_w - \log r_l$ | 隐式（偏好对比） | 隐含在$\beta$ 中 | 2 | +| **PPO** | $\min(r, \text{clip}(r))$ | $R - V(s)$ | $\beta \cdot \mathbb{E}[\text{KL}]$ | 4 | +| **GRPO** | $\min(r, \text{clip}(r))$ | $\frac{R - \mu}{\sigma}$ | $\beta \cdot \text{KL}_t$ | 2 | +| **SPO** | $\log \pi_\theta$ | $R - B_t^{adaptive}$ | $\beta \cdot \text{KL}_t$ | 2 | **RL是优美且自洽的** @@ -1328,15 +1344,15 @@ python train_spo.py MiniMind2模型权重 ([ModelScope](https://www.modelscope.cn/models/gongjy/MiniMind2-PyTorch) | [HuggingFace](https://huggingface.co/jingyaogong/MiniMind2-Pytorch)) -Torch文件命名对照
-| Model Name | params | pretrain_model | sft_model | rlhf_model (DPO) | reason_model | rlaif_model (PPO/GRPO/SPO) | lora_model | -|-----------------|--------|------------------------|------------------------|--------------------|------------------|----------------------------------------------|--------------------| -| MiniMind2-small | 26M | `pretrain_512.pth` | `full_sft_512.pth` | `dpo_512.pth` | `reason_512.pth` | `xxpo_512.pth` | `lora_xxx_512.pth` | -| MiniMind2-MoE | 145M | `pretrain_640_moe.pth` | `full_sft_640_moe.pth` | `dpo_640_moe.pth` | - | - | - | -| MiniMind2 | 104M | `pretrain_768.pth` | `full_sft_768.pth` | `dpo_768.pth` | `reason_768.pth` | `xxpo_768.pth` | `lora_xxx_768.pth` | + +| Model Name | params | pretrain_model | sft_model | rlhf_model (DPO) | reason_model | rlaif_model (PPO/GRPO/SPO) | lora_model | +| --------------- | ------ | ---------------------- | ---------------------- | ----------------- | ---------------- | -------------------------- | ------------------ | +| MiniMind2-small | 26M | `pretrain_512.pth` | `full_sft_512.pth` | `dpo_512.pth` | `reason_512.pth` | `xxpo_512.pth` | `lora_xxx_512.pth` | +| MiniMind2-MoE | 145M | `pretrain_640_moe.pth` | `full_sft_640_moe.pth` | `dpo_640_moe.pth` | - | - | - | +| MiniMind2 | 104M | `pretrain_768.pth` | `full_sft_768.pth` | `dpo_768.pth` | `reason_768.pth` | `xxpo_768.pth` | `lora_xxx_768.pth` |[B] MiniMind2：dpo_640 - ```text - [Q]: 你叫什么名字？ +```text +[Q]: 你叫什么名字？ [A]: 我是一个大型语言模型，可以回答各种问题，提供信息和帮助。我可以回答各种问题，提供信息和帮助，帮助你解决各种问题。 [B]: 我是一种基于文本的AI模型，我并没有个人经历或情感，所以无法感受和体验情感。我的设计目的是为了帮助用户解决问题、提供信息和进行对话。如果您有任何问题或需要帮助，请随时告诉我！ - [Q]: 你更擅长哪一个学科？ +[Q]: 你更擅长哪一个学科？ [A]: 作为一个AI模型，我并没有真正的“擅长”这个学科。我被设计成能够提供信息、解答问题、进行对话、执行任务和与用户进行对话。不过，我可以提供信息、解答问题、进行对话、提供建议、处理问题、进行对话、提供建议、学习新知识、编写代码、回答问题、提供建议等多种学科的功能。如果你有具体的学科需求或主题，欢迎提供详细信息。 [B]: 作为AI，我并没有个人能力或兴趣，但我可以提供一些关于数学、科学、计算机科学、语言学、心理学等学科的知识。如果你对数学感兴趣，我可以提供一些基础知识，例如代数、几何、概率、统计学等。如果你需要更深入的学习，我也可以提供相关的在线课程、书籍、论文等资源。请告诉我你具体需要什么帮助，我会尽力提供帮助。 - [Q]: 鲁迅的《狂人日记》是如何批判封建礼教的？ +[Q]: 鲁迅的《狂人日记》是如何批判封建礼教的？ [A]: 鲁迅的《狂人日记》是一部讲述了鲁迅对人类价值和道德责任的倡导。在这部作品中，鲁迅通过细腻的笔触，探讨了人性、道德、正义、牺牲与责任等深刻的主题。以下是鲁迅在《狂人日记》中如何批判封建礼教的几个方面：1. **社会现实与道德观念**：鲁迅通过讲述鲁迅的故事，探讨了社会的不平等、权力的流动、人性的演变等社会问题。他认为，社会不平等不仅仅是不公正的，更是每个人在社会中的不公正。他呼吁社会各界共同努力，通过教育、宣传、法律等手段，为构建和谐社会做出贡献。2. **道德与责任**：鲁迅通过讲述鲁迅的故事，展现了道德和责任的重要性。他提倡通过道德教育来培养人们的道德品质，同时也强调了道德和责任的重要性。鲁迅通过讲述鲁迅的故事，揭示了社会的不平等和人性的复杂性，体现了对人性的深刻理解。3. **道德与责任**：鲁迅通过讲述鲁迅的故事，强调了道德责任的重要性。他提倡通过自己的行为来体现对社会的尊重和对人性的深刻理解。鲁迅通过讲述鲁迅的故事，强调了道德和责任的重要性。4. **道德与道德**：鲁迅通过讲述鲁迅的故事，揭示了道德和责任的真正意义。鲁迅通过讲述鲁迅的故事，揭示了道德和责任的本质，强调了道德和责任的重要性。5. **个人与社会**：鲁迅通过讲述鲁迅的故事，揭示了个人与社会之间的复杂关系。他呼吁社会各界共同努力，通过教育和宣传，为构建和谐社会做出贡献。鲁迅的《狂人日记》通过其丰富的故事和深刻的道德寓言，传达了关于人性、道德、正义、道德以及个人与社会的复杂关系。这部作品不仅在文学价值上取得了巨大成就，更在思想层面上启发了后来的文学创作，对后世产生了深远的影响。 [B]: 鲁迅的《狂人日记》是一部描绘战争和自由精神的作品，它批判了封建社会的种种问题和冲突，反映了社会的不平等和人性本质。在这部作品中，鲁迅通过对封建社会的诸多现象进行批判，如“弗雷德里克·约翰逊的“鹰迪伦”、“纳扎特的”、“贝克汉姆”、“乔治·威尔逊”等，对封建社会的种种问题进行了批判，强调了封建社会的不平等、人性本质以及人性本质。鲁迅通过他的“鹰迪伦”、“纳扎特的”、“贝克汉姆”、“乔治·威尔逊”等，对封建社会的种种问题进行了批判。在小说中，鲁迅通过对封建社会的诸多现象进行批判，揭示了封建社会的腐败、人性本质以及人性本质的复杂性。这种批判体现了对封建社会的尊重和对人性的复杂性，同时也反映了现代社会中普遍存在的不平等和人性本质。鲁迅的《狂人日记》不仅是一部关于封建社会的小说，也是一部具有深刻社会意义的作品，对后世的审判和批判起到了关键作用。 - [Q]: 我咳嗽已经持续了两周，需要去医院检查吗？ +[Q]: 我咳嗽已经持续了两周，需要去医院检查吗？ [A]: 咳嗽确实需要一定的检查，但如果您的咳嗽持续时间过长，或者有其他不适症状（如持续咳嗽、呼吸困难等），建议尽快就医。医生会根据您的症状、体检结果和可能的影像学检查（如X光、MRI或CT扫描）来诊断您的症状。在等待就医期间，您可以尝试以下方法来帮助缓解症状：1. **休息**：确保您有足够的睡眠。2. **保持水分**：脱水可能会加重咳嗽。3. **热敷**：使用热敷袋或热毛巾敷在疼痛的部位，有助于缓解喉咙痛。4. **避免刺激**：避免使用可能刺激喉咙的化学物质，如某些化学物质。5. **保持室内湿润**：确保您的卧室有良好的通风，可以使用加湿器帮助保持空气湿度。6. **保持室内湿度**：使用加湿器可以帮助缓解喉咙干燥和咳嗽。如果症状持续不缓解或有其他不适症状，请立即就医。希望您早日康复！ [B]: 如果您的咳嗽持续了两周，通常建议您尽快就医，因为这可能会影响您的呼吸和心跳。您可以通过以下步骤来检查咳嗽：1. **休息**：用纸巾或肘部轻轻按压咳嗽的位置。2. **使用药物**：在可能的情况下，使用药物（如抗过敏药、抗过敏药等）来缓解咳嗽。请在医生的指导下使用药物。3. **热敷**：在咳嗽期间，可以使用热敷来缓解疼痛和肿胀。4. **药物治疗**：如果咳嗽持续了两周，可以使用一些消炎药或抗过敏药来缓解症状。请务必在医生的指导下使用。5. **保持健康的生活方式**：保持充足的睡眠、均衡的饮食、适量的运动和避免吸烟和限酒，这些都有助于提高咳嗽的几率。请记住，这些建议不能替代专业医疗意见。如果您的症状持续或加重，强烈建议您尽快就医。 - ``` +``` 👉效果总结 @@ -1502,7 +1518,6 @@ DPO和在线PPO的区别在于reject和chosen都是离线准备的，和minimind 🙋直接把以上所有问题和模型的回答丢给DeepSeek-R1，让它帮忙点评和排名打分： -
具体点评
@@ -1516,44 +1531,45 @@ DPO和在线PPO的区别在于reject和chosen都是离线准备的，和minimind ### 点评： 1. **A模型**： - - **优点**：回答非常全面，信息量大，逻辑清晰，尤其在长江、大熊猫、海水咸味等问题上表现优异。代码虽然有小瑕疵，但整体思路正确。 - - **缺点**：部分回答稍显冗长，但不影响整体质量。 - - **总评**：综合表现最佳，得分最高。 + - **优点**：回答非常全面，信息量大，逻辑清晰，尤其在长江、大熊猫、海水咸味等问题上表现优异。代码虽然有小瑕疵，但整体思路正确。 + - **缺点**：部分回答稍显冗长，但不影响整体质量。 + - **总评**：综合表现最佳，得分最高。 2. **H模型**： - - **优点**：回答较为准确，尤其在珠穆朗玛峰、万有引力等问题上表现出色。代码虽未完全展示，但解释较为详细。 - - **缺点**：部分回答略显啰嗦，但逻辑性较强。 - - **总评**：仅次于A模型，表现稳定。 + - **优点**：回答较为准确，尤其在珠穆朗玛峰、万有引力等问题上表现出色。代码虽未完全展示，但解释较为详细。 + - **缺点**：部分回答略显啰嗦，但逻辑性较强。 + - **总评**：仅次于A模型，表现稳定。 3. **C模型**： - - **优点**：回答简洁明了，尤其在大熊猫、快速排序代码等问题上表现较好。 - - **缺点**：部分回答略显简短，缺乏深入解释。 - - **总评**：整体表现不错，但细节上略逊于A和H。 + - **优点**：回答简洁明了，尤其在大熊猫、快速排序代码等问题上表现较好。 + - **缺点**：部分回答略显简短，缺乏深入解释。 + - **总评**：整体表现不错，但细节上略逊于A和H。 4. **F模型**： - - **优点**：回答较为准确，尤其在长江、万有引力等问题上表现尚可。代码部分有一定逻辑性。 - - **缺点**：部分回答不够深入，代码存在一些小问题。 - - **总评**：表现中规中矩，仍有提升空间。 + - **优点**：回答较为准确，尤其在长江、万有引力等问题上表现尚可。代码部分有一定逻辑性。 + - **缺点**：部分回答不够深入，代码存在一些小问题。 + - **总评**：表现中规中矩，仍有提升空间。 5. **D模型**： - - **优点**：回答基本准确，尤其在万有引力、长江等问题上表现尚可。 - - **缺点**：部分回答过于简略，代码存在明显错误。 - - **总评**：表现一般，需改进代码部分。 + - **优点**：回答基本准确，尤其在万有引力、长江等问题上表现尚可。 + - **缺点**：部分回答过于简略，代码存在明显错误。 + - **总评**：表现一般，需改进代码部分。 6. **B模型**： - - **优点**：回答较为准确，尤其在长江、海水咸味等问题上表现尚可。 - - **缺点**：部分回答逻辑性较差，代码存在较大问题。 - - **总评**：表现平平，需进一步优化。 + - **优点**：回答较为准确，尤其在长江、海水咸味等问题上表现尚可。 + - **缺点**：部分回答逻辑性较差，代码存在较大问题。 + - **总评**：表现平平，需进一步优化。 7. **E模型**： - - **优点**：部分回答较为准确，尤其在海水咸味、大熊猫等问题上表现尚可。 - - **缺点**：回答过于简略，代码部分几乎无法运行。 - - **总评**：表现不佳，需大幅提升。 + - **优点**：部分回答较为准确，尤其在海水咸味、大熊猫等问题上表现尚可。 + - **缺点**：回答过于简略，代码部分几乎无法运行。 + - **总评**：表现不佳，需大幅提升。 8. **G模型**： - - **优点**：几乎没有明显的优点。 - - **缺点**：回答严重偏离主题，代码部分完全无法运行。 - - **总评**：表现最差，需大幅改进。 + + - **优点**：几乎没有明显的优点。 + - **缺点**：回答严重偏离主题，代码部分完全无法运行。 + - **总评**：表现最差，需大幅改进。 --- @@ -1567,27 +1583,25 @@ DPO和在线PPO的区别在于reject和chosen都是离线准备的，和minimind ### 打分排序 + | 排名 | 模型 | 准确性 (30分) | 完整性 (30分) | 逻辑性 (20分) | 代码质量 (20分) | 总分 (100分) | -|----|----|-----------|-----------|-----------|------------|-----------| -| 1 | A | 28 | 29 | 19 | 20 | 96 | -| 2 | H | 27 | 28 | 18 | 20 | 93 | -| 3 | C | 26 | 27 | 18 | 18 | 89 | -| 4 | F | 25 | 26 | 17 | 18 | 86 | -| 5 | D | 24 | 25 | 17 | 16 | 82 | -| 6 | B | 23 | 24 | 16 | 15 | 78 | -| 7 | E | 22 | 23 | 15 | 14 | 74 | -| 8 | G | 10 | 12 | 10 | 10 | 42 | +| ---- | ---- | ------------- | ------------- | ------------- | --------------- | ------------ | +| 1 | A | 28 | 29 | 19 | 20 | 96 | +| 2 | H | 27 | 28 | 18 | 20 | 93 | +| 3 | C | 26 | 27 | 18 | 18 | 89 | +| 4 | F | 25 | 26 | 17 | 18 | 86 | +| 5 | D | 24 | 25 | 17 | 16 | 82 | +| 6 | B | 23 | 24 | 16 | 15 | 78 | +| 7 | E | 22 | 23 | 15 | 14 | 74 | +| 8 | G | 10 | 12 | 10 | 10 | 42 | ### 👉主观效果总结 个人主观评价与DeepSeek-R1基本相符，其中： * MiniMind系列的排序非常符合直觉，参数越大+训练数据越充分评分越高，幻觉和错误都会比小模型肉眼可见的好。 - * H模型的回答肉眼看起来是不错的，尽管存在些许幻觉瞎编的情况。 - * G模型可能训练数据不够完备，给出的权重经过测试效果不佳。 - * 再复诵一遍经久不衰的Scaling Law: 参数越大，训练数据越多模型的性能越强。 --- @@ -1630,7 +1644,6 @@ python eval_llm.py --weight full_sft --inference_rope_scaling 这里选取了一些微型模型进行横评比较， 测试集选择C-Eval、CMMLU、A-CLUE、TMMLU+这几个纯中文语言榜单。 -测评框架
@@ -1643,23 +1656,22 @@ lm_eval --model hf --model_args pretrained=<填写模型路径>,device=cuda,dtyp
[vllm](https://github.com/vllm-project/vllm)
@@ -1818,6 +1831,7 @@ ollama cp minimind-local:latest your_username/minimind:latest
# 2. 推送模型
ollama push your_username/minimind:latest
```
+
@@ -1834,6 +1848,7 @@ ollama run jingyaogong/minimind2 # 其他可选 minimind2-r1 / minimind2-small / MNN是面向端侧的AI推理引擎，支持多种开源LLM模型推理，轻量化、高性能。 1. 模型转换 + ``` cd MNN/transformers/llm/export # 导出4bit HQQ量化的MNN模型 @@ -1841,9 +1856,11 @@ python llmexport.py --path /path/to/MiniMind2/ --export mnn --hqq --dst_path Mi ``` 2. 在Mac或手机上测试 + ``` ./llm_demo /path/to/MiniMind2-MNN/config.json prompt.txt ``` + 或者下载APP测试 > 以上三方框架的更多用法请参考对应官方文档😊 @@ -1878,7 +1895,6 @@ python llmexport.py --path /path/to/MiniMind2/ --export mnn --hqq --dst_path Mi @Nijikadesu: 🔗以交互笔记本方式分解项目代码 -