第一天

實(shí)戰(zhàn) Transformers 模型訓(xùn)練

1. 數(shù)據(jù)集處理庫 Hugging Face Datasets

2. Hugging Face Datasets 庫簡(jiǎn)介

3. 數(shù)據(jù)預(yù)處理策略：填充與截?cái)?/p>

4. 使用 Datasets.map 方法處理數(shù)據(jù)集

5. Transformers 模型訓(xùn)練入門

6. 模型訓(xùn)練基類 Trainer

7. 訓(xùn)練參數(shù)與超參數(shù)配置 TrainingArguments

8. 模型訓(xùn)練評(píng)估庫 Hugging Face Evaluate

大模型高效微調(diào)技術(shù)揭秘

1. PEFT 基于重參數(shù)化（Reparametrization-based）訓(xùn)練方法

2. LoRA 低秩適配微調(diào) （2021 Microsoft）

3. AdaLoRA 自適應(yīng)權(quán)重矩陣微調(diào) （2023 Microsoft, Princeton, Georgia Tech）

4. QLoRA 量化低秩適配微調(diào) （2023 University of Washington）

5. UniPELT：大模型 PEFT 統(tǒng)一框架（2022）

6. （IA）3：極簡(jiǎn)主義增量訓(xùn)練方法 （2022）

第二天

7. Before PEFT：Hard Prompt / Full Fine-tune

8. PEFT 主流技術(shù)分類介紹

9. PEFT Adapter 技術(shù)

10. Adapter Tuning （2019 Google）

11. PEFT – Soft Prompt 技術(shù)（Task-specific Tuning）

12. Prefix Tuning （2021 Stanford）

13. Prompt Tuning （2021 Google）

14. PEFT – Soft Prompt 技術(shù)（Prompt Encoder）

15. P-Tuning v1 （2021 Tsinghua, MIT）

16. P-Tuning v2 （2022 Tsinghua, BAAI, Shanghai Qi Zhi Institute）

大模型高效微調(diào)工具 Hugging Face PEFT 入門與實(shí)戰(zhàn)

1. Hugging Face PEFT 快速入門

2. PEFT 庫是什么？

3. PEFT 與 Transformers 庫集成

4. PEFT 核心類定義與功能說明

5. AutoPeftModels、PeftModel

第三天

6. PeftConfig

7. PeftType | TaskType

8. 實(shí)戰(zhàn) PEFT 庫 LoRA 模型微調(diào)

9. OpenAI Whisper 模型介紹

10. 實(shí)戰(zhàn) LoRA 微調(diào) Whisper-Large-v2 中文語音識(shí)別 3.9.限制控制智能體執(zhí)行

11. AI調(diào)用shell接管控制電腦

實(shí)戰(zhàn)私有數(shù)據(jù)微調(diào) ChatGLM3

1. 實(shí)戰(zhàn)構(gòu)造私有的微調(diào)數(shù)據(jù)集

2. 使用 ChatGPT 自動(dòng)設(shè)計(jì)生成訓(xùn)練數(shù)據(jù)的 Prompt

3. 合成數(shù)據(jù)： LangChain + GPT-3.5 Turbo

4. 數(shù)據(jù)增強(qiáng)：提升訓(xùn)練數(shù)據(jù)多樣性

5. 提示工程：保持批量生成數(shù)據(jù)穩(wěn)定性

6. 實(shí)戰(zhàn)私有數(shù)據(jù)微調(diào) ChatGLM3

7. 使用 QLoRA 小樣本微調(diào) ChatGLM3

8. ChatGLM3 微調(diào)前后效果對(duì)比

9. 大模型訓(xùn)練過程分析與數(shù)據(jù)優(yōu)化