第一部分 DeepSeek-V3的架構(gòu)創(chuàng)新：訓練GPU和成本均低，但效果卓越

1、V3風靡海內(nèi)外的關(guān)鍵因素：訓練成本極低、引領(lǐng)前沿創(chuàng)新

1) V3訓練成本：所用的GPU訓練資源僅為Llama 3.1 405B的差不多1/14

2) 在國內(nèi)也能引領(lǐng)世界級前沿

2、模型架構(gòu)：MLA、負載均衡的MoE、Multi-Token預測

1) 多頭潛在注意力

2) 無輔助損失的負載平衡 DeepSeekMoE

3) 多token預測：Multi-Token Prediction顯著加快模型的解碼速度

第二部分 DeepSeek-V3基礎(chǔ)設(shè)施層面的創(chuàng)新：FP8 訓練等

1、訓練框架(含GPU的內(nèi)部結(jié)構(gòu)示意圖)

1) 雙管道DualPipe與計算-通信重疊

2) 跨節(jié)點全對全通信的高效實現(xiàn)：通過PXT連接CUDA和底層GPU硬件

3) 極致內(nèi)存節(jié)省與最小開銷

2、FP8訓練：雖算的快 但精度不夠，故需提高精度

1) 混合精度框架

2) 通過量化和乘法提高精度

3) 低精度存儲和通信：降低內(nèi)存和通信開銷

3、推理與部署

1) 預填充

2) 解碼

4、硬件設(shè)計建議

第三部分 DeepSeek-V3的預訓練與后訓練

1、預訓練

1) 數(shù)據(jù)構(gòu)建：提高數(shù)學、編程、多語言樣本，最終14.8T語料

2) 超參數(shù)

3) 長上下文擴展

4) 評估與討論

2、訓練后處理：透露了大半后來引爆全球的R1正式版訓練流程

1) 監(jiān)督微調(diào)

2) 強化學習：涉及獎勵模型和GRPO

3) 評估與討論：關(guān)于DeepSeek-R1提煉與多token預測

第四部分 DeepSeek R1：如何通過純RL訓練大模型的推理能力

1、提出背景與相關(guān)工作

1) R1-Zero的提出背景：無需人類數(shù)據(jù)，從零實現(xiàn)自我迭代

2) R1的提出背景：解決Zero可讀性差等問題

2、DeepSeek-R1-Zero：規(guī)則驅(qū)動的大規(guī)模RL訓練，無冷啟動、無SFT

1) RL算法GRPO：不需要critic

2) 規(guī)則獎勵建模(準確率獎勵 + 格式獎勵)：不用訓練專門的獎勵模型RM

3) 訓練模板：通過prompt讓Zero啟動深度思考的推理模式

4) Zero的性能、自我進化過程和頓悟時刻

3、DeepSeek-R1：先冷啟動數(shù)據(jù)SFT再RL，之后再SFT再RL

1) 階段一 冷啟動(主要關(guān)注推理)：通過R1-Zero生成數(shù)千條長CoT數(shù)據(jù)

2) 階段二 面向推理的GRPO RL：類似Zero的規(guī)則獎勵，但增加語言一致性獎勵

3) 階段三 V3上的兩輪SFT(結(jié)合rejection sampling)：涉及80w通用層面的推理和非推理數(shù)據(jù)

4) 階段四 所有場景的RL：提高有用性和無害性，且混合規(guī)則獎勵和偏好獎勵

4、蒸餾：賦予小模型推理能力

5、一些經(jīng)驗總結(jié)：成功和失敗的經(jīng)驗分析總結(jié)

第五部分 本地部署準備工作：各個版本、推理框架、硬件資源

DeepSeek-R1的多個版本：加上2個原裝671B的，總計8個參數(shù)版本

主流的大模型推理框架：分為PC端和Android端

不同參數(shù)的模型所要求的硬件

蒸餾版和滿血版的兩類部署

第六部分 通過Ollama、vLLM本地部署DeepSeek-R1蒸餾版：支持聯(lián)網(wǎng)搜索及知識庫問答

1、基于Ollama和各類插件構(gòu)建智能對話：終端、open-webui(支持聯(lián)網(wǎng))、Chatbox

1) Ollama下的終端命令行交互

2) Ollama下的open-webui交互：基于docker安裝，且支持聯(lián)網(wǎng)搜索

3) 基于Ollama + ChatBox部署deepseek-r1:7b

2、基于Ollama和Page Assist/AnythingLLM構(gòu)建本地知識庫問答系統(tǒng)

1) 基于Ollama + Page Assist搭建本地知識庫問答系統(tǒng)：且支持聯(lián)網(wǎng)搜索

2) 基于Ollama + AnythingLLM搭建本地知識庫問答

3、通過vLLM推理deepseek-r1

1) 基于vLLM的命令行交互——R1-Distill-Llama-8B

2) 基于vllm + open WebUi 部署r1 7b

4、本地手機端部署DeepSeek-R1蒸餾Llama/Qwen后的版本

第七部分 無蒸餾前提下本地部署R1 or R1-Zero 671B滿血版

1、折中路徑：無蒸餾但量化部署Deepseek-R1 671B滿血版

1) 本地CPU上運行 Deepseek-R1 的完整的硬件 + 軟件設(shè)置

2) GPU上跑無蒸餾但量化的Deepseek-R1 671B滿血版

2、企業(yè)級部署：無蒸餾不量化部署Deepseek-R1 671B滿血版