第一天

大模型的歷史發(fā)展

大模型的起源：從早期神經(jīng)網(wǎng)絡(luò)到Transformer

重要的里程碑：AlexNet、BERT、GPT系列等

大模型的演進(jìn)：模型規(guī)模與性能的關(guān)系

大模型在不同領(lǐng)域的應(yīng)用

自然語言處理領(lǐng)域

計(jì)算機(jī)視覺領(lǐng)域

自動(dòng)駕駛、醫(yī)療、金融等領(lǐng)域的案例分析

自動(dòng)駕駛、醫(yī)療、金融等領(lǐng)域的案例分析

大模型商業(yè)模式

大模型的商業(yè)應(yīng)用場(chǎng)景

云計(jì)算與AI服務(wù)

大模型數(shù)據(jù)許可與訪問模式

大模型的商業(yè)利潤(rùn)模式

當(dāng)前中國(guó)的政策支持

中國(guó)AI產(chǎn)業(yè)政策的演變

大模型的政策支持與監(jiān)管

數(shù)據(jù)隱私與安全政策

知識(shí)產(chǎn)權(quán)保護(hù)

案例研究與討論

分析大模型在中國(guó)的商業(yè)成功案例

政策對(duì)企業(yè)和行業(yè)的影響

介紹Lora、FT和PT的基本原理和方法

未來展望：中國(guó)大模型行業(yè)的機(jī)遇與挑戰(zhàn)

第二天

Lora

介紹Lora的背景、原理和優(yōu)勢(shì)

講解Lora的核心技術(shù)，包括低秩矩陣分解、稀疏注意力機(jī)制和動(dòng)態(tài)投影

演示如何使用Lora對(duì)GLM等大模型進(jìn)行壓縮和加速

指導(dǎo)學(xué)員進(jìn)行Lora的實(shí)驗(yàn)，包括安裝環(huán)境、下載數(shù)據(jù)集、運(yùn)行代碼和評(píng)估結(jié)果

FT

介紹FT的背景、原理和優(yōu)勢(shì)

講解FT的核心技術(shù)，包括參數(shù)共享、任務(wù)適應(yīng)和知識(shí)蒸餾

演示如何使用FT對(duì)GLM等大模型進(jìn)行微調(diào)和遷移一

指導(dǎo)學(xué)員進(jìn)行FT的實(shí)驗(yàn)，包括選擇任務(wù)、加載模型、調(diào)整參數(shù)和測(cè)試性能

第三天

PT

介紹PT的背景、原理和優(yōu)勢(shì)

講解PT的核心技術(shù)，包括自監(jiān)督學(xué)習(xí)、掩碼語言模型和下一句預(yù)測(cè)

演示如何使用PT對(duì)GLM等大模型進(jìn)行預(yù)訓(xùn)練和初始化

指導(dǎo)學(xué)員進(jìn)行PT的實(shí)驗(yàn)，包括構(gòu)建語料庫、設(shè)計(jì)目標(biāo)函數(shù)、訓(xùn)練模型和保存權(quán)重

實(shí)驗(yàn)

實(shí)驗(yàn)室實(shí)踐：參與者將應(yīng)用所學(xué)知識(shí)，進(jìn)行一個(gè)大模型訓(xùn)練和微調(diào)的實(shí)際項(xiàng)目

案例研究：探討大模型在實(shí)際項(xiàng)目中的成功案例