第一天

大模型的歷史發(fā)展

大模型的起源：從早期神經(jīng)網(wǎng)絡到Transformer

重要的里程碑：AlexNet、BERT、GPT系列等

大模型的演進：模型規(guī)模與性能的關(guān)系

大模型在不同領(lǐng)域的應用

自然語言處理領(lǐng)域

計算機視覺領(lǐng)域

自動駕駛、醫(yī)療、金融等領(lǐng)域的案例分析

自動駕駛、醫(yī)療、金融等領(lǐng)域的案例分析

大模型商業(yè)模式

大模型的商業(yè)應用場景

云計算與AI服務

大模型數(shù)據(jù)許可與訪問模式

大模型的商業(yè)利潤模式

當前中國的政策支持

中國AI產(chǎn)業(yè)政策的演變

大模型的政策支持與監(jiān)管

數(shù)據(jù)隱私與安全政策

知識產(chǎn)權(quán)保護

案例研究與討論

分析大模型在中國的商業(yè)成功案例

政策對企業(yè)和行業(yè)的影響

介紹Lora、FT和PT的基本原理和方法

未來展望：中國大模型行業(yè)的機遇與挑戰(zhàn)

第二天

Lora

介紹Lora的背景、原理和優(yōu)勢

講解Lora的核心技術(shù)，包括低秩矩陣分解、稀疏注意力機制和動態(tài)投影

演示如何使用Lora對GLM等大模型進行壓縮和加速

指導學員進行Lora的實驗，包括安裝環(huán)境、下載數(shù)據(jù)集、運行代碼和評估結(jié)果

FT

介紹FT的背景、原理和優(yōu)勢

講解FT的核心技術(shù)，包括參數(shù)共享、任務適應和知識蒸餾

演示如何使用FT對GLM等大模型進行微調(diào)和遷移一

指導學員進行FT的實驗，包括選擇任務、加載模型、調(diào)整參數(shù)和測試性能

第三天

PT

介紹PT的背景、原理和優(yōu)勢

講解PT的核心技術(shù)，包括自監(jiān)督學習、掩碼語言模型和下一句預測

演示如何使用PT對GLM等大模型進行預訓練和初始化

指導學員進行PT的實驗，包括構(gòu)建語料庫、設計目標函數(shù)、訓練模型和保存權(quán)重

實驗

實驗室實踐：參與者將應用所學知識，進行一個大模型訓練和微調(diào)的實際項目

案例研究：探討大模型在實際項目中的成功案例